Фінальний лідерборд моделей
| rank | model | all_estimation_ready | all_estimation_slots | paired_estimation_ready_excl_sasha_e3 | paired_estimation_slots | matching_ready | matching_slots | matching_fallback | matching_wrong_scenario | matching_errors | estimation_fallback | estimation_errors | provider_calls | cost_total_usd | cost_mean_per_api_call_usd | cost_median_per_api_call_usd | provider_generation_median_s | provider_generation_p90_s | provider_ttft_median_s | provider_ttft_p90_s | provider_cancelled | decision | evidence_ids |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 7 | 12 | 18 | 12 | 17 | 10 | 12 | 2 | 0 | 0 | 6 | 0 | 26 | 0.126518 | 0.004866076923076923 | 0.00344 | 26.155 | 51.12 | 0.789 | 1.694 | 2 | primary pilot | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_2;Юра:estimate_3 |
| 2 | 1 | 13 | 18 | 13 | 17 | 9 | 12 | 2 | 1 | 0 | 4 | 1 | 25 | 2.355604 | 0.09422416 | 0.09644 | 40.812 | 60.896 | 4.69 | 6.981 | 0 | quality/coverage challenger | Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_1;Юра:estimate_3;Юра:matching_1 |
| 3 | 8 | 12 | 18 | 12 | 17 | 10 | 12 | 2 | 0 | 0 | 5 | 1 | 19 | 0.243971 | 0.01284057894736842 | 0.012962 | 20.616 | 30.369 | 2.768 | 7.096 | 0 | fast alternative | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_2;Юра:estimate_3 |
| 4 | 2 | 11 | 18 | 11 | 17 | 9 | 12 | 2 | 0 | 1 | 6 | 1 | 23 | 0.69076 | 0.03003304347826087 | 0.023892 | 44.634 | 71.955 | 10.894 | 21.089 | 0 | estimate explainability challenger | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_1;Юра:estimate_2;Юра:estimate_3;Віталік:matching_2 |
| 5 | 3 | 12 | 18 | 11 | 17 | 9 | 12 | 2 | 0 | 1 | 5 | 1 | 26 | 0.090955 | 0.0034982692307692306 | 0.002634 | 80.2295 | 195.233 | 1.0575 | 11.659 | 2 | other | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Свят:estimate_2;Свят:estimate_3;Юра:estimate_1;Юра:estimate_2;Юра:estimate_3;Юра:matching_1 |
| 6 | 5 | 11 | 18 | 11 | 17 | 10 | 12 | 2 | 0 | 0 | 6 | 1 | 23 | 0.965024 | 0.0419575652173913 | 0.039544 | 87.584 | 151.358 | 2.631 | 3.68 | 1 | other | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_1;Юра:estimate_2;Юра:estimate_3 |
| 7 | 4 | 11 | 18 | 11 | 17 | 10 | 12 | 2 | 0 | 0 | 6 | 1 | 23 | 1.694565 | 0.07367673913043478 | 0.067472 | 71.721 | 158.452 | 1.198 | 3.471 | 1 | other | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_1;Юра:estimate_2;Юра:estimate_3 |
| 8 | 6 | 11 | 18 | 11 | 17 | 9 | 12 | 2 | 0 | 1 | 5 | 2 | 23 | 0.96517 | 0.04196391304347826 | 0.041146 | 115.297 | 227.706 | 1.313 | 3.623 | 0 | not preferred | Оксана:estimate_3;Оксана:matching_1;Оксана:matching_2;Саша:estimate_3;Свят:estimate_2;Свят:estimate_3;Юра:estimate_1;Юра:estimate_2;Юра:estimate_3;Юра:matching_1 |