Перейти до змісту
SoloWay Tech

SoloWay AI Assistant · локальний аналітичний звіт

Вибір моделі для попередньої оцінки проєктів

12 жовтня 2026 · 8 анонімних моделей · тестовий корпус і код проєкту

Рішення

Рекомендована модель
M7 · 12/17
готові оцінки
$0.004866 / API-виклик
Найближча альтернатива
M1 · 13/17
на одну готову оцінку більше
$0.094224 / API-виклик ≈ 19.4× дорожче

У M7 є 2 скасування в журналі API. Це інша вибірка, ніж 18 видимих результатів оцінювання у PDF, тому показники не тотожні.

Порівняльні графіки

Порядок — фінальний лідерборд. У стовпчикових графіках шкала починається з нуля. Час — лише час генерації провайдера; це не повний час очікування у застосунку. P90 — час, який не перевищують 90% записаних спроб. Медіана й P90 включають скасовані виклики.

На вузькому екрані графіки й таблицю можна гортати горизонтально.

Готові оцінки зіставний набір, /17
Готові оцінки з 17Стовпчики від нуля: Готові оцінки з 170510151712M713M112M811M211M311M511M411M6

Джерело: локальний звіт Таблиця даних. Повний числовий ряд наведено в таблиці лідерборду.

Середня ціна API-виклику USD
Середня ціна API-викликуСтовпчики від нуля: Середня ціна API-виклику$0.000$0.025$0.050$0.075$0.100$0.005M7$0.094M1$0.013M8$0.030M2$0.003M3$0.042M5$0.074M4$0.042M6

Джерело: локальний звіт Таблиця даних. Повний числовий ряд наведено в таблиці лідерборду.

Час генерації медіана / P90, секунди
Генерація: медіана та P90Крапка — медіана, риса — P90; шкала від нуля, секунди.0 с60 с120 с180 с240 с26.2/51.1M740.8/60.9M120.6/30.4M844.6/72.0M280.2/195.2M387.6/151.4M571.7/158.5M4115.3/227.7M6

Джерело: локальний звіт Таблиця даних. Повний числовий ряд наведено в таблиці лідерборду.

Ціна та швидкість не є показником якості
Середня ціна API та медіана генераціїТочки показують різні навантаження, не сумарну якість. Шкали від нуля.$0.000$0.025$0.050$0.075$0.1000 с25 с50 с75 с100 с125 сM7M1M8M2M3M5M4M6середня ціна API-виклику, USDмедіана генерації, с

Джерело: локальний звіт Таблиця даних. Повний числовий ряд наведено в таблиці лідерборду.

Фінальний лідерборд

Без сумарного бала: порядок відображає готовність, перевірені обмеження обсягу робіт, ціну та час.
Місце Модель Готові оцінки Техпомилки оцінки Сер. ціна API Медіана P90 Виклики Скасування
1M712/170/18$0.00486626.2 с51.1 с262
2M113/171/18$0.09422440.8 с60.9 с250
3M812/171/18$0.01284120.6 с30.4 с190
4M211/171/18$0.03003344.6 с72.0 с230
5M311/171/18$0.00349880.2 с195.2 с262
6M511/171/18$0.04195887.6 с151.4 с231
7M411/171/18$0.07367771.7 с158.5 с231
8M611/172/18$0.041964115.3 с227.7 с230

Готові оцінки: /17 після виключення Саша / третій випадок оцінювання через різні введені дані. Техпомилки: /18 усіх випадків оцінювання. API-виклики: 188 записів за 8–9 жовтня UTC; вони не приєднані до 240 тестових випадків.

Підстави за місцями

2. M1

13/17 — найбільше покриття. Єдина дала оцінку для короткого запиту Оксани про транскрибацію та для «Uber для майстрів», але середня ціна виклику найбільша. У GearShare із матеріалами показала видиму технічну помилку.

3. M8

12/17 і найшвидша медіана генерації. У складському запиті лише із зображенням є технічна помилка та варіант без видимого результату; також є пропуски в поясненні обсягу робіт. У GearShare менше використаних політик, а у виїзному сервісі немає окремої числової оцінки повного продукту.

4. M2

11/17. П'ять перевірених розрахунків «години × ставки» у чотирьох відповідях арифметично узгоджені; межі обсягу робіт названі явно. Перед M3 — через цю перевірювану арифметику й пояснення залежностей, хоча M3 дешевша.

5. M3

11/17 у зіставному наборі, найнижча ціна, проте медіана 80.2 с і P90 195.2 с. У корпусі є техпомилки оцінювання та підбору; тому нижче M2, де кошторис можна відтворити з годин і ставок.

6. M5

11/17; підбір готовий у 10/12. Є техпомилка оцінювання і стислі однореченнєві резюме у двох перевірених відповідях. Вище M4: значно дешевша й має нижчий P90, хоча M4 швидша за медіаною.

7. M4

11/17; підбір готовий у 10/12. У кейсі Odoo запропонований склад не пояснює вкладення в ліміт $25 тис.; один результат оцінювання — технічна помилка. Нижче M5 через ціну та цей неузгоджений бюджетний приклад.

8. M6

11/17, найповільніша медіана та P90. У корпусі дві техпомилки оцінювання й один технічний збій підбору.

Методика і межі

«Готова оцінка» означає, що у видимому результаті є оцінка; вона не підтверджує правильність трудовитрат. Еталонних трудовитрат і виміру конверсії в корпусі немає. Результат залежить також від маршрутизації, перевірки вхідних даних, інструкцій моделі, розбору відповіді та COWO — механізму підбору фахівців; код може показати відповідь про недостатність даних ще до виклику моделі.

Ціни та час взято з окремого журналу API. Валюта USD інтерпретована за контрактом коду, оскільки CSV не містить окремого поля валюти. Різні токени, навантаження й кількість викликів не дозволяють назвати ці числа контрольованим тарифом чи ціною готової оцінки. OCR-джерела отримано автоматичним розпізнаванням: ключові числа й стани звірено, але решта тексту може містити помилки.

Порядок — експертний пріоритет для пілота, а не статистично доведений рейтинг; якщо головний критерій — пояснення кошторису, M2 стає пріоритетним кандидатом.

Джерела й відтворення

Основний звіт · методика · перевірені докази · Лідерборд і CSV · операційні агрегати · Реєстр результатів.

У HTML вбудовані сирі рядки лідерборду та SHA-256 джерел. Генерація: python analysis/report/build_html_report.py.