Bitrix AI Challenge
Бенчмарк AI-агентов на реальной задаче 1С-Битрикс. Сравниваем связки «приложение + модель + скиллы»: один заказ веб-студии, живой стенд, две оценки — модели-ревьювера и автора.
| Связка | Срезы | Оценка | Итер. | Мин | Токены in/out | Расход | ||
|---|---|---|---|---|---|---|---|---|
| Тир B · 70–84 | ||||||||
|
Работает с первого прогона: узнаваемый первый экран и настоящая D7-архитектура с гонкой на уровне БД, но лендинг после первого экрана и английские заголовки референса тянут визуал вниз. |
Виз
Бэк
|
71.7
√(В·Б)
|
1 | 45 |
628.2K / 146.1K
кеш ввода 17.5M
кеш вывода 0
|
2% мес.
тариф Pro ($20)
|
Прогон → |
Балл критерия = среднее оценок модели-ревьювера и автора · срез = сумма 0–100
Оценка = √(Визуал · Бэкенд) · тиры по полосам балла, внутри тира различия не интерпретируются
Итерации: 1 = с первого прогона, лимит 10 · под токенами — кеш ввода и вывода; расход — как есть ($ API или % лимита тарифа), между приложениями не сравнивается
