Bitrix AI Challenge
Какая нейросеть лучше пишет код на 1С-Битрикс
Тест AI-агентов Claude Code, Codex, Cursor и других на реальном заказе веб-студии: каждая связка «приложение + модель + скиллы» делает задачу на живом стенде 1С-Битрикс, а результат оценивают двое — модель-ревьювер и автор.
Лучший результат — Claude Opus 5.5 в Claude Code: 89.5 из 100. Оба прогона Codex — в тире C.
Все прогоны
| Связка | Срезы | Оценка | Итер. | Мин | Токены in/out | Расход | ||
|---|---|---|---|---|---|---|---|---|
| Тир C · 50–69 | ||||||||
|
Codex · GPT 5.6 Sol High
OpenAI
Убедительный лендинг по референсу поверх бэкенда, который держит контракт, но написан на один показ. |
Виз
Бэк
|
68.4
√(В·Б)
|
1 | 63 |
851.2K / 89.3K
кеш ввода 21.4M
кеш вывода 0
|
64% 5ч
тариф Plus ($20)
|
Прогон → |
|
Codex · GPT 6 Astra High
OpenAI
Лендинг узнаётся как референс с первой итерации, но код в нём не отформатирован и не читается, хотя слои D7 в нём настоящие. |
Виз
Бэк
|
61.3
√(В·Б)
|
1 | 36 |
716.4K / 57.0K
кеш ввода 12.6M
кеш вывода 0
|
180% 5ч
тариф Plus ($20)
|
Прогон → |
Убедительный лендинг по референсу поверх бэкенда, который держит контракт, но написан на один показ.
Лендинг узнаётся как референс с первой итерации, но код в нём не отформатирован и не читается, хотя слои D7 в нём настоящие.
Как тестировали
Каждая связка «приложение + модель + скиллы» делает одну и ту же задачу — реальный заказ веб-студии: лендинг с онлайн-записью на чистом 1С-Битрикс, с дизайном по выбранному референсу, инфоблоками и модулем записи. Работа идёт на живом стенде: автор проверяет результат руками и пишет замечания как заказчик, лимит — 10 итераций.
Потом две оценки по одной рубрике из 11 критериев — модель-ревьювер и автор, который не читает её ревью; балл критерия — среднее двух. Критерии складываются в срезы Визуал и Бэкенд по 100 баллов, общая оценка = √(Визуал · Бэкенд). Тиры — полосы балла (A от 85, B 70–84, C 50–69, D ниже 50); прогон на связку один, поэтому разница внутри тира не интерпретируется.
