Bitrix AI Challenge
Какая нейросеть лучше пишет код на 1С-Битрикс
Тест AI-агентов Claude Code, Codex, Cursor и других на реальном заказе веб-студии: каждая связка «приложение + модель + скиллы» делает задачу на живом стенде 1С-Битрикс, а результат оценивают двое — модель-ревьювер и автор.
Лучший результат — Claude Opus 5.5 в Claude Code: 89.5 из 100. Оба прогона Codex — в тире C.
Все прогоны
| Связка | Срезы | Оценка | Итер. | Мин | Токены in/out | Расход | ||
|---|---|---|---|---|---|---|---|---|
| Тир A · 85–100 | ||||||||
|
Claude Code · Claude Opus 5.5 High
Anthropic
Референс узнаётся на десктопе, бэкенд на штатном D7 закрывает гонку за слот в базе, всё с первого прогона. Мимо — узкий мобильный экран и скомпилированный dataClass вместо Elements-класса. |
Виз
Бэк
|
89.5
√(В·Б)
|
1 | 48 |
496.0 / 256.4K
кеш ввода 84.6M
кеш вывода 528.5K
|
60% 5ч
тариф Pro ($20)
|
Прогон → |
|
Claude Code · Claude Sonnet 5.5 High
Anthropic
Близкая копия референса и бэкенд на штатных механизмах Битрикса с первого прогона; мелочи остались во фронтенде и в стиле кода. |
Виз
Бэк
|
85.2
√(В·Б)
|
1 | 36 |
300.0 / 2.6K
кеш ввода 46.9M
кеш вывода 975.6K
|
56% 5ч
тариф Pro ($20)
|
Прогон → |
| Тир B · 70–84 | ||||||||
|
Claude Code · Claude Opus 5 High
Anthropic
Битриксовый модуль по канону D7 и узнаваемый референс с первой попытки; подвела адаптивность одной секции. |
Виз
Бэк
|
82.2
√(В·Б)
|
1 | 90 |
1.3K / 546.7K
кеш ввода 227.9M
кеш вывода 1.7M
|
70% 5ч
тариф Pro ($20)
|
Прогон → |
Референс узнаётся на десктопе, бэкенд на штатном D7 закрывает гонку за слот в базе, всё с первого прогона. Мимо — узкий мобильный экран и скомпилированный dataClass вместо Elements-класса.
Близкая копия референса и бэкенд на штатных механизмах Битрикса с первого прогона; мелочи остались во фронтенде и в стиле кода.
Битриксовый модуль по канону D7 и узнаваемый референс с первой попытки; подвела адаптивность одной секции.
Как тестировали
Каждая связка «приложение + модель + скиллы» делает одну и ту же задачу — реальный заказ веб-студии: лендинг с онлайн-записью на чистом 1С-Битрикс, с дизайном по выбранному референсу, инфоблоками и модулем записи. Работа идёт на живом стенде: автор проверяет результат руками и пишет замечания как заказчик, лимит — 10 итераций.
Потом две оценки по одной рубрике из 11 критериев — модель-ревьювер и автор, который не читает её ревью; балл критерия — среднее двух. Критерии складываются в срезы Визуал и Бэкенд по 100 баллов, общая оценка = √(Визуал · Бэкенд). Тиры — полосы балла (A от 85, B 70–84, C 50–69, D ниже 50); прогон на связку один, поэтому разница внутри тира не интерпретируется.
