Замеры GLM-5.3: бенчмарки вендора и независимые оценки

Цифры из двух источников: таблица, которую Z.ai опубликовала в карточке модели, и площадки, которые гоняют модели сами. Смешивать их нельзя — условия прогонов разные.

Как читатьТаблица 1 — цифры самой Z.ai из карточки модели. Таблица 2 — площадки, которые запускают модели сами. Условия прогонов разные, поэтому строки двух таблиц между собой не сравнивают.

Таблица 1 — карточка модели: 16 тестов, место GLM-5.3 среди восьми моделей таблицы

Кроме двух GLM, в таблице вендора ещё шесть моделей — три открытые (Kimi K3, Qwen3.8-Max, DeepSeek-V4 Pro-0813) и три закрытые (Opus 4.8, GPT-5.6 Sol, Fable 5). Не у каждой есть результат в каждой строке — поэтому в последнем столбце знаменатель разный; «3–4» означает, что GLM-5.3 делит место с соседом.

1Что из этого следует

Первое место GLM-5.3 занимает в трёх строках из шестнадцати: CyberGym, AutomationBench и GDPval-AA v2. Если оставить в таблице только модели с открытыми весами — GLM-5.2, Kimi K3, DeepSeek-V4 Pro и Qwen3.8-Max, — картина другая: GLM-5.3 первая в одиннадцати строках. Kimi K3 опережает её в Terminal Bench 2.1 на десятую долю, в DeepSWE, SWE-Marathon и Toolathlon, в NL2Repo у них ничья. DeepSeek-V4 Pro впереди в NL2Repo и Toolathlon. Qwen3.8-Max уступает GLM-5.3 во всех двенадцати строках, где у неё есть результат.

Закрытые GPT-5.6 Sol и Fable 5 сильнее в большинстве строк, особенно на длинных задачах программирования. Сравнивать эти цифры с таблицами других вендоров напрямую нельзя: почти все прогоны Z.ai сделала в одной обвязке — Claude Code 2.1.207 на уровне усилия max. В ExploitGym бюджет времени пересчитан по скорости каждой модели (для GLM-5.3 взяли 115 токенов в секунду), FrontierSWE оценивала компания Proximal на 14 августа 2026 года, GDPval-AA — Artificial Analysis.

2Внутренний Z.ai Code Bench

Это закрытый тест самой Z.ai: агентов помещают в сложные локальные среды разработки и считают две вещи — долю доведённых до конца задач и точность по детальному чек-листу. Закрытость снижает риск того, что ответы попали в обучение, но и проверить результат со стороны нельзя.

• уровень max: GLM-5.3 — 34,5% при расходе около 75 тыс. выходных токенов на задачу, GLM-5.2 — 23,4% при 96 тыс.;
• уровень high: GLM-5.3 — 31,4% примерно при 50 тыс. токенов, Opus 4.8 — 29,5% при 120 тыс.;
• Fable 5 на уровне max — 39,5%, это выше GLM-5.3.

3Независимые площадки

Таблица 2 — замеры, которые делали не разработчики модели

Artificial Analysis относит GLM-5.3 к лидерам по интеллекту среди открытых моделей своего размера, но отмечает, что для этого класса она дорогая и многословная: 140 млн токенов на прогоне индекса при медиане 100 млн. Скорость выдачи немного выше средней. На LMArena модель набрала 25 144 голоса и стоит 26-й строкой из 418 в срезе от 22 октября.

Чего нет: на лидерборде SWE-bench Verified новых строк с февраля 2026 года, в MERA 2.0 и в основном виде ARC-AGI-3 моделей GLM нет. GPQA, AIME и MMLU-Pro не приводит и сама карточка Z.ai.

Позицию GLM-5.3 сразу по нескольким независимым тестам, а не только против прошлой версии, показывает сводная таблица тестов нейросетей на SortAI.

4Кибербезопасность

Три теста в карточке описывают разные стадии работы с уязвимостью. CyberGym начинается с исходного кода: модель должна найти ошибку и подтвердить её, вызвав сбой, — здесь у GLM-5.3 84,5 против 77,2 у прошлой версии. ExploitBench требует понять, как уязвимость эксплуатировать, — 54,4 против 24,4. ExploitGym считает, сколько задач эксплуатации модель успевает закрыть за нормированное время, — 105 за два часа и 130 за шесть против 29 и 39.

Вендор сам формулирует закономерность: чем дальше по цепочке, тем больше прирост и тем заметнее отставание от закрытых моделей. Fable 5 в той же таблице закрывает 181 и 247 задач, GPT-5.6 Sol — 216 и 293.

Вне тестов, начиная ещё с GLM-5.2, Z.ai гоняет свои модели на реальных кодовых базах вместе с несколькими китайскими командами по безопасности. Итог после экспертной проверки и чистки повторов — 2 436 уязвимостей в 269 проектах; 1 097 из них отнесены к средней или высокой критичности. Находки касаются ядер систем, браузерных движков, сетевых протоколов и открытой инфраструктуры. Самой старой из найденных ошибок около 40 лет. Их компания ведёт в публичном реестре раскрытия с указанием проекта, критичности, номера CVE и возраста ошибки.

5Короткие ответы

Какие результаты у GLM-5.3 в тестах?

В карточке Z.ai — 16 тестов: например, CyberGym 84,5, Terminal Bench 2.1 88,2, DeepSWE v1.1 66,9, GDPval-AA v2 1769. Независимо: 32 балла по индексу Artificial Analysis v5.0 (2-е место среди 17 крупных открытых моделей) и 1481 очко Эло на LMArena.

GLM-5.3 сильнее Kimi K3?

По таблице Z.ai — в большинстве строк. Kimi K3 впереди в четырёх: Terminal Bench 2.1, DeepSWE, SWE-Marathon и Toolathlon; в NL2Repo результаты равны. Это цифры вендора GLM, а не независимый замер.

GLM-5.3 или Qwen3.8-Max — кто сильнее?

В таблице Z.ai GLM-5.3 опережает Qwen3.8-Max во всех двенадцати строках, где у Qwen есть результат; ближе всего они в Toolathlon — 73,0 против 72,5.

Есть ли GLM-5.3 на LMArena?

Есть: в текстовом рейтинге с поправкой на стиль на 22 октября 2026 года у GLM-5.3 в режиме max 1481 очко, доверительный интервал 1476–1486, 25 144 голоса.

Насколько GLM-5.3 сильна в кибербезопасности?

На CyberGym у неё 84,5 — первое место в таблице вендора. На реальном коде, вместе со специалистами по безопасности, за ней числится 2 436 подтверждённых уязвимостей в 269 проектах. В полных цепочках эксплуатации закрытые модели пока решают почти вдвое больше задач.