Model brief / published benchmark comparison

GigaChat 3.1 Ultra
против DeepSeek V3-0324

Не «кто лучше вообще», а где каждая non-reasoning-модель сильнее по опубликованной карточке GigaChat 3.1 Ultra.

ГЛАВНЫЙ РЕЗУЛЬТАТ
GigaChat 3.1 Ultra

Среднее по таблице

67.64%и 81.63 в среднем по Arena
VS
DeepSeek V3-0324

Среднее по таблице

64.82%и 74.4 в среднем по Arena
+2.82 п.п.разница среднего в опубликованной таблице
6 / 10основных метрик в пользу GigaChat
4 / 10основных метрик в пользу DeepSeek

Ключевые бенчмарки

GigaChatDeepSeek
RUBQ
79.86
78.71
GigaChat
MMLU-Pro
76.68
76.10
GigaChat
Math-500
89.20
87.60
GigaChat
AIME
33.33
26.67
GigaChat
MMLU RU
82.67
83.92
DeepSeek
MMLU EN
84.22
88.20
DeepSeek
GPQA 5-shot
45.97
49.80
DeepSeek
HumanEval
90.85
93.29
DeepSeek

Как читать результат

Выбор по задаче

  • GigaChat: преимущество в общем среднем, RUBQ, MMLU-Pro, математике и большинстве Arena-оценок.
  • DeepSeek: преимущество в английском MMLU, GPQA, HumanEval и русской LLM Arena.
  • Итоговый средний балл не заменяет тест на ваших данных, промптах и инфраструктуре.

Важное ограничение

  • Источник — карточка GigaChat 3.1 Ultra, то есть результаты заявлены разработчиком.
  • Сравнение охватывает DeepSeek V3-0324, а не более новые reasoning-модели DeepSeek.
  • BBH опубликован только для GigaChat: 70.27.