6 марта Business Insider опубликовал статью, в которой говорилось, что, хотя Путин надеется, что Россия выделится в глобальной конкуренции в области ИИ и превзойдет Китай и США, на самом деле российская флагманская модель большого языка не является выдающейся и даже можно сказать, очень отсталой. В декабре 2024 года Путин заявил на международной конференции «Путешествие к искусственному интеллекту»:Россия не только хочет догнать Китай и США в области искусственного интеллекта, но и хочет стать мировым лидером.
Теперь на русской версии Конкурсной платформы больших языковых моделей (LLMArena)Российская крупная модель GigaChatMAX делит восьмое место, отставая от нескольких версий Claude, DeepSeek и ChatGPT. Еще одна большая языковая модель в РоссииYandexGPT4Pro оказался еще ниже, разделив 18-е место.
В английской версии обе моделиНе вошло в рейтинг более 170 крупных языковых моделей.
GigaChatMAX разработан российским государственным банком Сбербанк. Когда в ноябре прошлого года была выпущена последняя версия, ее ведущий разработчик из Москвы Евгений Косарев заявил, что она «близка к GPT4o по русскому и английскому качеству», но эксперты рассказали Business Insider:GigaChatMAX на несколько месяцев отстает от своих конкурентов в США и Китае.
Лукаш Олейник, старший научный сотрудник Королевского колледжа Лондона, заявил, что в настоящее время GigaChatMAX «работает посредственно». Модели получили «гораздо более низкие» баллы по тестам, используемым для проверки эффективности искусственного интеллекта. Он также добавил:Они не превосходят никакие передовые модели и не представляют собой ничего особо инновационного.
Бен Дубо, старший научный сотрудник Европейского центра политического анализа и технический директор компании по анализу данных Omelas, добавил, что GigaChatMAX не имеет преимуществ во многих аспектах. В январе Дубо написал в газете «Moscow Times», что, хотя он и хорошо справляется с математикой, его возможности русского языка значительно отстают от большинства ведущих западных и китайских моделей больших языков в некоторых тестах.
Он сказал, что американская модель большого языка на год опережает текущий уровень GigaChatMAX в стандартном отраслевом тесте «крупномасштабное многозадачное понимание языка» (MMLU). Даббо также сообщил Business Insider, что большая часть ИИ тестируется на более продвинутых тестах и что MMLU «на данный момент почти считается устаревшим».
Дуббо сказал:«Превзойти американские и китайские модели в подсказках на русском языке является главным приоритетом стратегии российского правительства в области искусственного интеллекта, но MAX еще не достиг этой цели».
Сэмюэл Бендетт, российский эксперт по военным технологиям из Центра стратегических и международных исследований, рассказал Business Insider, что для России искусственный интеллект является «символом статуса». Но согласно глобальным рейтингам искусственного интеллекта, составленным британским медиа-стартапом Turtle Media, среди пяти крупнейших стран: США, Китая, Франции, Великобритании и России,Россия — единственная страна, не вошедшая в верхнюю часть списка, занимающая 31-е место.
Бендетт заявил, что в России «нет таких компаний, как OpenAI, Microsoft, Google, Huawei или Alibaba».
В феврале, когда DeepSeek всколыхнул глобальный ландшафт искусственного интеллекта, российский государственный банк Сбербанк планировал запустить совместный проект искусственного интеллекта с китайскими исследователями. Александр Вэй Цзясинь, первый заместитель генерального директора банка, сообщил Reuters, что успех DeepSeek соответствует стратегии Сбербанка по поиску недорогих решений, а не «американских решений» с высокими инвестициями.
Вэй Цзясинь сказал: «В Сбербанке много научных исследователей. Мы планируем использовать их для реализации совместных исследовательских проектов с китайскими исследователями».