«Мета должна прояснить, что «Llama-4-Maverick-03-26-Experimental» — это пользовательская модель, оптимизированная с учетом предпочтений человека. Мы обновляем стратегию таблицы лидеров, чтобы избежать повторения подобной путаницы».
Изображение/X
Это заявление является не только разъяснением, но и в определенной степени тревожным звонком для всей крупной модельной индустрии.
ChatbotArena была инициирована Калифорнийским университетом в Беркли. В настоящее время это самый влиятельный рейтинговый список «слепого теста на реальных людях» при оценке крупных моделей. Основной механизм заключается в том, чтобы позволить разработчикам и энтузиастам искусственного интеллекта задавать одни и те же вопросы двум моделям на платформе, сравнивать ответы и голосовать за оценки.
Этот механизм «слепого тестирования на реальных людях» отличает ChatbotArena от любого другого эталонного теста, и он стал самым надежным рейтинговым списком крупных моделей во внешнем мире. Можно сказать, что попадание модели на вершину «Рейтинга Chatbot Arena» в определенной степени напрямую повлияет на ее репутацию и уровень принятия среди средств массовой информации и групп разработчиков.
Из-за этого, когда Meta выпустила 5 апреля свою большую модель с открытым исходным кодом Llama4 последнего поколения, а затем быстро устремилась на второе место в рейтинге ChatbotArena, обойдя все топовые большие модели, уступая только Gemini2.5Pro, выпущенному Google, это, естественно, вызвало у всех любопытство и ожидания.
Но вскоре сообщество обнаружило, что эта версия представляет собой нераскрытую, адаптированную и настроенную «экспериментальную модель», а не официальную версию Meta с открытым исходным кодом. В результате разгорелся спор: считается ли это «смахиванием рейтинга»? Используется ли ChatbotArena как маркетинговый инструмент? Почему Мета это делает?
Что еще хуже, в некоторых профессиональных тестах производительности, которые официально не были показаны, Llama4 показала неудовлетворительные результаты и оказалась почти внизу. Многие из первой группы пользователей, которые попробовали это, также выразили свое разочарование в сообщениях на социальных платформах, таких как Reddit и
«Учитывая, что у Llama-4-Maverick 402B параметров, почему бы мне просто не использовать DeepSeek-V3-0324? Или Qwen-QwQ-32B может подойти больше — хотя производительность аналогична, размер его параметра всего 32B».
Изображение/Реддит
Это заставляет людей задаться вопросом, почему Meta, которая когда-то возлагала большие надежды со стороны сторонников открытого исходного кода и постепенно завоевала репутацию с Llama2 и Llama3, отказалась от Llama4?
01 От яркого света до обрушения дома: 72 часа ужасов Llama4
Еще 5 апреля Meta опубликовала в своем официальном блоге статью «The Llama4herd: Начало новой эры мультимодальных инноваций в области искусственного интеллекта», официально объявив, что модели серии Llama4 имеют открытый исходный код для сообщества.
На этот раз Meta выпустила три версии модели последнего поколения: Llama4Scout, Llama4Maverick и «модель учителя» Llama4Behemoth, которая все еще находится в стадии обучения, и все они впервые используют смешанную экспертную (MoE) архитектуру.
Изображение/Мета
Среди них самая популярная и самая просматриваемая версия Maverick — это модель с 17 миллиардами активных параметров и 128 «экспертами» (общее количество параметров составляет 400 миллиардов). Meta описывает его как «лучшую мультимодальную модель в своем классе», подчеркивая, что он превосходит Gemini2.0 и GPT-4o во многих аспектах и более конкурентоспособен, чем Deepseek3.1 с точки зрения кодирования и рассуждений.
Но вскоре после выхода Llama4 ситуация быстро отклонилась от ожиданий Меты.
На уровне сообщества первую группу пользователей не убедила производительность Llama4. В многочисленных тестах, особенно в сценариях, требующих навыков кодирования и строгих логических рассуждений, производительность Llama4 не соответствовала производительности за пределами GPT и DeepSeek. С учетом теста на программирование Polyglot, предоставленного AiderChat, версия Maverick имеет точность всего 16%, что находится в самом низу рейтинга.
Он не только совершенно несовместим с огромным объемом параметров, но даже отстает от более мелких моделей с открытым исходным кодом, таких как GoogleGamma. Этот результат удивил многих разработчиков и резко контрастировал с официальной пропагандой.
Изображение/ЧатботАрена
По мере того как репутация падала, последовали более серьезные вопросы — использовала ли Llama4 общедоступные тестовые наборы для обучения? Предназначена ли ChatbotArena для оптимизации по общепринятым критериям? Эти сомнения быстро распространились и забродили в технологическом сообществе. Несмотря на то, что ChatbotArena не использовала в своем заявлении таких слов, как «обман», тон между строк был достаточно сильным и недовольным.
В частности, в сообществе китайских иммигрантов «сотрудник Меты», который утверждал, что подал заявление об увольнении и попросил удалить его имя из технического отчета Llama4, сообщил, что по мере приближения крайнего срока Мета, наконец, решила смешать тестовые наборы различных тестов в «постобучении» после обучения (что соответствует этапу «предварительного обучения» большой модели).
Однако команда Meta быстро выступила с разъяснениями. Участник MetaGenAI, который проводил «пост-тренинг», сказал под своим настоящим именем (Личэн Юй):
«За последние два дня я смиренно выслушивал отзывы всех сторон (например, о кодировании, творческом написании и других дефектах, которые необходимо исправить), надеясь исправиться в следующей версии. Однако мы никогда не переопределяли тестовый набор, чтобы набрать очки. Настоящее имя — Личэн Ю. Я занимался постобучением двух оссмоделей. Скажите, пожалуйста, какая подсказка была выбрана из тестового набора и помещена в обучающий набор. Я дам вам + извинения!»
Изображение/ЛичэнЮ
Публичная информация показывает, что Личэн Юй (Yu Licheng) окончил Шанхайский университет Цзяо Тун со степенью бакалавра. В 2014 году он получил двойную степень магистра в Технологическом институте Джорджии и Шанхайском университете Цзяо Тонг. В 2019 году он получил степень доктора компьютерных наук в Университете Северной Каролины в Чапел-Хилл. С июня 2023 года он работал научным руководителем-исследователем в Meta и участвовал в проектах Llama3 и Llama4.
В то же время Ахмад Аль-Дахле, вице-президент, отвечающий за MetaGenAI, также дал понять на платформе X, что «Meta не обучала Llama4 на тестовом наборе». Для Llama-4-Maverick-03-26-Experimental Meta также решила выпустить версию с открытым исходным кодом после разногласий, чтобы ответить на внешнюю критику.
Изображение/X
Но эти ответы явно не смогли обойти один вопрос: истинные возможности Llama4. Фактически, и Личэн Юй, и Ахмад Аль-Дале признали проблемы с производительностью Llama4, опровергая при этом некоторые сомнения.
Будучи знаменосцем в лагере открытого исходного кода, который когда-то был «наиболее многообещающим, чтобы бросить вызов OpenAI», Llama4 изначально возлагал большие надежды со стороны разработчиков и отрасли. Но теперь за неделю после выпуска он превратился из «изюминки» в «кризис доверия», став редким «Ватерлоо», из уст в уста на крупных модельных соревнованиях.
02DeepSeek ускоряет работу с открытым исходным кодом, а Meta вынуждена тормозить
Если взглянуть только на поверхность, репутация Llama4 на этот раз кажется драматичной: анонимные ушедшие в отставку сотрудники рассказали, что для того, чтобы успеть к установленному внутри компании сроку, высшее руководство Meta потребовало, чтобы основные тестовые наборы были смешаны с «пост-обучением», просто для «видимого результата». Ходят даже слухи, что Жоэль Пино, вице-президент, отвечающий за искусственный интеллект, подала в отставку из-за противодействия такому подходу.
Однако, судя по текущей публичной информации, эти утверждения не выдерживают никакой критики. Что касается использования набора тестов для постобучения, предыдущий ответ в основном прояснил это. Отставка Жоэль Пино произошла за два дня до релиза, но она не руководила командой генеративного ИИ, а руководила исследовательским отделом MetaFundamentalAIResearch (FAIR), который не имел прямого отношения к проекту Llama4.
Жоэль Пино подала в отставку за несколько дней до релиза, фото/Meta
После избавления от шума общественного мнения всплыла настоящая проблема. В конечном счете, проблема Llama4 не в том, что это подделка, а в том, что она тормозит из-за обострения конкуренции среди больших моделей с открытым исходным кодом.
За последние два года Meta постепенно завоевала «ведущую и надежную» репутацию на рынке моделей с открытым исходным кодом благодаря Llama2 и Llama3. Однако к моменту появления Llama4 ситуация кардинально изменилась. Выпуск DeepSeekV3/R1 устранил разрыв между моделями с открытым и закрытым исходным кодом и значительно ускорил разработку моделей с открытым исходным кодом.
Это ставит Ламу, которая изначально была «лидером открытого исходного кода», под большее давление.
Хотя мы считаем, что многие из предыдущих разоблачений не выдерживают критики, одно остается реальностью: у Llama4 действительно есть крайний срок. Это видно из того, что Llama4Behemoth все еще находится в стадии обучения, и хотя размер параметров расширяется, а архитектура усложняется (MoE), возможно, Llama4 не выделила достаточно времени для тестирования и улучшения, что привело к нестабильной работе после выпуска.
Изображение/Мета
Кроме того, Мете не удалось контролировать деформацию движений. Оптимизация режима разговора Llama-4-Maverick-03-26-Experimental понятна, но цель «запуска» ChatbotArena всем хорошо известна. Мы не знаем, чем пожертвовали в этой спецверсии?
С нынешней точки зрения подход Меты явно неправильный. После того, как в месте выпуска удалось добиться более высоких ожиданий и большего внимания, реальные характеристики впоследствии не только еще больше разочаровали людей, но и разрушили восприятие пользователями серии Llama как «ведущей и надежной».
Как бы вы на это ни смотрели, вы проигрываете.
У Меты определенно есть шанс исправить ситуацию. Однако прежде чем он сможет говорить о восстановлении мира, он должен сначала признать реальность того, что другие крупные модели, такие как DeepSeek, Qwen и Gamma, выросли и даже превзошли его.