В федеральном иске против OpenAI в США Илон Маск в своих показаниях признал, что основанная им компания искусственного интеллекта xAI использовала модель OpenAI для обучения своего чат-бота Grok с помощью так называемой технологии «дистилляции», в очередной раз привлекая внимание к этой негласной практике в отрасли.

В последнее время OpenAI и Anthropic критикуют третьи стороны за обучение поведению новых моделей посредством интенсивного опроса общедоступных чат-ботов и API — процесса, известного в отрасли как «дистилляция». В последние несколько месяцев общественное мнение сосредоточилось на некоторых китайских компаниях. Их обвинили в создании моделей взвешивания с открытым исходным кодом путем дистилляции. Возможности этих моделей близки к передовым американским продуктам, но они могут быть предоставлены внешнему миру с меньшими затратами. Однако в технологических кругах многие практики уже давно полагают, что передовые лаборатории в Соединенных Штатах также будут использовать аналогичные методы, чтобы не отставать от конкуренции.

Это предположение теперь подтвердилось как минимум в одном случае. Отвечая на вопрос во время дачи показаний в четверг в федеральном суде Калифорнии, использовала ли xAI технологию дистилляции для обучения Грока на основе моделей OpenAI, Маск сказал, что это «обычная практика среди компаний, занимающихся искусственным интеллектом». Когда другая сторона спросила, можно ли понимать это как «да», он ответил: «частично да».

В настоящее время Маск подает в суд на OpenAI, а также на генерального директора компании Сэма Альтмана и соучредителя Грега Брокмана, утверждая, что они нарушили первоначальную некоммерческую миссию OpenAI, превратив ее из некоммерческой в ​​коммерческую структуру. Суд начнется на этой неделе, и показания Маска станут одной из центральных драм.

Признание Маска имеет большое значение, поскольку технология дистилляции рассматривается как угроза основным преимуществам крупных компаний, занимающихся искусственным интеллектом: эти компании инвестируют огромные суммы денег в создание вычислительной инфраструктуры, пытаясь оставаться впереди, преодолевая барьеры масштаба, в то время как дистилляция может позволить другим разработчикам программного обеспечения обучать модели, которые «не за горами» по возможностям, по цене, намного меньшей, чем первоначальная стоимость. На этом фоне в отрасли нет недостатка в иронии — чтобы получить достаточно обучающих данных, Frontier Labs сами неоднократно проверяли границы авторских прав и даже были обвинены в «переступлении черт», но теперь им приходится сопротивляться использованию других интерфейсов соответствия для «обучения» своих моделей.

Судя по срокам, xAI была основана в 2023 году, на несколько лет позже OpenAI, поэтому неудивительно, что она попыталась «поучиться» у лидера отрасли того времени. Неясно, является ли дистилляция явным нарушением закона. Более реалистичные ограничения могут исходить из условий использования продукции, установленных каждой компанией: дистилляция часто рассматривается как нарушение этих условий и не обязательно затрагивает сам статутный закон.

Столкнувшись с опасениями по поводу «плагиата» моделей из Китая, OpenAI, Anthropic и Google начали совместную акцию через «Фронтирный модельный форум», чтобы попытаться поделиться разведданными и совместно ответить на попытки дистилляции. По имеющимся данным, такая фильтрация крупных моделей часто основывается на систематических, крупномасштабных автоматических опросах, позволяющих сделать вывод о «внутренних поведенческих моделях модели». Чтобы пресечь такое поведение, Frontier Labs пытается выявлять и блокировать подозрительные пакетные и аномальные запросы, чтобы предотвратить «лишение сути» модели. На момент публикации OpenAI не ответила на просьбу прокомментировать показания Маска.

Позже в ходе судебного разбирательства Маска спросили о громком заявлении, которое он сделал прошлым летом: что xAI скоро превзойдет все компании, кроме Google, с точки зрения возможностей. В суде он составил субъективный рейтинг крупнейших мировых поставщиков ИИ, заявив, что Anthropic в настоящее время занимает первое место, за ним следуют OpenAI и Google, а китайские модели с открытым исходным кодом занимают второе место. Для сравнения он описал xAI как гораздо меньшую компанию, в которой сейчас работает всего несколько сотен сотрудников.