Аннотация:
Kimi K3, дочерняя компания китайской компании Dark Side of the Moon, занимающейся искусственным интеллектом, недавно снова оказалась вовлеченной в спор о моделировании дистилляции. Расследование, опубликованное OpenAI, показало, что скоординированная кампания по извлечению данных, нацеленная на защищенное содержание выводов ее моделей, была связана с лицами, связанными с «Темной стороной Луны». Соответствующие мероприятия породили около 16 000 запросов за один день и охватили более 15 000 пользователей.
OpenAI заявила, что эти операции не взломали ее систему шифрования, не вторглись в базу данных и не получили напрямую исторические разговоры пользователей, но посредством тщательно разработанных многораундовых взаимодействий модели они попытались восстановить изначально скрытый процесс рассуждения в форме, видимой для запрашивающего.
OpenAI назвала этот инцидент «скоординированным мероприятием по уточнению модели». Так называемая дистилляция модели подразумевает использование более способной модели учителя для получения большого объема результатов, а затем использование этих результатов для обучения меньшей или более дешевой модели ученика, чтобы последний мог изучить модели поведения и возможности модели учителя. Дистилляция сама по себе является распространенным методом в области машинного обучения, но если выходные данные коммерческой модели извлекаются в больших масштабах без разрешения и используются для обучения конкурирующих моделей, это может нарушить условия обслуживания и даже привести к спорам об интеллектуальной собственности.
Согласно результатам расследования, опубликованному OpenAI, подобная деятельность впервые появилась 1 июля 2026 года, когда количество запросов было еще относительно небольшим. Затем активность постепенно расширялась, с очевидными пиками 24 и 25 июля. Только за эти два дня OpenAI обнаружил около 16 000 запросов с использованием определенных шаблонов извлечения от более чем 4 000 пользователей.
OpenAI далее заявила, что аналогичные слова подсказки и режимы работы не только появляются среди более чем 4000 пользователей, упомянутых выше, но и распределяются среди более крупной группы пользователей, состоящей из более чем 15 000 пользователей. Анализируя закономерности и корреляции между этими запросами, компания определяет, что они не являются полностью независимыми действиями обычных пользователей, а относятся к деятельности с согласованными характеристиками.
Особый интерес представляет одна ключевая операция. В OpenAI сообщили, что соответствующий персонал сначала скопировал зашифрованный контент вывода, возвращенный моделью из одного разговора, а затем попросил модель расшифровать и расшифровать скрытый контент в отдельном разговоре. Другими словами, они не взломали напрямую механизм шифрования, используемый OpenAI для защиты процесса рассуждений, а попытались использовать собственные возможности модели, чтобы она могла обработать еще одну часть защищенного контента, тем самым косвенно восстановив информацию.
OpenAI подчеркнула, что эта деятельность не смогла успешно «взломать шифрование», не взломала базу данных OpenAI и не получила записи пользовательских чатов, хранящиеся на сервере. Его успех заключается главным образом в манипулировании взаимодействиями между моделями, благодаря чему защищенная информация вывода, которая в противном случае не была бы напрямую отображена пользователю, снова появлялась в другой форме.
OpenAI окончательно полностью заблокировала этот вид деятельности примерно 28 июля. Компания заявила, что в ходе расследования обнаружила, что один из основных кластеров активности был связан с людьми, связанными с «Темной стороной Луны». В публичном заявлении OpenAI говорится, что она смогла приписать основной кластер «лицам, связанным с разработчиком Кими Dark Side of the Moon».
Dark Side of the Moon — китайская компания, занимающаяся искусственным интеллектом, чья серия моделей Kimi в последние годы быстро развивалась. В июле 2026 года компания выпустила Kimi K3, модель открытого веса с примерно 2,8 триллионами параметров, и позиционировала ее как модель нового поколения для программирования кода, сложных рассуждений и задач агента ИИ. Kimi K3 быстро привлек внимание мировых разработчиков искусственного интеллекта после своего выпуска, а его производительность была близка к ведущей модели с закрытым исходным кодом в США в некоторых сторонних тестах.
Расследование OpenAI также привлекло внимание к предыдущим сомнениям, высказанным правительством США относительно источника модели Кими. Майкл Кратциос, директор Управления по науке и технологической политике Белого дома и главный советник по науке и технологиям, заявил в конце июля этого года, что правительство США располагает соответствующей информацией и считает, что «Тёмная сторона Луны» использовала модель Anthropic для создания Kimi K3. Dark Side of the Moon не признала обвинение.
Помимо заявления правительства, другие исследователи недавно проанализировали источники обучения модели Кими K3. Исследование показало, что простой ввод части декодированного содержания рассуждений Клода Опус 4.8 в Кими К3 может значительно изменить последующий мыслительный процесс и окончательный ответ Кими К3, делая его выражение более близким к выражению лица Клода. Исходя из этого, исследователи полагают, что сложность извлечения определенного содержания рассуждений Клода и GPT в Kimi K3 значительно ниже, чем в других моделях.
Однако эти исследования не доказывают, что Kimi K3 в целом был создан из других моделей несанкционированным способом. Подобные методы ответа, структуры рассуждения и выражения знаний появляются среди больших языковых моделей, которые также могут быть обусловлены различными факторами, такими как общедоступные данные, схожие цели обучения, методы обучения с подкреплением и архитектура модели. Таким образом, существование частичного сходства поведения среди моделей не означает доказанных нарушений в источнике их обучающих данных.
Kimi K3 также содержит технологию, разработанную Dark Side of the Moon. Модель разработана с использованием таких архитектур, как Kimi Delta Attention, и оптимизирована для крупномасштабных задач вывода. Dark Side of the Moon также снижает затраты на вывод за счет уменьшения кэша KV и оптимизации объема памяти каждого токена. Эти технологии позволяют Kimi K3 работать на оборудовании крупномасштабных центров обработки данных.
Особенностью этого противоречия является то, что поведение, предполагаемое самим OpenAI, является не просто копированием ответа модели, а попыткой активно получить «защищенное обоснование», которое модель обычно не отображает напрямую. Поскольку все больше и больше компаний, занимающихся искусственным интеллектом, внедряют механизмы скрытого или зашифрованного рассуждения, этот тип информации стал важной частью защиты возможностей модели. Если конкурирующие модели смогут восстанавливать свое содержимое с помощью крупномасштабных автоматических запросов, механизмы, используемые поставщиками моделей для защиты результатов обучения и возможностей вывода, могут столкнуться с новыми проблемами.
За последние годы OpenAI много раз принимала меры против аналогичного поведения моделей дистилляции. Компания полагает, что крупномасштабная автоматизация вызова бизнес-моделей, сбора их результатов и использования их для обучения конкурирующих моделей позволит стороне с большими объемами вычислительных ресурсов воспроизвести с меньшими затратами возможности, которые другие модели разработали в результате долгосрочных исследований и разработок.
В то же время этот инцидент также показывает, что дистилляция моделей ИИ становится деликатным вопросом в конкуренции в области искусственного интеллекта между Китаем и Соединенными Штатами. Правительство США неоднократно предупреждало, что китайские компании, занимающиеся искусственным интеллектом, могут использовать результаты моделей американских компаний для ускорения разработки собственных моделей, в то время как китайские компании продолжают подчеркивать важность независимых исследований и разработок и моделей с открытым весом. Что касается текущей публичной информации, OpenAI подтвердила открытие крупномасштабной деятельности по добыче полезных ископаемых и заявила, что ее основной кластер деятельности связан с людьми, связанными с Темной стороной Луны. Однако эта атрибуция и то, используется ли соответствующая деятельность в конечном итоге для тренировки Кими К3, все еще требует дополнительных публичных доказательств.
Подробнее:
https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/
Комментарии