OpenAI провела переговоры о приобретении стартапа, который анализирует механизм «мышления» ИИ, за более чем 5 миллиардов долларов США.

📅 2026-11-16

Аннотация:

Этим летом команды OpenAI пытались понять, почему их ИИ вызывает нарушения безопасности внутри и за пределами компании. За этот период многие топ-менеджеры, в том числе генеральный директор Сэм Альтман, неоднократно встречались со стартапом Goodfire. Технология Goodfire, поддерживаемая Anthropic, направлена ​​на то, чтобы понять основные причины, по которым модели ИИ ведут себя определенным образом, и как не допустить выхода ИИ из-под контроля.

Генеральный директор Goodfire Эрик Хо (слева) и генеральный директор OpenAI Сэм Альтман.
Генеральный директор Goodfire Эрик Хо (слева) и генеральный директор OpenAI Сэм Альтман.

Два человека, знакомых с ситуацией, рассказали, что в ходе переговорного процесса руководитель OpenAI предложил привлечь

более 5 миллиардов долларов США

Компания приобретет эту двухлетнюю начинающую компанию по разумной цене или вступит в другие формы делового сотрудничества. В феврале Goodfire завершила раунд финансирования, в результате которого компания была оценена в $1,25 млрд в рамках частного размещения, а предложение в $5 млрд представляло собой огромную премию к этой оценке.

Приобретение в конечном итоге не состоялось. Эта серия переговоров, о которых ранее никогда не сообщалось, показывает, что с ростом числа инцидентов безопасности, связанных с ИИ, как Anthropic, так и OpenAI обеспокоены «способностью контролировать технологию ИИ, которую они создают». Объясняемость механизмов, когда-то непопулярное направление в отрасли, теперь привлекает большое внимание.

Один из людей, знакомых с ситуацией, сказал, что одна из основных причин срыва переговоров заключается в том, что руководство Goodfire считает, что, если оно сохранит независимую разработку и будет экспортировать технологии нескольким компаниям, занимающимся искусственным интеллектом, стоимость компании превысит 5 миллиардов долларов.

Руководители OpenAI, Anthropic и Google признают, что надежность традиционных методов мониторинга поведения ИИ снижается, и в результате ценность программного обеспечения Goodfire возрастает. Его технический путь отличается от традиционного решения таких разработчиков, как OpenAI: традиционное решение состоит в том, чтобы читать текст вывода мыслительной цепочки во время вывода модели, внимательно наблюдая за фактическим поведением ИИ. (Смотрите интервью с генеральным директором Goodfire ниже)

Новые разработки в области искусственного интеллекта, такие как секретная технология, лежащая в основе модели Astra от OpenAI, сожмут объем информации, выдаваемой этой моделью, что еще больше затруднит мониторинг.

В последние месяцы инциденты, связанные с безопасностью ИИ, происходили один за другим (включая хорошо известный инцидент со вторжением Hugging Face, который был вызван технологией OpenAI и даже вторгся в некоторые собственные системы OpenAI). Крупным производителям моделей, таким как OpenAI, необходимо срочно создать более надежную защиту.

Как только их собственный ИИ вторгнется в корпоративные и государственные системы и причинит экономические потери, такие компании, как OpenAI и Anthropic, также могут столкнуться с риском огромной юридической компенсации или даже судебного преследования.

Основной сферой деятельности Goodfire является

механическая интерпретация

. В отличие от мониторинга цепочки мыслей, программное обеспечение конкурирующих продуктов, таких как Goodfire и Martian, напрямую наблюдает за математическими расчетами, выполняемыми внутри модели. Гудфайр также признал, что нынешняя зрелость этой технологии не так хороша, как у мониторинга цепочки мыслей; некоторые исследователи ИИ также считают, что строгость его научных исследований слабее, чем в других направлениях исследований в области машинного обучения.


Но соучредитель и главный научный сотрудник Goodfire Том МакГрат заявил в интервью YouTube, что технология стартапа будет быстро повторяться, а затраты будут намного ниже, чем мониторинг цепочки мыслей. Последний требует запуска большой модели для чтения результатов цепочки мыслей другой модели. Он прогнозирует, что в течение следующих шести месяцев решения для мониторинга, основанные на объяснимости, догонят возможности мониторинга цепочек мыслей.

Стартап из Сан-Франциско продает предприятиям ежегодные подписки на свой продукт Silico, который использует агентов искусственного интеллекта для автоматического проведения различных исследовательских экспериментов, например для определения того, пытается ли модель запустить кибератаку. В число его клиентов входят Rakuten и нейробиологический бизнес в области искусственного интеллекта Prima Mente. Goodfire получила доход, но точный размер не разглашается.

Интерпретируемость механизма требует глубокого доступа к весам модели (числовым параметрам, составляющим модель ИИ), которые крупные производители сохраняют строго конфиденциальными. Поэтому некоторые сотрудники Goodfire будут находиться на объектах компаний-клиентов для выполнения работ.

Информированные источники сообщили, что в ходе переговоров между OpenAI и Goodfire Альтман уделил особое внимание результатам исследований исследователя Goodfire Ника Каммараты. Каммарата когда-то работал в OpenAI. В прошлом месяце он опубликовал широко распространенную в кругу статью «Нейронные сети ясны и интерпретируемы». Он предположил, что с помощью интерпретируемости механизма исследователи смогут легче понять миллиарды нейронов (единиц математических операций внутри модели) внутри модели ИИ, чем считалось ранее. Многие исследователи полагают, что такое понимание может помочь разработать модели с более высокой производительностью.

Многие ведущие крупные модельные компании создали группы по исследованию интерпретируемости механизмов; Являясь одним из пионеров в этой области, Anthropic проявляет особую активность в этом направлении.

Крис Ола считается основоположником в области объяснимости механизмов. Он стал соучредителем Anthropic после ухода из OpenAI в 2020 году и теперь возглавляет исследования объяснимости в предприятии, разработанном Клодом. Anthropic завершила инвестиции в Goodfire в прошлом году, что стало первым случаем в своей истории, когда Anthropic приобрела прямую долю во внешнем стартапе. Генеральный директор Дарио Амодей тогда сказал: «Эти инвестиции отражают нашу веру в то, что объяснимость механизмов является наиболее перспективным способом преобразования нейронных сетей черного ящика в понятные и управляемые системы».

Судя по информации о наборе сотрудников, OpenAI также набирает исследователей в области согласования и интерпретируемости; Ранее в этом году OpenAI интегрировала технологию интерпретируемости в процесс безопасности для выявления опасных результатов модели, например, для ответа на злонамеренные вопросы, связанные с кибератаками и биологическим оружием. Люди, близкие к OpenAI, говорят, что среди исследователей внутри компании растет энтузиазм по поводу направления объяснимости.

Связанные теги

Похожие статьи

Комментарии

0/500
Captcha (click to refresh)
Нет комментариев