В ранее нераскрытых новостях инженеры OpenAI ранее в этом месяце рассказали некоторым своим коллегам, что благодаря серии новых технических оптимизаций они нашли способЭксплуатационные затраты на вывод модели сокращаются более чем вдвое.план.
После того, как инженеры применили эту новую технологию к сценарию ChatGPT, где посетители, не зарегистрировавшие бесплатную/платную учетную запись, получали доступ к ChatGPT, вычислительная мощность видеокарт NVIDIA, необходимая в периоды пиковой нагрузки, составила всего несколько сотен юаней. Это число оказалось ниже ожидаемого. (Конечно, OpenAI установил ограничение частоты звонков для этого типа анонимных посетителей, и общее использование ChatGPT этой группой невелико.)
В настоящее время OpenAI не раскрыла конкретные технические детали, использованные для повышения эффективности. В отрасли предполагают, что обычно используемые методы оптимизации включают в себя: количественную оценку модели, кэширование значений ключей (позволяет модели запоминать информацию о прошлых расчетах и избегать повторных операций), пакетную обработку запросов (пакетный ответ на запросы пользователей вместо обработки их один за другим), планирование запросов к маломощным облегченным моделям или подмодулям модели для завершения ответов и т. д.
Однако, когда позже в этом году OpenAI выпустит модель нового поколения с более крупными параметрами, эффект снижения затрат, обеспечиваемый этой группой технологий оптимизации, может быть ослаблен, поскольку эксплуатационные расходы самой модели с большими параметрами будут значительно выше.
Этот тип технологии оптимизации вывода называетсяТехнология удвоения вычислительной мощности, который также находится в центре внимания крупных лабораторий искусственного интеллекта. Генеральный директор Anthropic Дарио Амодей публично упоминал эту концепцию в подкастах как минимум с середины 2023 года. Тогда он заявил, что компания строго ограничила круг внутреннего персонала, владеющего единым набором решений по оптимизации вычислительной мощности. Как только соответствующая технология будет скопирована коллегами, это даст другим лабораториям ИИ конкурентное преимущество. (Технология удвоения вычислительной мощности также может относиться к различным методам оптимизации эффективности на этапе обучения модели.)
Важность этого типа технологии оптимизации становится все более заметной. В настоящее время ведущие компании, занимающиеся исследованиями и разработками в области искусственного интеллекта, обычно сталкиваются с нехваткой серверных вычислительных мощностей. Даже если компания подписывает контракт на строительство нового или аренду дата-центра, от старта проекта до официального запуска зачастую проходят месяцы и даже годы. (OpenAI также работает с Broadcom над собственной разработкой специальных чипов для работы с большими моделями, пытаясь еще больше снизить затраты на логические выводы с целью добиться снижения затрат по сравнению с коммерческими чипами Nvidia.)
После внедрения оптимизации технологии OpenAI рынок также уделяет большое внимание тому, как компании будут справляться с экономией затрат на вычислительную мощность. С одной стороны, OpenAI может принести дивиденды пользователям: либо увеличить лимит вызовов ChatGPT для платных подписчиков, либо снизить цены на модельные интерфейсы, открытые для разработчиков. В настоящее время цена вызова старой версии модели упала до доли первоначальной цены, и оптимизация вывода является одной из основных причин.
Это еще больше укрепит позиции OpenAI на рынке как экономически эффективного поставщика модельных услуг. В последнее время конкурирующий продукт Anthropic вызвал споры из-за высокой цены модели, хотя эффект от ее модели лучше.
С другой стороны, OpenAI также может использовать доход от снижения затрат для увеличения своей валовой прибыли, в то время как валовая прибыль компании в основном определяется стоимостью вычислительной мощности для вывода. Валовая прибыль OpenAI в первом квартале этого года составила 39%, увеличившись по сравнению с 33% за тот же период прошлого года, но все еще существует большой разрыв с целевой нормой валовой прибыли в 52% на конец года.
Чтобы достичь годовой цели, компании необходимо достичь средней валовой прибыли в 56% за оставшуюся часть года. Выручка Anthropic резко выросла в первой половине этого года, и ожидается, что в этом квартале она достигнет неожиданной прибыли, что полностью подтверждает скорость увеличения валовой прибыли во время цикла отраслевого бума.
На данном этапе OpenAI не имеет абсолютного права голоса в ценообразовании, но эта технология оптимизации вывода значительно расширит ее путь к увеличению валовой прибыли.