Аннотация:
Недавно в кругу ИИ произошел драматический эпизод: официальный анонсный твит DeepSeek, прежде чем все успели внимательно изучить технические детали, сначала вышел из круга из-за текста на обложке.
Некоторые пользователи сети обнаружили, что на обложке общедоступной статьи «DeepSeek Open Source Inference Framework: На пути к поистине инклюзивному будущему» «Putt & Whitney» ошибочно написано как «HP», что противоречит известному компьютерному бренду Hewlett-Packard (HP).
Многие пользователи сети пошутили, что DeepSeek непреднамеренно бесплатно отправляет HP волну рекламных объявлений о трафике; некоторые также пошутили, что руководители HP воспользуются возможностью приехать и обсудить сотрудничество.
Эту интересную ошибку чиновник быстро обнаружил. Изображение на обложке было срочно изменено, а текст заменен на «На пути к подлинно инклюзивному будущему». Маленький улун завершился успешно.
Шутки в сторону: именно вес этой статьи и является настоящей сутью этого инцидента. DeepSeek недавно официально опубликовал твит, в котором объявил, что ее внутренняя базовая структура вывода DeepInfer полностью открыта.
Разработчики, знакомые с ритмом DeepSeek, знают, что эта команда продолжает наращивать свои усилия в направлении открытого исходного кода и ранее выпустила ряд крупных моделей, цепочек инструментов компиляции TileLang и поддерживающих библиотек операторов вывода.
На этот раз они напрямую раскрыли внешнему миру лежащий в основе механизм вывода, который поддерживает крупномасштабные онлайн-сервисы, и представили полный план развертывания, отточенный в производственной среде, продемонстрировав свою искренность.
Официальная цитата «делай это во благо и делай это для всех, делай это ради умения и делай это для всех» поясняет первоначальное намерение.
Проще говоря, если необходимо реализовать большую модель, достаточно не только надежных параметров модели, но и структура вывода является ключом к определению пропускной способности, задержки и расходов на вычислительную мощность.Многие малые и средние команды и предприятия получили крупные модели с открытым исходным кодом, но они застряли в процессе развертывания: невозможно обработать большое количество одновременных запросов, задержки сильно колеблются, накладные расходы на вычислительную мощность остаются высокими, а стоимость приватного развертывания и запуска общедоступного облака отпугивает многих игроков.
DeepInfer имеет открытый исходный код и призван решить эту проблему.
DeepSeek надеется поделиться крупномасштабным опытом оптимизации логических выводов, накопленным во внутренней практике, со всем сообществом, чтобы помочь разработчикам и предприятиям оптимизировать показатели онлайн-сервисов, увеличить пропускную способность, сократить задержки ответа и плавно создавать частные или общедоступные облачные службы искусственного интеллекта.
После проведения оптимизации накладные расходы на вычислительную мощность и энергопотребление снизятся одновременно, а порог использования служб ИИ будет снижен, что позволит большему количеству отраслей и большему количеству пользователей использовать услуги крупных моделей с более высокими затратами и в конечном итоге достичь цели «инклюзивного ИИ».
Комментарии