Стартап в области искусственного интеллекта Anthropic сегодня объявил, что его популярная модель Claude Sonnet 4 LLM теперь поддерживает до 1 миллиона контекстных токенов. После Google Gemini Anthropic становится вторым крупным поставщиком моделей, предоставившим 1 миллион контекстных токенов.
Ранее API Claude Sonnet 4 поддерживал только 200 000 контекстных токенов. Благодаря этому пятикратному расширению разработчики могут отправлять всю свою кодовую базу, состоящую из более чем 75 000 строк кода, в одном запросе.
Поддержка расширенного контекста сейчас находится на стадии публичного тестирования на Anthropic API и Amazon Bedrock, а вскоре появится Google Cloud Vertex AI. Однако поддержка длинного контекста в настоящее время ограничена разработчиками уровня 4 и требует пользовательских ограничений скорости. Anthropic отмечает, что в ближайшие недели эта функция станет доступна большему количеству разработчиков.
Поскольку большие окна токенов требуют более высокой вычислительной мощности, Anthropic ввела специальные цены. Для подсказок с количеством токенов менее 200 000 Sonnet 4 стоит 3 доллара за миллион входных токенов и 15 долларов за миллион выходных токенов. Для приглашений с более чем 200 000 токенов стоимость составляет 6 долларов США за миллион входных токенов и 22,50 долларов США за миллион выходных токенов.
Разработчики могут сократить расходы, используя быстрое кэширование и пакетную обработку. Например, пакетная обработка может предложить 50% скидку на цену контекстного окна 1M.
На недавней сессии Reddit AMA лидеры OpenAI обсудили поддержку длинных контекстных окон для своих моделей. Генеральный директор OpenAI Сэм Альтман сказал, что OpenAI не видит большого спроса со стороны пользователей на контексты большой длины, но если будет достаточный интерес, они готовы его поддержать. Из-за ограниченных вычислительных мощностей они хотят сосредоточиться на других приоритетах.
Мишель Покрасс из команды OpenAI написала, что им хотелось бы предоставить более длинный контекст в GPT-5, до 1 миллиона токенов, особенно для сценариев использования API, но они не сделали этого из-за высокой потребности в графическом процессоре.
Поддержка контекста 1M от Anthropic ставит его в прямую конкуренцию с Google Gemini за возможности длинного контекста, что заставляет OpenAI переосмыслить свою дорожную карту.
