DeepSeek анонсирует АНБ для сверхбыстрого долгоконтекстного обучения и вывода. Согласно ему, NSA представляет собой аппаратно согласованный и изначально обучаемый механизм разреженного внимания для сверхбыстрого долгоконтекстного обучения и вывода.
Благодаря оптимизированной конструкции для современного оборудования NSA ускоряет вывод, одновременно сокращая затраты на предварительное обучение без ущерба для производительности.
Он соответствует или полностью превосходит модели внимания по общим критериям, задачам с длинным контекстом и рассуждениям на основе инструкций.
Ответственный редактор: Лю Минлян