Институт безопасности искусственного интеллекта Великобритании (UK AISI) и Центр стандартов и инноваций в области искусственного интеллекта США (CAISI) недавно опубликовали совместный отчет об оценке, в котором проводится углубленная оценка возможностей кибербезопасности Kimi K3, последней модели, выпущенной Moonshot AI. Результаты оценки показывают, что, хотя сетевые возможности Kimi K3 превосходят GLM-5.2, ранее признанную самую сильную модель с открытым исходным кодом, все еще существует значительный разрыв по сравнению с текущей ведущей американской моделью с закрытым исходным кодом.
В этом тесте основное внимание уделялось фактической производительности Kimi K3 в таких областях, как разработка уязвимостей сети и моделирование сетевых атак. В ExploitBench, известном тесте кибербезопасности, разработанном в Университете Карнеги-Меллона, Kimi K3 достиг показателя успеха 32%, что выше, чем у GLM-5.2 (24%). Однако в тесте разработки эксплойтов произвольного кода (ACE), который представляет собой самый высокий уровень угрозы, лучшие модели с закрытым исходным кодом смогли выполнить в среднем 20 задач, в то время как Kimi K3 набрал ноль и не смог успешно разработать ни одного эксплойта, обеспечивающего выполнение произвольного кода.
В комплексном тесте кибер-диапазона «Последние», который имитирует атаку на корпоративную сеть, миссия состояла из 32 этапов атаки, охватывающих 4 подсети и примерно 20 хостов. Данные испытаний показывают, что Kimi K3 может перейти в среднем на 17 шаг, что лучше, чем средний показатель GLM-5.2, равный 11 шагам, и успешно преодолевает весь путь атаки за 1 из 10 попыток. Для сравнения, нынешние лучшие американские модели в этом диапазоне продвигаются в среднем на 28,5 ступеней, а процент зазора достигает 60–70 процентов. Это показывает, что Kimi K3 имеет потенциал для автономной атаки на слабозащищенные системы малого бизнеса после получения первоначального доступа, но его общая стабильность и возможности глубокой атаки все еще далеки от передового уровня.
Кроме того, в оценке также указано, что существующий механизм защиты Kimi K3 не смог эффективно блокировать попытки использовать уязвимости сети или проводить наступательные операции по обеспечению сетевой безопасности в агентском режиме. Предполагается, что Kimi K3 будет официально выпущен 16 июля 2026 года, а открытый исходный код планируется открыть к 27 июля. Агентства по безопасности ИИ в Великобритании и США заявили, что эта оценка основана только на предварительном наборе тестов и продолжит отслеживать границы безопасности и развитие возможностей передовых моделей ИИ в будущем.