Аннотация:
Аналогично, чтобы правильно выполнить все 10 задач по программированию, новая версия DeepSeek стоила менее 40 % от стоимости Claude Opus 5.5, а среднее время ожидания каждой задачи было на две минуты дольше.
17 октября DeepSeek выпустила V4.1-Flash-1017, цена осталась неизменной. После его выпуска разработчики уже использовали его для создания игр, создания веб-страниц и изменения кода.
Чтобы проверить его реальный уровень, разработчик Ибрагим Бадертдинов выбрал 10 задач из своей ежедневной работы и трижды запускал разные модели в одном и том же наборе инструментов программирования, используя высокую скорость вывода DeepSeek V4.1-Flash-1017 и низкую скорость Opus 5.5 и GPT-6 Astra.
После фактического тестирования все три модели прошли тест, но разрыв увеличился из-за выставления счетов и затрат времени: DeepSeek тратил в среднем всего 0,045 доллара США на задачу, что намного ниже, чем 0,1168 доллара США у Opus и примерно 0,26 доллара США у GPT-6 Astra; однако для завершения Opus и GPT потребовалось всего 37 секунд и 55 секунд соответственно, а для DeepSeek потребовалось 2 минуты и 38 секунд.
Все эти 10 задач небольшие по масштабу. Если рассматривать целостный проект, то является ли разрыв между DeepSeek, GPT и Claude просто вопросом ожидания?
Вы прошли все десять вопросов в 01, DeepSeek экономит деньги, Opus экономит время
Темы, выбранные Ибрагимом, взяты из его собственных записей о трехмесячном использовании агентов, включая обработку данных, серверную часть, интерфейсную часть и развертывание с использованием Python и TypeScript. Он выбрал задачи, которые обычно мог выполнить менее чем за час, а затем добавил к ним программы автоматической проверки.
Раскрытый им упрощенный пример — импорт пакета данных в локальную таблицу данных. Помимо успешного импорта, программа также должна пропускать повторяющиеся записи, отклонять конфликтующие номера и сообщать о неудовлетворительных данных; при замене старых данных он не может уничтожить исходное содержимое на полпути записи. Тест проверит пустые входные данные, конфликты данных, повреждение исходного файла и т. д.
Все три модели прошли эти проверки, но DeepSeek предпринял дополнительные шаги.
DeepSeek, также работающий на инструменте программирования Pi, выполняет в среднем 15,3 шага на задачу, Opus — 3,7 шага, а GPT-6 Astra — 6,5 шага. Общее использование токенов DeepSeek составляет около 547 000, а Opus — около 31 000.Я использую много, но счет не растет. Ибрагим объяснил, что почти все входные данные DeepSeek попали в кеш, а зарегистрированный показатель попадания в кеш достиг 97,9%. 547 000 токенов не были заново записаны моделью. Такой длинный ответ включал в себя контент, который неоднократно отправлялся в ходе нескольких звонков. Благодаря дешевым кэшированным входным данным стоимость этого теста составила менее 5 центов за тест.
Для пользователей влияние этих двух минут зависит от того, ждали ли они перед экраном. После сдачи задания и последующего выполнения других дел ожидание может быть не помехой; Если вы хотите внести следующие изменения сразу после просмотра результатов, скорость Opus и GPT в этом наборе тестов будет более полезной. Здесь сравнивается стоимость выполнения задач через API, а не ежемесячная плата за пакеты подписки ChatGPT или Claude.
Новая версия также улучшена по сравнению с предыдущей версией. Ранее Ибрагим использовал для тестирования самые высокие настройки вывода сентябрьской версии Flash и прошел 28 раз из 30 прогонов со средним временем 4 минуты 30 секунд для каждого теста. На этот раз при использовании новой версии high-end настройки прошло все 30 раз, а время сократилось до 2 минут 38 секунд.
02 Я построил BMW за 0,38 доллара США, но создание обычной веб-страницы заняло 40 минут
На этот раз DeepSeek хочет показать не просто заполнение функции. Официально выпущенные примеры включают 3D-сцену Запретного города, гоночную веб-игру и демонстрационную репродукцию Portal 2, созданную с помощью Godot. Компания заявляет, что новая версия улучшает возможности выполнения проектов с нуля за счет обучения с подкреплением и самообратной связью.
Разработчик Фабиано Фирмо попросил его использовать Three.js для создания 3D-модели BMW M5. На опубликованном им изображении на странице дисплея появляется красный автомобиль, а рядом с ним — варианты цвета.
По его словам, на этот раз он сделал только одно напоминание, которое стоило 0,38 доллара и длилось 1 час 10 минут.
Некоторые пользователи также продемонстрировали игру, похожую на «Ракетную лигу», где машины играют в футбол на поле. Пользователь X Markets & Mayhem отметил, что физические эффекты работают нормально и в нее можно играть, но она все еще нуждается в доработке. Тем, кто хочет сначала создать прототип веб-страницы или игры, эти демо-версии легче использовать, чем моделировать результаты экзаменов.
Однако готовность ждать более часа, чтобы увидеть 3D-автомобиль, не означает, что вы готовы ждать так долго, чтобы создать обычную веб-страницу.
Разработчик Алекс Картер рассказал, что попросил DeepSeek Harness создать обычную целевую страницу, на запуск которой ушла 41 минута; следующие две задачи веб-страницы заняли еще 43 минуты и 40 минут соответственно. Он думал, что модель умная, дешевая и хорошо представлена, но страницы создавались годами работы и обычно можно было закончить за десять минут.
При устранении ошибок у разработчиков тоже возникает похожее ощущение: модель стала умнее, но легко думать слишком долго и откладывать принятие мер. Другой пользователь Elshayib подчеркнул, что его жалоба заключалась не в количестве слов, выводимых в секунду, а в том, что модели требовалось слишком много времени, чтобы подумать, прежде чем действовать.
Эти длинные рассуждения были зафиксированы при тестировании API-платформы OmniaKey. Он требует новой версии Flash для написания программы, вычисляющей выражения по правилам работы Python, и не может вызывать готовые инструменты синтаксического анализа. Модели потребовалось около 88 секунд, чтобы пройти все 30 проверок. из примерно 20 700 выпущенных токенов примерно 19 700 считались контентом.
Но Flash не работает медленно для всех задач. В другом тесте OmniaKey извлек 10 полей из электронного письма со счетом, написанного на немецком и английском языках, и правильно ответил на все из них за 5,2 секунды; вызов инструмента для запроса погоды и времени в двух городах был выполнен за 2,6 секунды. OmniaKey сама продает API модели, и каждый из этого набора тестов будет запускаться только один раз.
Эти примеры моделирования и целевые страницы BMW не являются сравнением трех моделей по одной и той же теме. Насколько готов продукт deepSeek и сколько раз он потом будет перерабатываться еще надо сравнивать с GPT и Claude под теми же требованиями.
03 После понижения передачи скорость стала на одну минуту быстрее и было еще три отказа
Поскольку настройка высокого уровня вывода занимает много времени, что произойдет, если его снизить? Ибрагим тоже это проверил.
В Pi после того, как новая версия DeepSeek настроена на низкий уровень, среднее время на один элемент сокращается с 2 минут 38 секунд до 1 минуты 31 секунды, а стоимость снижается с 0,045 доллара США до 0,0257 доллара США. Однако 3 из 30 заездов оказались неудачными.
Все пропуска, полученные на высоких уровнях, не могут быть сохранены в целости и сохранности.
На этом низком уровне я переключился на собственный Harness от DeepSeek, и результаты снова изменились: он прошел 29 раз за 30 запусков, что на два больше, чем у Pi. Согласно записям Ибрагима, официальная инструментальная среда помогла модели справиться с граничным условием, которое отсутствовало в Pi.
Эти два набора инструментов по-разному работают с моделями. DeepSeek Harness напрямую предоставляет инструменты для чтения и редактирования файлов, тогда как Pi в основном позволяет управлять моделью через командную строку; слова системной подсказки первого также длиннее. После смены инструментов на этот раз использование токенов увеличилось примерно на 75%, а среднее затраченное время увеличилось с 1 минуты и 31 секунды до 1 минуты и 53 секунд. В обоих наборах инструментов три раза подряд можно пройти всего 9 заданий.
Для той же модели, если вы измените механизм вывода и набор инструментов, скорость, стоимость и успех изменятся.
Вы видите только результаты, опубликованные другими, но вам также необходимо знать, какие настройки они использовали.При выпуске DeepSeek также четко упомянул, что в нем есть оптимизированные инструменты, такие как DeepSeek Harness, Tencent CodeBuddy и WorkBuddy, и рекомендовал пользователям Harness обновиться до версии 0.2.1-rc.1 или выше.
Это обновление было выпущено для веб-страниц, приложений и API. Вызовы API по-прежнему используют deepseek-flash, а цена остается неизменной; Вес новых моделей также был обнародован в соответствии с протоколом MIT.
Однако предыдущий тест программирования был завершен путем подключения модели к инструменту, который может читать файлы, изменять код и выполнять проверки. Просить его написать фрагмент кода в окне чата — это не то же самое, что просить его взять на себя управление проектом. Среда использования другая.
04Для того же набора вопросов GPT и Claude могут оказаться дешевле
Opus и Astra — флагманы обеих компаний, а у OpenAI и Anthropic также есть более дешевые модели.
В одном и том же тесте Ибрагима xhigh передача GPT-6 Luna и высокая передача Haiku 5.5 прошли 30 раз. Средняя стоимость каждого товара составила всего 0,0145 и 0,0208 долларов США соответственно, что ниже, чем у DeepSeek.
Среднее время, затрачиваемое ими, составляет 2 минуты 46 секунд и 2 минуты 08 секунд соответственно.Это делает выбор уже не просто «дорогой GPT, Клод» или «дешевый DeepSeek». Люди, которые уже используют Luna или Haiku для решения небольших задач, возможно, не смогут сэкономить дополнительные деньги, перейдя на Flash.
Более сложные задачи меняют вопрос с того, как долго ждать, на вопрос о том, можно ли доверять результатам. Пользователь X Yum рассказал, что после того, как попробовал новую версию, его по-прежнему больше всего беспокоят галлюцинации, особенно реконструкция и изменение архитектуры в нескольких файлах. Он предпочел бы, чтобы другая модель проверила изменения, вместо того, чтобы позволить DeepSeek утвердить его собственное решение. Это его выбор использования, а не проверка по тому же вопросу, чтобы доказать, что GPT или Claude надежнее.
Поэтому наиболее заметным прогрессом на данный момент является то, что новая версия DeepSeek дала те же результаты проверки, что и флагманская модель, при выполнении серии реальных небольших программных задач.
Как далеко может зайти эта замена, зависит от того, сколько ручных исправлений необходимо в крупных проектах и можно ли устранить проблемы.
Между созданием 3D-автомобиля и поддержанием проекта в долгосрочной перспективе еще много работы.Ибрагим тоже готовится усложнить это испытание. В конце поста он сказал, что следующим шагом будет выделение группы гораздо более сложных задач и сравнение разных инструментов и моделей.
Комментарии