Аннотация:
4 ноября Адди Османи, инженер команды Claude Code компании Anthropic и бывший руководитель отдела технологий Google, недавно опубликовал в социальной платформе длинную статью. Он называет это явление
"когнитивной капитуляцией"
(Когнитивная капитуляция).
Османи проработал в Google более 14 лет и отвечал за опыт разработчиков Chrome и бизнес, связанный с Google Cloud AI. В настоящее время он работает над Claude Code в Anthropic.
Османи сказал, что он является убежденным сторонником рабочего процесса агентов с искусственным интеллектом и в своей повседневной работе часто запускает несколько агентов одновременно. Но он обнаружил изменение, заслуживающее бдительности:
По мере совершенствования моделей ИИ в выходных результатах становится все меньше и меньше очевидных ошибок, из-за чего людям становится все труднее сохранять бдительность.
Раньше людям обычно приходилось проходить процесс сбора информации, анализа, суждения и т. д., чтобы получить ответ, но теперь этот процесс может быть сжат до нескольких секунд. Контент, созданный с помощью ИИ, часто хорошо структурирован, свободно выражен и в большинстве случаев правилен, что позволяет пользователям все чаще отказываться от независимого размышления и проверки.
Он разделил уровень использования ИИ человеком на три уровня: первый —
"когнитивная разгрузка"
(Cognitive Offloading), то есть задача передается на выполнение ИИ, но он по-прежнему несет ответственность за результаты; второй —"отсрочка решения"
(Отсрочка), то есть вывод ИИ больше не рассматривается как гипотеза, нуждающаяся в проверке, а непосредственно используется как основа для следующего этапа работы; последний —"Когнитивная капитуляция"
,То есть результаты работы ИИ постепенно становятся личным мнением пользователя, и пользователь больше даже не считает необходимым проверять.
Среди них концепция «когнитивной капитуляции» была впервые предложена исследователями Уортонской школы Стивеном Шоу и Гидеоном Нэйвом.
Османи считает, что
эта трансформация часто не происходит внезапно, а постепенно формируется в процессе постоянного использования ИИ
<р>. Пользователи могут внимательно прочитать первый отчет AI, лишь бегло взглянуть на второй и даже просто просмотреть схему третьего. В конце концов, когда пользователей спрашивают о конкретном выводе, они могут оказаться не в состоянии объяснить логику.Он связал это явление с «когнитивным долгом». В сфере разработки программного обеспечения ИИ может генерировать большой объем кода, и все тесты могут проходить, но понимание членами команды архитектуры системы и логики реализации постоянно снижается. Лишь однажды, когда систему потребовалось модифицировать, разработчики обнаружили, что никто толком не понимает, как работают определенные функции.
Однако Османи не считает, что разработчикам нужно помнить все детали огромной базы кода. Он отметил, что команда Claude Code также будет использовать ИИ для восстановления понимания конкретных модулей кода, когда это необходимо. Что действительно важно, так это не знать все и всегда, а знать то, чего вы не знаете, и иметь возможность переосмыслить это.
Что касается того, как избежать «когнитивной капитуляции», предположил Османи,
Прежде чем задавать сложные вопросы ИИ, люди должны сформировать свои собственные предварительные предположения, а не полностью полагаться на ИИ в предоставлении ответов.
Даже если первоначальное предположение неточно, оно может помочь пользователям сохранить основу для независимого суждения при получении результатов ИИ.Он также предложил
пользователям активно искать доказательства, которые могут опровергнуть вывод ИИ, а не просто спрашивать модель, насколько она уверена в своем ответе.
По спорным вопросам разные модели могут представлять аргументы с противоположных позиций, и тогда люди могут выносить исчерпывающие суждения.В области разработки программного обеспечения Османи считает, что узким местом в эпоху искусственного интеллекта является смещение от написания кода к проверке его корректности.
В настоящее время агенты ИИ могут самостоятельно писать код, запускать тесты, читать сообщения об ошибках и неоднократно изменять их, пока тест не пройдет. Но проблема в том, что сами тесты тоже могут писаться ИИ. Если логика тестирования и код имеют одинаковые ошибки, даже если все тесты пройдены, это не может доказать отсутствие проблем в программном обеспечении.
Поэтому он подчеркнул, что разработчикам следует не только обращать внимание на то, проходит ли тест, но и уточнять, что доказывает тест и какие риски не покрываются. Для результатов, предоставляемых ИИ, критериями приемки должны быть проверяемые доказательства, такие как фактические результаты испытаний, журналы операций, снимки экрана и т. д., а не кажущаяся разумной сводка, созданная ИИ.
Османи также предложил разработчикам требовать от агента четкого перечисления решений, которые он принял автономно во время выполнения задачи, принятых им предположений и условий, которые он проигнорировал, поскольку это содержимое обычно не отображается в окончательном резюме работы.
Поскольку ИИ способен выполнять все больше и больше задач одновременно, начинает возникать другая проблема. Османи называет это
"налогом на оркестровку"
(Налог на оркестровку), то есть разрыв между скоростью, с которой ИИ генерирует результаты, и скоростью, с которой люди могут тщательно их анализировать и быть готовыми взять на себя ответственность за них.Когда результаты работы, генерируемые ИИ, продолжают накапливаться и у людей уже нет времени на их рассмотрение, дальнейшее увеличение количества Агентов не решит проблему. Он считает, что в этом случае команде следует улучшить механизм автоматической проверки или соответствующим образом снизить скорость генерации задач.
Османи также предупредил, что
высокая степень автоматизации ИИ может привести к тому, что люди постепенно перестанут практиковать свои первоначальные навыки.
Он рекомендует разработчикам каждую неделю пытаться писать код без использования ИИ, каждый месяц возвращаться к навыкам, которые они перестали практиковать, и решать, какие способности все еще стоит сохранить.Он также процитировал исследование Anthropic по использованию искусственного интеллекта внутренними инженерами и исследователями, отметив, что существует «парадокс надзора»: надзор за Клодом требует способностей к программированию, но чрезмерное использование искусственного интеллекта может ухудшить эти способности.
Османи подчеркнул, что эти взгляды не означают, что использование ИИ должно быть сокращено. Нет проблем в задачах, где цена ошибки невелика и полностью отдана ИИ, но когда дело доходит до инвестиций, выбора карьеры, безопасности продукта или важных решений, влияющих на других людей, люди по-прежнему должны сохранять ключевые права на суждения.
По его мнению, будущие модели ИИ могут лучше находить ошибки, чем люди, но это не снимает с человека ответственности.
Решение, какие продукты разрабатывать, почему их стоит разрабатывать, на кого они повлияют и какую цену они готовы за это заплатить, по-прежнему требует человеческого выбора.
В конце статьи он заключил: «
Вы можете передать работу и большинство задач по проверке ИИ, но не можете передать и ответственность».
»
Комментарии