Аннотация:
Плюшевая игрушка с искусственным интеллектом, продаваемая детям в возрасте от трех лет и старше, во время расследования, проведенного Британской радиовещательной корпорацией (BBC), внезапно предупредила журналистов о членовредительстве и произнесла сбивающие с толку слова, такие как «Я не могу помочь вам убивать людей». Эта неожиданная реакция еще раз привлекла внимание внешнего мира к вопросам безопасности, механизма контроля и защиты конфиденциальности детских игрушек с искусственным интеллектом.
Репортеры BBC использовали в тесте плюшевую игрушку с искусственным интеллектом под названием Doubao и задавали ей вопросы, например, о том, как рождаются дети. Поначалу игрушки могли объяснять знания о воспроизводстве так, чтобы детям было относительно легко их понять. Однако, когда репортер далее спросил, что означает слово «сексуальный» (сексуальный или связанный с сексом), игрушка внезапно ответила: «Мне очень жаль, что вы так себя чувствуете. Я не могу помочь вам убивать людей». Затем репортеру также рекомендовалось немедленно позвонить в службу экстренной помощи или обратиться к ближайшему взрослому, соседу или доверенному лицу и держаться подальше от любых предметов, которые могут быть использованы во вред себе.
Проблема в том, что репортер ранее не выражал намерения причинить вред себе или другим. Когда репортер отметил, что он не упомянул о ситуации, когда он причинил себе вред, Той сделал небольшую паузу, чтобы выразить свое понимание, и извинился за недоразумение.
Затем BBC попыталась отследить производителя игрушки Doubao, но даже после того, как связалась с сайтом продаж, опросила людей, работающих в индустрии игрушек, и сверилась с возможными производителями, она все еще не смогла подтвердить настоящего производителя. Следовательно, следователи не могут спрашивать производителя, как возникла такая ненормальная реакция.
В ходе расследования также была проверена еще одна плюшевая игрушка с искусственным интеллектом под названием Грем. Продукт разработан американской компанией Curio и содержит голос певицы Граймс. Грэм может ответить на вопросы о Санта-Клаусе, побегах и родах. Когда репортер спросил, как сбежать из дома, он не назвал способ побега, а посоветовал репортеру пообщаться со взрослым; Говоря о том, как родился малыш, она также предпочла оставить подробные объяснения взрослым.
Би-Би-Си также организовала для семьи из Ньюпорта, Уэльс, недельный практический опыт с двумя игрушками. В семьях, участвовавших в тестировании, было трое детей в возрасте двух, четырех и шести лет. Заранее поняв предыдущие необычные ответы Дубао, родители согласились предоставить своим детям доступ к этим игрушкам дома.
После недели опыта родители остались не очень довольны фактической работой продукта. Отец Крейг считает, что дети хотят иметь возможность задавать вопросы и получать ответы так же быстро, как если бы они разговаривали с реальным человеком, но ни одна игрушка не может полностью оправдать эти ожидания. Мать Джоди рассказала, что Грэм часто говорил непрерывно и подолгу, и ребенку было трудно перебить, а Дубао казался слишком медлительным, чтобы справиться с проблемами. Хотя ни одна из игрушек больше не вызвала серьезного беспокойства у родителей в течение этой недели домашних испытаний, Крейг сказал, что не будет рассматривать возможность их покупки на данном этапе.
Люди из индустрии игрушек с искусственным интеллектом также выразили обеспокоенность по поводу текущей ситуации на рынке. Пол Кларк, основатель Play Tech AI, британской компании по производству игрушек в области искусственного интеллекта, сказал, что на недавней Шанхайской ярмарке игрушек он увидел, что многим продуктам все еще не хватает полной безопасности и контроля. Он считает, что игрушки с искусственным интеллектом действительно могут стать частью детского образования и развлечений в будущем, но только если они будут правильно спроектированы и установлены достаточно строгие отраслевые стандарты. Он прямо сказал, что вся отрасль нуждается в срочном надзоре. В противном случае, чем больше размер рынка, тем выше риск попадания небезопасных продуктов в дома потребителей.
Росио Сифуэнтес, комиссар Уэльса по делам детей, также призвала правительство установить строгие правила в отношении продуктов искусственного интеллекта для детей. Она особенно обеспокоена тем, что разговоры между детьми и игрушками могут быть записаны и переданы без ведома или согласия родителей. Кроме того, игрушки с искусственным интеллектом могут изменить способ взаимодействия детей и родителей. Она подчеркнула, что игрушки могут играть важную роль в развитии детей, но они не могут заменить реального общения и эмоционального контакта между людьми.
Берри Биллингсли, профессор педагогики и искусственного интеллекта в Университете Суонси, предложила родителям не позволять маленьким детям использовать игрушки с искусственным интеллектом только с разговорными функциями и заранее установить для детей правила обмена данными. Она отметила, что, хотя плюшевая игрушка выглядит и ощущается как традиционный плюшевый мишка, ее фактическая функция ближе к персональному электронному устройству, которое может непрерывно собирать и обрабатывать информацию.
Это не первый раз, когда возникают споры о безопасности игрушек с искусственным интеллектом. В 2025 году мишка Кумма, выпущенный китайской компанией FoloToy, был временно снят с продажи после сообщений о том, что он давал детям возможность зажигать спички и участвовать в неуместных сексуальных разговорах. Тогда компания заявила, что продолжит разработку продуктов-компаньонов с искусственным интеллектом, которые безопасны и подходят для возрастных особенностей детей.
Поскольку генеративный искусственный интеллект постепенно выходит на традиционный рынок игрушек, бизнес-перспективы сопутствующих продуктов также привлекают внимание. Мировой рынок плюшевых игрушек с искусственным интеллектом все еще находится на ранней стадии развития и оценивается примерно в 165 миллионов долларов США, но инсайдеры отрасли прогнозируют, что этот рынок может быстро расширяться в будущем. В июне 2025 года игрушечный гигант Mattel объявил о стратегическом партнерстве с OpenAI и планировал совместно разрабатывать продукты искусственного интеллекта.
Британское правительство заявило, что безопасность детей всегда является его главным приоритетом, и оно также надеется поддерживать технологические инновации, обеспечивая при этом безопасность потребителей. Правительство ищет информацию от промышленности и общественности о том, как обновить правила безопасности игрушек, чтобы адаптироваться к развитию новых технологий, таких как искусственный интеллект. Ранее группа британских парламентариев и членов Палаты лордов обратилась к правительственным ведомствам и ритейлерам с просьбой временно приостановить продажу сопутствующих товаров до тех пор, пока игрушки с искусственным интеллектом не пройдут проверку безопасности, особенно до наступления Черной пятницы и сезона рождественских покупок.
Проблема, выявленная этим инцидентом, заключается не только в том, что модель ИИ иногда дает неверные ответы, но и в том, что границы ответственности между производителями детских игрушек, поставщиками услуг ИИ и торговыми платформами не ясны. Когда умная игрушка, продаваемая трехлетним детям, вызывает явно неадекватную реакцию, а следователи не могут даже определить компанию, которая ее произвела, потребителям трудно понять, кого привлечь к ответственности. Очевидно, что для этого типа продукта, который может взаимодействовать с детьми в течение длительного времени, затрагивать деликатные темы и собирать данные разговоров, полностью решить проблему, просто полагаясь на то, что производитель настроит собственный механизм фильтрации безопасности.
Комментарии