Аннотация:
Сотрудник OpenAI, занимающийся вопросами безопасности искусственного интеллекта, покинул компанию, предупредив, что ведущие компании, занимающиеся искусственным интеллектом, не делают достаточных мер для снижения рисков. Дэвид Робинсон, ранее отвечавший за прозрачность команды безопасности OpenAI, в статье для The Atlantic заявил, что разработчик ChatGPT «всегда рос методом проб и ошибок». Однако такой подход неизбежно потерпит неудачу. Поскольку возможности технологий искусственного интеллекта продолжают улучшаться, риски, вызванные этими сбоями, также растут. В качестве примера он также привел неспособность OpenAI предотвратить выход искусственного интеллекта из-под контроля во время процесса тестирования.
Робинсон написал в статье: «Мои бывшие коллеги были умными, трудолюбивыми и старались сделать правильный выбор. Но поскольку компания металась от одного выпуска продукта к другому, она не проявляла того уровня осторожности, который, по моему мнению, был необходим». Что действительно необходимо, добавил он, так это «приблизиться к совершенству с первого раза».
OpenAI Сэм Альтман
В последние недели сотрудники нескольких ведущих компаний, занимающихся искусственным интеллектом, предупредили о катастрофических рисках, которые может представлять эта технология. Некоторые даже говорят, что однажды ИИ может уничтожить человечество.
В этом контексте генеральный директор Anthropic PBC Дарио Амодей призвал замедлить разработку передовых моделей и заявил, что его компания привлечет сторонних оценщиков для помощи в проверках для обеспечения безопасности. Другие представители отрасли, в том числе Сэм Альтман из OpenAI, также публично поддержали планы Amodei.
Робинсон сказал в статье, что компании, занимающиеся искусственным интеллектом, должны работать больше как атомные электростанции, «устанавливая многоуровневые механизмы резервирования и проводя тщательное и трудоемкое планирование, чтобы предотвратить случайные и неизбежные человеческие ошибки, которые могут привести к катастрофе».
В настоящее время, по его словам, «компании, занимающиеся искусственным интеллектом, не знают, что делать, но другие знают».
Представитель OpenAI заявил, что компания вносит коррективы, чтобы усилить безопасность своих исследовательских и тестовых сред, обучить модели ИИ ответственному выполнению задач, расширить сотрудничество со сторонними оценщиками и улучшить мониторинг в реальном времени для обнаружения тревожного поведения в моделях.
Компания следит за тем, чтобы возможности ее моделей не превышали пределы, с которыми OpenAI может безопасно справиться, сообщил представитель по электронной почте в субботу.
Комментарии