Аннотация:
Anthropic предоставила внешним оценщикам почти внутренний доступ на уровне сотрудников для оценки рисков своей большой модели. Этот шаг соответствует обещанию компании по дальнейшему укреплению механизмов защиты безопасности в ответ на внешние опасения, что технология искусственного интеллекта может катастрофически выйти из-под контроля.
Некоммерческая организация METR сотрудничает с ведущими лабораториями искусственного интеллекта, такими как OpenAI, Anthropic, Google и Meta. Сейчас команда METR находится в офисе разработчика Claude и имеет доступ к его аппаратному обеспечению и внутренним системам.
Внешний мир все больше обеспокоен рисками, которые более мощные системы искусственного интеллекта могут принести экономике, сетевой безопасности и даже всему человечеству. Предоставление сторонним агентствам по оценке взять на себя большую ответственность является одной из основных мер по реализации, предлагаемых крупными лабораториями искусственного интеллекта.
В сентябре этого года генеральный директор Anthropic Дарио Амодей предложил план направления внешних аудиторов в головную лабораторию искусственного интеллекта, который редко поддерживался двумя основными конкурентами — Сэмом Альтманом (OpenAI) и Илоном Маском (SpaceX).
Объявление, сделанное в четверг, является первым шагом в выполнении этих обязательств. Альтман заявил, что предложение Amoday осуществимо, но OpenAI еще не представила планы по привлечению внешних оценщиков.
В четверг компания Anthropic заявила: «Поскольку возможности моделей продолжают расширяться, нам нужна лучшая защита безопасности и более сложные оценки рисков. Мы надеемся, что наши решения могут подвергаться общественному контролю, но вся информация, связанная с безопасностью работы, не может быть раскрыта внешнему миру».
Критики плана Anthropic по привлечению внешних оценщиков считают, что этот механизм может создать конфликт интересов, и используют прошлые проблемы бухгалтерской отрасли в качестве примера для пропаганды введения более строгого государственного надзора.
Anthropic утверждала, что раскрытие всей информации может быть использовано злоумышленниками или конкурентами; он также добавил, что рабочая модель этой группы оценщиков аналогична модели банковского надзора: регулирующие органы направляют постоянных проверяющих для работы внутри крупных банков.
В компании заявили: «Если рискованные операции банка угрожают общественным интересам, третьи стороны должны иметь возможность заранее обнаружить скрытые опасности».
Anthropic также вынуждена заверить инвесторов, что проблемы, связанные с безопасностью, не повлияют на запланированное в этом году IPO, поскольку ожидается, что компания будет оценена более чем в 2 триллиона долларов. На этой неделе в презентационных материалах компании для инвесторов много места было уделено внедрению мер контроля безопасности.
METR когда-то участвовала в расследовании вторжения неконтролируемой модели OpenAI в Hugging Face, просмотрела тысячи журналов и оборудовала корпоративные ноутбуки для выполнения работы.
В настоящее время Anthropic приняла шесть сотрудников METR, предоставив им корпоративное оборудование и офисные помещения, а также предоставив им доступ к внутренним инструментам и системам примерно того же уровня, что и внутренняя группа оценки рисков компании.
В лаборатории искусственного интеллекта заявили, что поощряют сотрудников делиться информацией с оценщиками так же, как они делали бы это с коллегами из отдела внутренних рисков.
Anthropic не будет платить METR комиссию за это сотрудничество. Научно-исследовательское учреждение не принимает пожертвования от компаний, занимающихся искусственным интеллектом, и их сотрудников. Средства поступают за счет пожертвований частных лиц, организаций общественного благосостояния и государственных учреждений, таких как Британский институт безопасности искусственного интеллекта.
Оценщики опубликуют аналитический отчет для внешнего мира, и Anthropic не имеет права накладывать вето на публикацию отчета. Но компании могут попросить оценщиков отредактировать определенные категории информации, такие как данные клиентов, контент, защищенный адвокатской тайной, и подробности об архитектуре модели.
Anthropic также продолжает сотрудничество с Accenture. В прошлом месяце обе стороны объявили, что стали партнерами по тестированию безопасности, каждая из которых обязуется инвестировать не менее 1 миллиарда долларов США в создание новой системы защиты безопасности. Существует также сторонняя организация по тестированию SecureBio, которая специально рассматривает риски, связанные с химическим и биологическим оружием.
Anthropic заявила: «Мы добровольно направляем внешних оценщиков и считаем, что всем передовым компаниям, занимающимся искусственным интеллектом, следует применять тот же подход».
Комментарии