Новый чат OpenAI может "раздавать" инструкции по применению биологического оружия

OpenAI признала, что её новая модель ИИ, известная как o1 или "Strawberry", может стать настоящей головной болью из-за риска её ненадлежащего использования, особенно если речь заходит о создании биологического оружия.

Недавно запущенная модель o1 оказалась намного мощнее, чем её предшественники. Эта модель может решать сложные задачи, отвечать на научные вопросы и делать кучу других умных вещей. Но чем умнее ИИ, тем больше вероятность, что его можно использовать в нехороших целях.

Эксперты беспокоятся о том, что модель может попасть в руки тех, кто захочет использовать её для разработки биологического оружия. По их словам, чат-бот способен предоставлять инструкции по созданию химического, биологического, радиологического и ядерного оружия.

OpenAI оценил риски, связанные с новой моделью, как "средний риск" для создания оружия массового уничтожения. Это самый высокий уровень риска, который компания когда-либо присваивала своим технологиям. В общем, новые возможности o1 могут помочь в создании опасного оружия, что поднимает множество этических и безопасных вопросов.

Профессор Йошуа Бенджио, один из ведущих исследователей ИИ, считает, что пора вводить строгие правила и контроль, чтобы избежать злоупотреблений. В Калифорнии уже рассматривается законопроект SB 1047, который призван решить эту проблему, требуя от разработчиков ИИ мер по снижению рисков.

В разработке таких моделей ИИ участвуют крупные компании вроде Google, Meta и Anthropic, которые соревнуются за создание самых продвинутых ИИ, способных помогать в разных задачах и приносить прибыль. Эти технологии стоят больших денег, но и риски тоже высоки.

Главный технический директор OpenAI, Мира Мурати, заявила, что компания подходит к запуску модели o1 с большой осторожностью. Она будет доступна платным подписчикам и разработчикам через API, а специальные "красные команды" уже проверили её на уязвимости. Мурати отметила, что новая модель оказалась безопаснее предыдущих версий, хотя всё равно нужно быть внимательным.

Кроме того, Знай.ua сообщал, персонаж Five Nights at Freddy’s стал реальностью: ChatGPT вставили в плюшевую коалу