Топ-менеджеры массово покидают ведущие ИИ-компании из-за страха уничтожить человечество

Споры о том, как далеко способен зайти искусственный интеллект и к каким последствиям для человеческой цивилизации это может привести, ведутся давно. Одни рисуют совершенно апокалиптические сценарии, другие призывают не вдаваться в панику, однако серьезность этой темы говорит о необходимости более глубокого анализа ситуации. Тем более, когда в информационном пространстве появляются следующие новости.

Тревожные сигналы

Как сообщает Axios, по меньшей мере 10 человек покинули ведущие компании в области ИИ из-за серьезных опасений по поводу силы этой технологии, включая ее потенциальную способность уничтожить человечество. Журналисты акцентируют внимание, что речь идет не о маргиналах, а о ключевых специалистах и топ-менеджерах.

Что такое p(doom)

Существует термин, который используют и критики, и оптимисты: p(doom) – вероятность того, что сверхразумный ИИ уничтожит человечество.

Например, американский инженер и бизнесмен Илон Маск оценивает p(doom) в 20%, подкастер Лекс Фридман – в 10%, гендиректор Anthropic Дарио Амодеи – в 10-25%. Гендиректор Google Сундар Пичаи хоть и остается оптимистом, но соглашается, что риски высоки.

В чем опасность ИИ

Создатели языковых моделей, таких как ChatGPT, до конца не понимают, как именно работают их модели. При этом цель заключается в том, чтобы создать ИИ, который будет:

– думать лучше людей;

– работать автономно;

– принимать сложные решения без вмешательства человека.

Это и есть шаг к искусственному общему интеллекту – системе, способной мыслить и действовать как человек или даже лучше. Если ИИ начнет мыслить и действовать самостоятельно, есть риск, что он может:

– манипулировать людьми;

– преследовать собственные цели;

– игнорировать приказы или вводить в заблуждение.

Таким образом, p(doom) больше не является теорией, это реальный риск, который широко обсуждают сами архитекторы искусственного интеллекта.