Топ-менеджеры массово покидают ведущие ИИ-компании из-за страха уничтожить человечество

Споры о том, как далеко способен зайти искусственный интеллект и к каким последствиям для человеческой цивилизации это может привести, ведутся давно. Одни рисуют совершенно апокалиптические сценарии, другие призывают не вдаваться в панику, однако серьезность этой темы говорит о необходимости более глубокого анализа ситуации. Тем более, когда в информационном пространстве появляются следующие новости. Тревожные сигналы Как сообщает Axios, по меньшей мере 10 человек покинули ведущие компании в области ИИ из-за серьезных опасений по поводу силы этой технологии, включая ее потенциальную способность уничтожить человечество. Журналисты акцентируют внимание, что речь идет не о маргиналах, а о ключевых специалистах и топ-менеджерах. Что такое p(doom) Существует термин, который используют и критики, и оптимисты: p(doom) – вероятность того, что сверхразумный ИИ уничтожит человечество. Например, американский инженер и бизнесмен Илон Маск оценивает p(doom) в 20%, подкастер Лекс Фридман – в 10%, гендиректор Anthropic Дарио Амодеи – в 10-25%. Гендиректор Google Сундар Пичаи хоть и остается оптимистом, но соглашается, что риски высоки. В чем опасность ИИ Создатели языковых моделей, таких как ChatGPT, до конца не понимают, как именно работают их модели. При этом цель заключается в том, чтобы создать ИИ, который будет: – думать лучше людей; – работать автономно; – принимать сложные решения без вмешательства человека. Это и есть шаг к искусственному общему интеллекту – системе, способной мыслить и действовать как человек или даже лучше. Если ИИ начнет мыслить и действовать самостоятельно, есть риск, что он может: – манипулировать людьми; – преследовать собственные цели; – игнорировать приказы или вводить в заблуждение. Таким образом, p(doom) больше не является теорией, это реальный риск, который широко обсуждают сами архитекторы искусственного интеллекта.