Появился тест для определения «катастрофического ущерба» от будущих ИИ

Его прохождение поможет выявить самые способные модели с точки зрения их самостоятельного развития. Никакой Скайнет мимо не пройдет.

Ученые из компании OpenAI разработали набор тестов под названием MLE-bench, который позволит проверять новые модели искусственного интеллекта и определять, как они справляются с «автономным проектированием машинного обучения». То есть, простыми словами, как хорошо ИИ изменяет собственный код и улучшает его возможности без участия человека.

Новый «эталон» состоит из 75 тестов Kaggle, каждый из которых представляет собой уникальную задачу. Если алгоритм способен справиться со всеми, то он может считаться кандидатом на роль универсального искусственного интеллекта — гипотетической модели, которая будет намного умнее людей. При этом, каждый из тестов еще и имеет реальную практическую ценность. Так один из них, под названием OpenVaccine, предлагает ИИ найти вакцину против COVID-19.

Напоследок ученые прогнали через набор MLE-bench самую мощную из созданных на данный момент ИИ-моделей под названием «o1». Согласно опубликованным результатам, она смогла попасть в 40% лучших участников тестирования за все время — и ее прогресс рос с каждой попыткой. Теперь же компания OpenAI выложила исследование в открытый доступ, чтобы и другие авторы алгоритмов могли испытать свои «творения».