Такие транспортабельные устройства поразили бы компьютерных ученых всего несколько десятилетий назад, а до этого казались просто волшебством. Эти машины содержат миллиарды крошечных вычислительных элементов, выполняющих миллионы строк программных инструкций, написанных бесчисленным количеством людей по всему миру. Вы нажимаете или касаетесь пальцем, набираете текст или говорите, и результат беспрепятственно появляется на экране. Компьютеры когда-то были настолько большими, что заполняли комнаты. Теперь они повсюду и незаметны, встроены в часы, двигатели автомобилей, камеры, телевизоры и игрушки. Они управляют электрическими сетями, анализируют научные данные и предсказывают погоду. Современный мир был бы невозможен без них.

Ученые стремятся сделать компьютеры быстрее, а программы — более интеллектуальными, при этом применяя технологии с соблюдением этических норм. Их усилия основаны на более чем столетнем опыте инноваций.

В 1833 году английский математик Чарльз Бэббидж создал программируемую машину, которая предвосхитила современную архитектуру вычислительных машин: «магазин» для хранения чисел, «мельница» для работы с ними, устройство для чтения инструкций и принтер. Эта аналитическая машина также имела логические функции, такие как ветвление (если X, то Y). Бэббидж сконструировал только часть машины, но на основе ее описания его знакомая Ада Лавлейс увидела, что числа, которыми она может манипулировать, могут представлять собой что угодно, даже музыку. «Разработан новый, обширный и мощный язык для будущего использования анализа», — написала она. Лавлейс стала экспертом в работе предложенной машины, и ее часто называют первым программистом.

В 1936 году английский математик Алан Тьюринг выдвинул идею компьютера, который мог бы переписывать свои собственные инструкции, что делало бы его бесконечно программируемым. Его математическая абстракция могла, используя небольшой словарь операций, имитировать машину любой сложности, что дало ей название «универсальная машина Тьюринга»

Первый надежный электронный цифровой компьютер Colossus был завершен в 1943 году, чтобы помочь Англии расшифровать коды военного времени. В нем использовались вакуумные трубки — устройства для управления потоком электронов — вместо движущихся механических частей, таких как зубчатые колеса аналитического двигателя. Это делало Colossus быстрым, но инженерам приходилось вручную перестраивать его каждый раз, когда они хотели выполнить новую задачу.

Возможно, вдохновленная концепцией Тьюринга о более легко перепрограммируемом компьютере, команда, создавшая первый в США электронный цифровой компьютер ENIAC, разработала новую архитектуру для его преемника EDVAC. Математик Джон фон Нейман, написавший в 1945 году проект EDVAC, описал систему, которая могла бы хранить программы в своей памяти наряду с данными и изменять программы — такая схема сегодня называется архитектурой фон Неймана. Почти каждый компьютер сегодня работает по этой парадигме.

В 1947 году исследователи из Bell Telephone Laboratories изобрели транзистор — часть схемы, в которой приложение напряжения (электрического давления) или тока управляет потоком электронов между двумя точками. Он пришел на смену более медленным и менее эффективным вакуумным лампам.

В 1958 и 1959 годах исследователи из Texas Instruments и Fairchild Semiconductor независимо друг от друга изобрели интегральные схемы, в которых транзисторы и поддерживающие их схемы изготавливались на чипе в рамках одного процесса.

Долгое время программировать компьютеры могли только специалисты. Затем в 1957 году компания IBM выпустила FORTRAN — язык программирования, который было гораздо проще понять. Он используется и сегодня. В 1981 году компания представила IBM PC, а Microsoft выпустила свою операционную систему под названием MS-DOS, вместе расширив сферу применения компьютеров в домах и офисах. Компания Apple еще больше персонализировала компьютеры, выпустив операционные системы для своих компьютеров Lisa в 1982 году и Macintosh в 1984 году. Обе системы популяризировали графические пользовательские интерфейсы, или GUI, предлагая пользователям курсор мыши вместо командной строки.

В то же время исследователи работали над тем, чтобы изменить способы общения людей друг с другом. В 1948 году американский математик Клод Шеннон опубликовал работу «Математическая теория связи», которая популяризировала слово «бит» (двоичная цифра) и заложила основу теории информации. Его идеи сформировали вычисления и, в частности, обмен данными по проводам и по воздуху. В 1969 году Агентство перспективных исследовательских проектов США создало компьютерную сеть ARPANET, которая позже объединилась с другими сетями и образовала Интернет. А в 1990 году исследователи из ЦЕРН — европейской лаборатории под Женевой — разработали правила передачи данных, которые стали основой Всемирной паутины.

Эти технологические достижения сделали возможным для людей работать, играть и общаться так, что они продолжают меняться с головокружительной скоростью. Но насколько лучше могут стать процессоры? Насколько умными могут стать алгоритмы? И каких выгод и опасностей нам следует ожидать по мере развития технологий? Стюарт Рассел, компьютерный ученый из Калифорнийского университета в Беркли, соавтор популярного учебника по искусственному интеллекту, видит большой потенциал компьютеров в том, чтобы «расширить художественное творчество, ускорить науку, служить прилежными персональными помощниками, водить автомобили и — я надеюсь — не убивать нас»

Компьютеры, по большей части, говорят на языке битов. Они хранят информацию — будь то музыка, приложение или пароль — в виде строк из 1 и 0. Они также обрабатывают информацию в двоичной форме, переключая транзисторы между состояниями «включено» и «выключено». Чем больше транзисторов в компьютере, тем быстрее он может обрабатывать биты, что делает возможным все — от более реалистичных видеоигр до более безопасного управления воздушным движением.

Сочетание транзисторов образует один из строительных блоков схемы, называемый логическим затвором. Например, логический гейт AND включен, если оба входа включены, а OR включен, если хотя бы один вход включен. Вместе логические вентили образуют сложную схему движения электронов — физическое проявление вычислений. Компьютерный чип может содержать миллионы логических ворот.

Так что чем больше логических вентилей и, соответственно, транзисторов, тем мощнее компьютер. В 1965 году Гордон Мур, соучредитель компании Fairchild Semiconductor, а затем Intel, написал статью о будущем чипов под названием «Увеличение количества компонентов на интегральных схемах». С 1959 по 1965 год, отметил он, количество компонентов (в основном транзисторов), помещаемых на интегральные схемы (чипы), удваивалось каждый год. Он ожидал, что эта тенденция сохранится.

В своем выступлении в 1975 году Мур назвал три фактора экспоненциального роста: меньшие транзисторы, большие микросхемы и «продуманность устройств и схем», например, меньшее количество пустого пространства. Он ожидал, что удвоение будет происходить каждые два года. Так и произошло, и так продолжалось в течение десятилетий. Эта тенденция теперь называется законом Мура.

Закон Мура был задуман как экономическое наблюдение. Всегда будут стимулы делать компьютеры быстрее и дешевле — но в какой-то момент вмешивается физика. Развитие микросхем не может идти в ногу с законом Мура вечно, поскольку становится все труднее делать транзисторы более мелкими. Согласно тому, что в шутку называют вторым законом Мура, стоимость заводов по производству чипов удваивается каждые несколько лет. По сообщениям, полупроводниковая компания TSMC рассматривает возможность строительства завода стоимостью 25 миллиардов долларов.

Сегодня закон Мура больше не действует; удвоение происходит медленнее. Мы продолжаем втискивать все больше транзисторов в чипы с каждым поколением, но поколения появляются все реже. Исследователи ищут несколько путей продвижения вперед: более совершенные транзисторы, более специализированные чипы, новые концепции чипов и взломы программного обеспечения.

«Мы выжали, как нам кажется, все, что можно выжать» из нынешней архитектуры транзисторов, называемой FinFET, говорит Санджай Натараджан, возглавляющий разработку транзисторов в Intel. В ближайшие несколько лет производители чипов начнут выпускать транзисторы, в которых ключевой элемент напоминает ленту, а не ребро, что сделает устройства быстрее и потребует меньше энергии и места.

Даже если Натараджан прав и транзисторы приближаются к своему минимальному пределу размеров, у компьютеров еще много возможностей для совершенствования благодаря «умению Мура создавать устройства и схемы». Современные электронные устройства содержат множество видов ускорителей — чипов, разработанных для специальных целей, таких как искусственный интеллект, графика или коммуникации, — которые могут выполнять поставленные задачи быстрее и эффективнее, чем процессоры общего назначения.

Приблизительно до 2004 года уменьшение размеров транзисторов сопровождалось увеличением производительности компьютеров (черным цветом ниже показан промышленный эталон) и тактовой частоты — количества циклов операций, выполняемых в секунду (зеленый цвет). Поскольку «масштабирование Деннарда» больше не работает, уменьшение размеров транзисторов перестало приносить те же преимущества.

Некоторые типы ускорителей могут в один прекрасный день использовать квантовые вычисления, которые опираются на две особенности субатомной сферы. Первая — это суперпозиция, при которой частицы могут существовать не просто в одном или другом состоянии, а в некоторой комбинации состояний до тех пор, пока состояние не будет явно измерено. Таким образом, квантовая система представляет информацию не как биты, а как кубиты, которые могут сохранять возможность быть либо 0, либо 1 при измерении. Вторая особенность — запутанность, взаимозависимость между удаленными квантовыми элементами. Вместе эти особенности означают, что система кубитов может представлять и оценивать экспоненциально больше возможностей, чем существует кубитов — все комбинации 1 и 0 одновременно.

Кубиты могут принимать множество форм, но одна из самых популярных — это ток в сверхпроводящих проводах. Эти провода должны поддерживаться при температуре на долю градуса выше абсолютного нуля, около -273° Цельсия, чтобы горячие, дрожащие атомы не мешали тонким суперпозициям кубитов и их запутанности. Квантовым компьютерам также необходимо множество физических кубитов для создания одного «логического», или эффективного, кубита, избыточность которого служит для исправления ошибок.

Квантовые компьютеры имеют несколько потенциальных применений: машинное обучение, оптимизация таких вещей, как составление расписания поездов, и моделирование реальной квантовой механики, как в химии. Но они вряд ли станут компьютерами общего назначения. Неясно, как можно использовать такой компьютер, скажем, для работы с текстовым процессором.

Есть новые способы значительно ускорить не только специализированные ускорители, но и чипы общего назначения. Том Конте, компьютерный ученый из Технологического института Джорджии в Атланте, возглавляющий инициативу IEEE Rebooting Computing Initiative, указывает на две парадигмы. Первая — сверхпроводимость, при которой чипы работают при достаточно низкой температуре, чтобы устранить электрическое сопротивление.

<Вторая парадигма — обратимые вычисления, при которых биты используются повторно, а не выделяются в виде тепла. В 1961 году физик компании IBM Рольф Ландауэр объединил теорию информации и термодинамику — физику тепла. Он отметил, что когда логический гейт принимает два бита и выдает один, он уничтожает один бит, выбрасывая его в виде энтропии, или случайности, в форме тепла. Когда миллиарды транзисторов работают со скоростью миллиарды циклов в секунду, растраченное тепло увеличивается, и машине требуется больше электроэнергии для вычислений и охлаждения. Майкл Франк, компьютерный ученый из Сандийской национальной лаборатории в Альбукерке, который работает над обратимыми вычислениями, писал в 2017 году: «Обычный компьютер — это, по сути, дорогой электрический обогреватель, который в качестве побочного эффекта выполняет небольшой объем вычислений»

Ученые продолжают работать над новыми технологиями для транзисторов, других вычислительных элементов, конструкций чипов и аппаратных парадигм: фотоника, спинтроника, биомолекулы, углеродные нанотрубки. Но из существующих элементов и архитектур все еще можно извлечь гораздо больше, просто оптимизировав код.

Например, в статье, опубликованной в журнале Science в 2020 году, исследователи изучили простую задачу перемножения двух матриц — решеток чисел, используемых в математике и машинном обучении. Вычисления выполнялись более чем в 60 000 раз быстрее, когда команда выбрала эффективный язык программирования и оптимизировала код для базового оборудования, по сравнению со стандартным фрагментом кода на языке Python, который считается удобным и простым в изучении.

Нил Томпсон, ученый-исследователь из Массачусетского технологического института, соавтор статьи в журнале Science, недавно стал соавтором работы, в которой рассматривались исторические усовершенствования алгоритмов — наборов инструкций, принимающих решения в соответствии с правилами, установленными людьми, для таких задач, как сортировка данных. «Для значительного меньшинства алгоритмов, — говорит он, — их прогресс был таким же или более быстрым, чем закон Мура»

Люди, включая Мура, предсказывали конец закона Мура на протяжении десятилетий. Прогресс, возможно, замедлился, но человеческие инновации позволяют технологиям двигаться быстро.

С первых дней развития информатики исследователи стремились воспроизвести человеческое мышление. Алан Тьюринг открыл статью 1950 года под названием «Вычислительная техника и интеллект» следующими словами: «Я предлагаю рассмотреть вопрос: «Могут ли машины мыслить?». «Далее он описал тест, который назвал «игрой в имитацию» (сейчас он называется тестом Тьюринга), в котором человек, общающийся с компьютером и другим человеком посредством письменных вопросов, должен был определить, кто из них кто. Если судья не справлялся, компьютер, предположительно, мог думать.

<Термин «искусственный интеллект» был предложен в 1955 году в предложении для летнего института в Дартмутском колледже. «Будет предпринята попытка, — говорилось в предложении, — найти, как заставить машины использовать язык, формировать абстракции и концепции, решать проблемы, которые сейчас предназначены для людей, и самосовершенствоваться». Организаторы ожидали, что за два месяца 10 участников саммита добьются «значительного прогресса»

По прошествии более шести десятилетий и несметного количества человеко-часов неясно, соответствуют ли достижения тому, что задумывалось на том летнем саммите. Искусственный интеллект окружает нас незаметно (фильтрация спама), в заголовках газет (самоуправляемые автомобили, обыгрывание нас в шахматы) и между ними (позволяя нам общаться со своими смартфонами). Но все это — узкие формы ИИ, хорошо выполняющие одну или две задачи. То, что имел в виду Тьюринг и другие, называется искусственным интеллектом общего назначения, или AGI. В зависимости от вашего определения, это система, которая может делать большую часть того, что делают люди.

Мы, возможно, никогда не достигнем AGI, но этот путь привел и приведет к множеству полезных инноваций. «Я думаю, мы добились большого прогресса», — говорит Дойна Прекуп, компьютерный ученый из Университета Макгилла в Монреале и руководитель исследовательской группы компании DeepMind, занимающейся разработкой искусственного интеллекта, в Монреале. «Но одна из вещей, которой, на мой взгляд, сейчас все еще не хватает, — это более глубокое понимание принципов, которые являются основополагающими в интеллекте»

АИ добилась больших успехов за последнее десятилетие, во многом благодаря машинному обучению. Ранее компьютеры в большей степени полагались на символьный ИИ, который использует алгоритмы, основанные на установленных человеком правилах. Программы машинного обучения, с другой стороны, обрабатывают данные, чтобы самостоятельно найти закономерности. В одной из форм используются искусственные нейронные сети — программное обеспечение со слоями простых вычислительных элементов, которые вместе имитируют определенные принципы работы биологического мозга. В настоящее время популярны нейронные сети с несколькими или большим количеством слоев, которые составляют тип машинного обучения, называемый глубоким обучением.

Системы глубокого обучения сегодня могут играть в такие игры, как шахматы и го, лучше, чем самый лучший человек. Они могут определить породу собаки по фотографии лучше, чем вы. Они могут переводить текст с одного языка на другой. Они могут управлять роботами, сочинять музыку и предсказывать, как будут складываться белки.

Но им также не хватает многого из того, что входит в понятие «здравый смысл». Они не понимают фундаментальных вещей о том, как устроен мир, физически или социально. Например, незначительное изменение изображения, которое вы или я можем не заметить, может кардинально повлиять на то, что видит компьютер. Исследователи обнаружили, что размещение нескольких безобидных наклеек на знаке «Стоп» может заставить программное обеспечение интерпретировать знак как знак ограничения скорости, что является очевидной проблемой для самоуправляемых автомобилей.

Как может совершенствоваться ИИ? Компьютерные ученые используют различные формы машинного обучения, независимо от того, является ли это обучение «глубоким» или нет. Одна из распространенных форм называется контролируемым обучением, при котором системы машинного обучения, или модели, обучаются путем подачи маркированных данных, таких как изображения собак и названия их пород. Но для этого требуется много человеческих усилий, чтобы их маркировать. Другой подход — неконтролируемое или самоконтролируемое обучение, при котором компьютеры обучаются, не полагаясь на внешние метки, как вы или я предсказываем, как будет выглядеть стул под разными углами, когда мы ходим вокруг него.

Еще одним видом машинного обучения является обучение с подкреплением, при котором модель взаимодействует с окружающей средой, изучая последовательность действий для достижения цели. Обучение с подкреплением позволило ИИ стать экспертом в настольных играх, таких как Go, и видеоиграх, таких как StarCraft II.

Для эффективного обучения машинам (и людям) необходимо обобщать, выводить абстрактные принципы из опыта. «Огромная часть интеллекта, — говорит Мелани Митчелл, компьютерный ученый из Института Санта-Фе в Нью-Мексико, — это способность брать свои знания и применять их в различных ситуациях». Большая часть ее работы связана с аналогиями в рудиментарной форме: поиск сходства между строками букв. В 2019 году исследователь ИИ Франсуа Шолле из Google создал своего рода тест IQ для машин под названием «Корпус абстракций и рассуждений» (Abstraction and Reasoning Corpus, или ARC), в котором компьютеры должны заполнить визуальные схемы в соответствии с принципами, продемонстрированными в примерах. Головоломки просты для людей, но пока сложны для машин.

Большая часть нашего абстрактного мышления, как это ни парадоксально, может быть основана на нашем физическом опыте. Мы используем такие концептуальные метафоры, как важный = большой, а спор = противоборствующие силы. Для реализации AGI, способного делать большую часть того, что может делать человек, может потребоваться воплощение, например, работа с физическим роботом. Исследователи объединили изучение языка и робототехнику, создав виртуальные миры, в которых виртуальные роботы одновременно учатся выполнять инструкции и ориентироваться в доме.

GPT-3 — это обученная языковая модель, выпущенная в 2020 году исследовательской лабораторией Open AI, которая показала, что развоплощенного языка может быть недостаточно. С помощью подсказок она может писать похожие на человеческие новостные статьи, короткие рассказы и стихи. Но в одной демонстрации она написала: «Чтобы перепрыгнуть с Гавайев на семнадцать, нужно две радуги»

«Я много с ним играл, — говорит Митчелл. «Она делает невероятные вещи. Но он также может совершать невероятно глупые ошибки».

AGI может потребовать и других аспектов нашей животной природы, например эмоций, особенно если люди рассчитывают взаимодействовать с машинами естественным образом. Эмоции — это не просто иррациональные реакции. Мы развили их, чтобы направлять наши побуждения и поведение. По словам Ильи Суцкевера, соучредителя и главного научного сотрудника OpenAI, они «придают нам дополнительный импульс мудрости». Даже если у ИИ не будет таких же осознанных чувств, как у нас, у него может быть код, приближенный к страху или гневу. Уже сейчас обучение с подкреплением включает в себя элемент исследования, сродни любопытству.

Человек — это не чистый лист. Мы рождаемся с определенной предрасположенностью к распознаванию лиц, изучению языка и игре с предметами. Системы машинного обучения также нуждаются в правильной врожденной структуре для быстрого обучения определенным вещам. Вопрос о том, сколько и какой структуры требуется, является предметом ожесточенных споров. Суцкевер говорит, что «интеллектуально соблазнительным» является создание структуры нашего мышления, однако «мы хотим получить лучший чистый лист»

Одна общая структура нейронной сети, которая нравится Суцкеверу, называется трансформатор — метод, позволяющий уделять больше внимания важным связям между элементами входного сигнала. Он лежит в основе современных языковых моделей, таких как GPT-3, а также применяется для анализа изображений, аудио и видео. «Это делает все лучше», — говорит он.

Возможно, до появления АГИ еще несколько десятилетий. «Мы не понимаем своего собственного интеллекта, — говорит Митчелл, — поскольку большая его часть является бессознательной. «И поэтому мы не знаем, что будет трудно или легко для ИИ». То, что кажется трудным, может быть легким и наоборот — это явление известно как парадокс Моравека, в честь робототехника Ганса Моравека. В 1988 году Моравек писал: «Сравнительно легко заставить компьютеры демонстрировать производительность на уровне взрослых при решении задач в тестах на интеллект или игре в шашки, и трудно или невозможно привить им навыки годовалого ребенка, когда речь идет о восприятии и мобильности». «Младенцы втайне гениальны. Стремясь к AGI, говорит Прекуп, «мы также больше понимаем о человеческом интеллекте и об интеллекте в целом»

.Тьюринг проводил различие между общим и человекоподобным интеллектом. В своей работе 1950 года об имитационной игре он писал: «Не могут ли машины выполнять то, что следует назвать мышлением, но что сильно отличается от того, что делает человек?» Его смысл: для того чтобы обладать настоящим интеллектом, не обязательно думать как человек.

В рассказе Айзека Азимова «Runaround» в 1942 году один из персонажей перечислил «три основных правила робототехники». Роботы избегали причинения или допущения вреда людям, они подчинялись приказам и защищали себя, если следование одному правилу не противоречило предыдущим постановлениям.

Мы можем представить себе «позитронные мозги» Азимова, принимающие автономные решения о причинении вреда людям, но на самом деле компьютеры не так влияют на наше благополучие каждый день. Вместо человекоподобных роботов, убивающих людей, мы имеем алгоритмы, курирующие новостные ленты. По мере дальнейшего проникновения компьютеров в нашу жизнь нам нужно будет все больше думать о том, какие системы создавать и как их внедрять, а также о метапроблемах, таких как-то, как решать — и кто должен решать — эти вопросы.

Это сфера этики, которая может показаться далекой от предполагаемой объективности математики, науки и инженерии. Но решение о том, какие вопросы задавать о мире и какие инструменты создавать, всегда зависело от наших идеалов и угрызений совести. Изучение такой заумной темы, как внутреннее строение атомов, например, имеет четкое отношение как к энергетике, так и к оружию. «Существует фундаментальный факт, что компьютерные системы не являются нейтральными по отношению к ценностям, — говорит компьютерный ученый Барбара Гросц из Гарвардского университета, — когда вы их проектируете, вы привносите в этот проект определенный набор ценностей»

Одна из тем, которой уделяется много внимания со стороны ученых и специалистов по этике, — это справедливость и предвзятость. Алгоритмы все чаще информируют или даже диктуют решения о приеме на работу, поступлении в колледж, выдаче кредитов и условно-досрочном освобождении. Даже если они дискриминируют меньше, чем люди, они все равно могут несправедливо относиться к определенным группам, не по своей воле, а часто потому, что их обучают на предвзятых данных. Например, они могут предсказать будущее преступное поведение человека на основании его предыдущих арестов, даже если разные группы арестовываются с разной частотой за определенное количество преступлений.

Еще одной проблемой является неприкосновенность частной жизни и слежка, учитывая, что компьютеры теперь могут собирать и сортировать информацию о своем использовании таким образом, который ранее невозможно было себе представить. Данные о нашем поведении в Интернете могут помочь предсказать такие аспекты нашей частной жизни, как сексуальность. Распознавание лиц также может следить за нами в реальном мире, помогая полиции или авторитарным правительствам. А развивающаяся область нейротехнологий уже тестирует способы подключения мозга непосредственно к компьютерам. С конфиденциальностью связана и безопасность — хакеры могут получить доступ к данным, которые хранятся под замком, или помешать работе кардиостимуляторов и автономных автомобилей.

В социальных сетях мы также должны беспокоиться о поляризации социальных, политических и других взглядов людей. Как правило, алгоритмы рекомендаций оптимизируют вовлеченность (и прибыль платформ за счет рекламы), а не гражданскую дискуссию. Алгоритмы могут манипулировать нами и другими способами. Робо-консультанты — чат-боты для предоставления финансовых советов или поддержки клиентов — могут научиться понимать, что нам действительно нужно, или нажимать на наши кнопки и продавать нам ненужные товары.

Многие страны разрабатывают автономное оружие, которое может как уменьшить число жертв среди гражданского населения, так и привести к эскалации конфликта быстрее, чем успеют среагировать его создатели. Помещение оружия или ракет в руки роботов вызывает фантастический призрак Терминаторов, пытающихся уничтожить человечество. Они могут даже действовать не со злым умыслом, ошибочно полагая, что помогают человечеству, уничтожая рак (пример отсутствия здравого смысла). В более близкой перспективе автоматизированные системы, выпущенные на свободу в реальном мире, уже вызвали внезапные обвалы на фондовом рынке и внезапные скачки цен на книги на Amazon. Если ИИ будет поручено принимать решения, касающиеся жизни и смерти, он столкнется со знаменитой проблемой троллейбуса, решая, кем или чем пожертвовать, когда не все могут выиграть. Здесь мы вступаем на территорию Азимова.

Так много поводов для беспокойства. Рассел из Калифорнийского университета в Беркли предлагает, где должны лежать наши приоритеты: «Смертоносное автономное оружие — это неотложный вопрос, потому что люди, возможно, уже погибли, и, судя по тому, как развиваются события, массовая атака — это лишь вопрос времени», — говорит он. «Предвзятость и зависимость от социальных сетей, а также поляризация — это, вероятно, примеры несоответствия ценностей между алгоритмами и обществом, поэтому они дают нам ранние предупреждения о том, что все может легко пойти не так».

Также возникают социальные, политические и юридические вопросы о том, как управлять технологиями в обществе. Кто должен нести ответственность, если система ИИ причиняет вред? (Например, «запутавшиеся» самоуправляемые автомобили убили людей). Как мы можем обеспечить более равный доступ к инструментам ИИ и их преимуществам, а также убедиться, что они не дискриминируют группы или отдельных лиц? Как дальнейшая автоматизация рабочих мест повлияет на занятость? Можем ли мы управлять воздействием центров обработки данных, которые потребляют много электроэнергии, на окружающую среду? Должны ли мы предпочтительно использовать объяснимые алгоритмы — а не «черные ящики» многих нейронных сетей — для большего доверия и отлаживаемости, даже если это делает алгоритмы менее предсказуемыми?

Майкл Кернс, компьютерный ученый из Университета Пенсильвании и соавтор книги «Этический алгоритм», вышедшей в 2019 году, рассматривает эти проблемы как спектр управляемости. На одном конце находится так называемая дифференциальная конфиденциальность — возможность добавить шум в набор данных, скажем, медицинских записей, чтобы ими можно было с пользой поделиться с исследователями, не раскрывая при этом подробностей об отдельных записях. Теперь мы можем дать математические гарантии того, насколько приватными должны оставаться данные отдельных людей.

Где-то посередине спектра находится справедливость в машинном обучении. Исследователи разработали методы повышения справедливости путем удаления или изменения предвзятых обучающих данных или максимизации определенных видов равенства — например, в кредитах — при минимизации снижения прибыли. Тем не менее, некоторые виды справедливости всегда будут находиться во взаимном конфликте, и математика не может сказать нам, какие из них нам нужны.

На дальнем конце находится объяснимость. В отличие от справедливости, которая может быть проанализирована математически многими способами, качество объяснения трудно описать в математических терминах. «Мне кажется, что я еще не видел ни одного хорошего определения», — говорит Кернс. «Можно сказать: „Вот алгоритм, который возьмет обученную нейронную сеть и попытается объяснить, почему она отказала вам в кредите“, но [объяснение] не будет принципиальным». В конечном итоге, если аудитория не понимает его, это не очень хорошее объяснение, и для оценки его успеха — как бы вы ни определяли успех — необходимо провести исследования пользователей.

Нечто вроде трех законов Азимова не спасет нас от роботов, которые вредят нам, пытаясь помочь. И даже если бы список был расширен до миллиона законов, буква закона не совпадает с его духом. Одним из возможных решений является так называемое обратное обучение с подкреплением, в котором компьютеры могут научиться расшифровывать то, что мы действительно ценим, основываясь на нашем поведении.

В рассказе 1950 года «Неизбежный конфликт» Азимов сформулировал то, что стало «нулевым законом», законом, превосходящим все остальные: «Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечество пострадало». Само собой разумеется, что это правило должно применяться с «робототехником» вместо «робота». Конечно, многие компьютерные ученые избегают причинения вреда человечеству, но многие также не принимают активного участия в социальных последствиях своей работы, фактически допуская, чтобы человечество пострадало, говорит Маргарет Митчелл, компьютерный ученый, которая была одним из руководителей команды Google по этическому ИИ, а теперь консультирует организации по вопросам технической этики. (Она не родственница компьютерного ученого Мелани Митчелл)

По словам Грош из Гарварда, одним из препятствий является то, что слишком много исследователей не имеют должной подготовки в области этики. Но она надеется это изменить. Гросц и философ Элисон Симмонс начали в Гарварде программу под названием Embedded EthiCS, в рамках которой ассистенты преподавателей с философской подготовкой включаются в курсы информатики и проводят занятия по вопросам конфиденциальности, дискриминации или фальшивых новостей. Программа распространилась на Массачусетский технологический институт, Стэнфорд и Университет Торонто.

«Мы пытаемся заставить студентов задуматься о ценностях и компромиссах между ними», — говорит Гросц. Ее поразили две вещи. Первый — это трудности, которые испытывают студенты при решении задач, не имеющих правильных ответов и требующих аргументации в пользу того или иного выбора. Второй — это то, что, несмотря на их разочарование, «насколько студентов волнует этот круг вопросов», — говорит Гросц.

Еще один способ просвещения технологов относительно их влияния — расширение сотрудничества. По словам Митчелл, «компьютерная наука должна перейти от использования математики в качестве непреложного правила, к использованию математики и социальных наук, а также психологии». Исследователи должны привлекать экспертов по этим темам, считает она.