Ложный цифровой след: 5 вызовов для искусственного интеллекта в высшем образовании
Насколько оправданы ожидания скорого внедрения машинного обучения для построения индивидуальных образовательных траекторий? Действительно ли компьютер сможет подбирать студетам учебные программы и решать, кого отчислить? Специально для Edutainme старший научный сотрудник Калифорнийского университета Беркли, профессор НИУ ВШЭ Игорь Чириков и заведующий лабораторией вычислительных социальных наук Института образования НИУ ВШЭ Иван Смирнов рассуждают о барьерах, которые стоят между искусственным интеллектом и университетами.
В последние несколько лет в российском высшем образовании появилось большое воодушевление, связанное с перспективой формирования индивидуальных образовательных траекторий студентов на основе алгоритмов машинного обучения. Идея состоит в том, что каждому студенту, на основе его характеристик и предыдущего опыта, отраженного в «цифровом следе», умные алгоритмы будут рекомендовать наиболее подходящие курсы, учебные модули и другие образовательные активности. Предполагается, что такие рекомендации помогут осваивать только нужные компетенции, не тратя время на бесполезные занятия. Рекомендации предполагается давать не только студентам, но и руководству образовательных программ и университетов, чтобы те принимали решения, кого поощрить или даже отчислить из университета.
К сожалению, в области применения искусственного интеллекта в высшем образовании очень много хайпа. Успешные практические решения если и встречаются, то в очень узких областях — например, в обучении иностранным языкам или программированию. Смелые заявления, что подобным образом можно выстраивать целые образовательные программы бакалавриата, магистратуры или послевузовского образования, пока далеки от реализации. Для этого есть как минимум пять барьеров — вызовов, на которые предстоит ответить всем вузам, которые решили идти по пути цифровизации обучения и создания таких рекомендательных систем.
Успешные практические решения если и встречаются, то в очень узких областях — например, в обучении иностранным языкам или программированию. Смелые заявления, что подобным образом можно выстраивать целые образовательные программы бакалавриата, магистратуры или послевузовского образования, пока далеки от реализации.
1. Низкое качество данных «цифрового следа» для обучения алгоритмов
Любым алгоритмам машинного обучения необходимо достаточное количество единообразных и детальных данных, для того чтобы учесть все возможные сценарии для студентов с разными характеристиками и образовательным опытом. В российских же вузах в настоящее время крайне мало данных об опыте студентов. Они разбросаны по разным информационным системам, а некоторые и вовсе до сих пор собираются на бумаге (например, посещаемость занятий). При этом то, что собирается в цифровом виде, не всегда можно сравнивать между собой. Простой пример: оценки по курсам, которые есть у всех студентов. Одна и та же оценка по пятибалльной шкале (3, 4 или 5) будет значить совершенно разные вещи для разных студентов, поскольку непрозрачны критерии, по которым та или иная оценка была получена.
В российских же вузах в настоящее время крайне мало данных об опыте студентов. Они разбросаны по разным информационным системам, а некоторые и вовсе до сих пор собираются на бумаге.
Помимо данных о текущей активности студентов в вузах практически отсутствует детальная информация о метриках их успеха. Например, о трудоустройстве, карьерной траектории, мобильности, дополнительном образовании. Обучение алгоритма без этих данных невозможно, при этом на их сбор может потребоваться несколько лет. А пока студент выпустится и выйдет на рынок труда, данные о его образовательной траектории могут стать нерелевантными для нынешних студентов.
Необходимы значительные инвестиции (сопоставимые в целом со всеми ресурсами, которые вузы тратят на развитие), чтобы запустить качественную систему сбора данных об обучении студентов и подготовить данные для создания рекомендательных алгоритмов и построения индивидуальных образовательных траекторий.
2. Неповоротливость «индустриальной» образовательной модели
В российских вузах сложилась «индустриальная» образовательная модель, которая предполагает, что университеты являются «фабриками» по производству квалифицированных специалистов из поступивших к ним абитуриентов. Объединенные в учебные группы по направлениям подготовки, студенты движутся по заранее заготовленным для них образовательным траекториям. Исходя из этой модели планируются ресурсы, преподавательская нагрузка, аудиторный фонд. На практике возможность выстраивать индивидуальные образовательные траектории очень ограничена. Оцифровывать существующую образовательную модель бесполезно и даже вредно. В этой модели крайне мало пространства для самостоятельности и инициативности, а внедрение рекомендательных систем атрофирует эти и без того слабые у российских студентов навыки.
Если всерьез рассматривать задачу построения индивидуальных образовательных траекторий, необходимо перестраивать и весь учебный процесс, менять или отменять стандарты. Главная сложность, однако, будет заключаться в необходимости менять подходы к преподаванию, которые сложились в российских вузах. Преподавание крайне редко выстроено исходя из логики образовательных результатов, а содержание предыдущих курсов слабо синхронизировано с последующими. Оценивание до сих пор во многом проводится «методом впечатлений», а не исходя из прозрачных рубрик; высок элемент субъективного отношения преподавателя к конкретному студенту.
Если всерьез рассматривать задачу построения индивидуальных образовательных траекторий, необходимо перестраивать и весь учебный процесс, менять или отменять стандарты.
Дополнительные инвестиции в перестройку всего учебного процесса будут сопоставимы с текущими расходами на образовательную деятельность, по крайней мере в первые пять-семь лет.
3. Ограниченная предсказательная сила алгоритмов
Слепая вера в то, что можно довериться технологиям, и они лучше решат задачи образовательного выбора, чем сами студенты или их тьюторы и преподаватели, пока не подкрепляется конкретными результатами. Большинство задач, которые искусственный интеллект научился хорошо решать в последние годы относятся к определению заранее известных характеристик, например, распознаванию изображений или предсказанию возраста пользователей по их твитам. Это, однако, не то же самое, что делать предсказания о будущем.
Большинство задач, которые искусственный интеллект научился хорошо решать в последние годы относятся к определению заранее известных характеристик. Это не то же самое, что делать предсказания о будущем.
В одном исследовании авторы попытались предсказать популярность твита (количество лайков и ретвитов). Несмотря на то, что они использовали всю доступную информацию и самые современные методы машинного обучения, точность предсказания оказалась меньше 50%. При этом авторы показали, что причина не в плохом алгоритме, а в теоретических ограничениях, то есть ни один алгоритм в принципе не может достичь существенно большей точности. Особенно примечательно при этом, что модель, которая просто предсказывает, что популярность следующего твита будет равна средней популярности предыдущих твитов того же автора, показала практически ту же точность, что и сложный алгоритм, использующий множество данных.
Точно так же у нас нет оснований считать, что какой-нибудь умный алгоритм сможет лучше, чем мы умеем сейчас, предсказать, что именно нужно учащемуся, чтобы в будущем он стал успешным в какой-либо профессии.
4. Предвзятость алгоритмов и дискриминация
Одно из частых обоснований использования алгоритмов при принятии решений — это необходимость устранения человеческой предвзятости. К сожалению, пока алгоритмам самим далеко до беспристрастности. Например, в США предлагалось привлечь искусственный интеллект для вычисления вероятности рецидива преступления и потом использовать эту информацию для определения возможности освобождения под залог. Выяснилось однако, что алгоритм дискриминировал определенные группы лиц, увеличивая для них вероятность заключения под стражу. Так как известно, что заключение увеличивает вероятность рецидива, то алгоритм мог не только принимать несправедливые решения, но и увеличивать в будущем вероятность рецидивов для определенной группы.
Несложно поэтому представить, как алгоритм, которому поручат отчислять студентов, начнет дискриминировать отдельные группы студентов — например, иногородних или студентов с инвалидностью.
5. Проблема черного ящика: непрозрачность алгоритмов и процедур сбора данных
Проблема предвзятости усугубляется тем, что логика рекомендательных алгоритмов часто остается непонятной самим разработчикам. Это значит, что если мы хотим устранить дискриминацию, например, по полу, то недостаточно просто убрать эту переменную из входных данных. Алгоритм может научиться восстанавливать ее по другим характеристикам. Проблема черного ящика часто приводила к тому, что алгоритмы, которые казалось бы показывали высокую точность на самом деле не работали так, как нужно.
Например, в одном исследовании алгоритм обучали предсказывать наличие заболевания по рентгеновским снимкам. Хотя алгоритм успешно справлялся с этой задачей, оказалось, что он уделял большое внимание не только самому изображению, но и различным техническим отметкам на снимке. Дело в том, что отметки у мобильных и стационарных рентгеновских установок отличаются. И при этом одни часто используются для профилактического осмотра, когда вероятность обнаружить заболевание очень маленькая, а другие по направлению врача. Алгоритм научился использовать эту информацию, что внесло искажение в результаты.
Логика рекомендательных алгоритмов часто остается непонятной самим разработчикам.
Непрозрачными остаются и процедуры сбора и накопления данных. Например, сейчас студент зачастую не знает, какие данные о нем собирает университет, как они используются и кто имеет к ним доступ. Этическая сторона работы с данными и предсказаниями на их основе в вузах часто игнорируется, что может привести к негативным последствиям для дальнейшей траектории сотен и тысяч студентов, которые доверили университетам свои данные.
Искусственный или естественный интеллект?
Международные сравнительные исследования качества высшего образования показывают, что в российском высшем образовании действительно нарастает проблема совершенствования методик преподавания и обучения студентов. Решения этой проблемы, однако, необязательно должны лежать в плоскости цифровизации. В мире есть множество удачных примеров повышения вовлеченности студентов, активного обучения, развития самостоятельности и инициативности — и они были реализованы задолго до подъема искусственного интеллекта. При текущем состоянии технологий, ставка на искусственный интеллект может обогатить подрядчиков, которые занимаются его внедрением, но едва ли существенно улучшит качество преподавания и образовательные результаты студентов. Кроме того, в условиях сокращающихся инвестиций в высшее образование, это может отвлечь ресурсы у действительно важных инициатив. Существенная часть из них может опираться на естественный интеллект преподавателей и студентов.
При текущем состоянии технологий, ставка на искусственный интеллект может обогатить подрядчиков, которые занимаются его внедрением, но едва ли существенно улучшит качество преподавания и образовательные результаты студентов.
В заключение мы хотим сформулировать несколько рекомендаций для тех университетов, которые решили пойти по пути внедрения искусственного интеллекта в обучении:
1. Важно понимать не только возможности, но и ограничения методов искусственного интеллекта и машинного обучения в высшем образовании; какие задачи не смогут быть решены этими методами в ближайшем будущем или даже теоретически. Для этого крайне важно, чтобы проекты в этой области проходили открытое обсуждение, в том числе с привлечением экспертов, которые могли бы дать взвешенную оценку рекламных обещаний потенциальных подрядчиков.
2. Обязательной частью всех проектов по использованию искусственного интеллекта в обучении должен стать анализ выгод и затрат (cost-benefit analysis), в котором должны быть представлены альтернативные варианты решения выявленных проблем.
3. При выстраивании инфраструктуры сбора данных важно, чтобы у студентов был доступ ко всем данным, которые собирает о них университет, чтобы они были в курсе аналитики, которую университет производит с использованием этих данных и имели возможность выражать свое мнение в этом процессе.
4. Если алгоритмы используются для принятия важных решений, то они должны быть прозрачны, должно быть понятно, как именно конкретная характеристика влияет на решение.
5. К алгоритмам и результатам рекомендаций должен применяться внешний аудит, который в том числе будет включать проверку на алгоритмическую дискриминацию и оценку качества предсказаний.
Авторы благодарят коллег из Института образования НИУ ВШЭ за продуктивное обсуждение первой версии текста. Авторы высказывают свое личное мнение, которое может не совпадать с позицией Института образования и НИУ ВШЭ.
В последние несколько лет в российском высшем образовании появилось большое воодушевление, связанное с перспективой формирования индивидуальных образовательных траекторий студентов на основе алгоритмов машинного обучения. Идея состоит в том, что каждому студенту, на основе его характеристик и предыдущего опыта, отраженного в «цифровом следе», умные алгоритмы будут рекомендовать наиболее подходящие курсы, учебные модули и другие образовательные активности. Предполагается, что такие рекомендации помогут осваивать только нужные компетенции, не тратя время на бесполезные занятия. Рекомендации предполагается давать не только студентам, но и руководству образовательных программ и университетов, чтобы те принимали решения, кого поощрить или даже отчислить из университета.
К сожалению, в области применения искусственного интеллекта в высшем образовании очень много хайпа. Успешные практические решения если и встречаются, то в очень узких областях — например, в обучении иностранным языкам или программированию. Смелые заявления, что подобным образом можно выстраивать целые образовательные программы бакалавриата, магистратуры или послевузовского образования, пока далеки от реализации. Для этого есть как минимум пять барьеров — вызовов, на которые предстоит ответить всем вузам, которые решили идти по пути цифровизации обучения и создания таких рекомендательных систем.
Успешные практические решения если и встречаются, то в очень узких областях — например, в обучении иностранным языкам или программированию. Смелые заявления, что подобным образом можно выстраивать целые образовательные программы бакалавриата, магистратуры или послевузовского образования, пока далеки от реализации.
1. Низкое качество данных «цифрового следа» для обучения алгоритмов
Любым алгоритмам машинного обучения необходимо достаточное количество единообразных и детальных данных, для того чтобы учесть все возможные сценарии для студентов с разными характеристиками и образовательным опытом. В российских же вузах в настоящее время крайне мало данных об опыте студентов. Они разбросаны по разным информационным системам, а некоторые и вовсе до сих пор собираются на бумаге (например, посещаемость занятий). При этом то, что собирается в цифровом виде, не всегда можно сравнивать между собой. Простой пример: оценки по курсам, которые есть у всех студентов. Одна и та же оценка по пятибалльной шкале (3, 4 или 5) будет значить совершенно разные вещи для разных студентов, поскольку непрозрачны критерии, по которым та или иная оценка была получена.
В российских же вузах в настоящее время крайне мало данных об опыте студентов. Они разбросаны по разным информационным системам, а некоторые и вовсе до сих пор собираются на бумаге.
Помимо данных о текущей активности студентов в вузах практически отсутствует детальная информация о метриках их успеха. Например, о трудоустройстве, карьерной траектории, мобильности, дополнительном образовании. Обучение алгоритма без этих данных невозможно, при этом на их сбор может потребоваться несколько лет. А пока студент выпустится и выйдет на рынок труда, данные о его образовательной траектории могут стать нерелевантными для нынешних студентов.
Необходимы значительные инвестиции (сопоставимые в целом со всеми ресурсами, которые вузы тратят на развитие), чтобы запустить качественную систему сбора данных об обучении студентов и подготовить данные для создания рекомендательных алгоритмов и построения индивидуальных образовательных траекторий.
2. Неповоротливость «индустриальной» образовательной модели
В российских вузах сложилась «индустриальная» образовательная модель, которая предполагает, что университеты являются «фабриками» по производству квалифицированных специалистов из поступивших к ним абитуриентов. Объединенные в учебные группы по направлениям подготовки, студенты движутся по заранее заготовленным для них образовательным траекториям. Исходя из этой модели планируются ресурсы, преподавательская нагрузка, аудиторный фонд. На практике возможность выстраивать индивидуальные образовательные траектории очень ограничена. Оцифровывать существующую образовательную модель бесполезно и даже вредно. В этой модели крайне мало пространства для самостоятельности и инициативности, а внедрение рекомендательных систем атрофирует эти и без того слабые у российских студентов навыки.
Если всерьез рассматривать задачу построения индивидуальных образовательных траекторий, необходимо перестраивать и весь учебный процесс, менять или отменять стандарты. Главная сложность, однако, будет заключаться в необходимости менять подходы к преподаванию, которые сложились в российских вузах. Преподавание крайне редко выстроено исходя из логики образовательных результатов, а содержание предыдущих курсов слабо синхронизировано с последующими. Оценивание до сих пор во многом проводится «методом впечатлений», а не исходя из прозрачных рубрик; высок элемент субъективного отношения преподавателя к конкретному студенту.
Если всерьез рассматривать задачу построения индивидуальных образовательных траекторий, необходимо перестраивать и весь учебный процесс, менять или отменять стандарты.
Дополнительные инвестиции в перестройку всего учебного процесса будут сопоставимы с текущими расходами на образовательную деятельность, по крайней мере в первые пять-семь лет.
3. Ограниченная предсказательная сила алгоритмов
Слепая вера в то, что можно довериться технологиям, и они лучше решат задачи образовательного выбора, чем сами студенты или их тьюторы и преподаватели, пока не подкрепляется конкретными результатами. Большинство задач, которые искусственный интеллект научился хорошо решать в последние годы относятся к определению заранее известных характеристик, например, распознаванию изображений или предсказанию возраста пользователей по их твитам. Это, однако, не то же самое, что делать предсказания о будущем.
Большинство задач, которые искусственный интеллект научился хорошо решать в последние годы относятся к определению заранее известных характеристик. Это не то же самое, что делать предсказания о будущем.
В одном исследовании авторы попытались предсказать популярность твита (количество лайков и ретвитов). Несмотря на то, что они использовали всю доступную информацию и самые современные методы машинного обучения, точность предсказания оказалась меньше 50%. При этом авторы показали, что причина не в плохом алгоритме, а в теоретических ограничениях, то есть ни один алгоритм в принципе не может достичь существенно большей точности. Особенно примечательно при этом, что модель, которая просто предсказывает, что популярность следующего твита будет равна средней популярности предыдущих твитов того же автора, показала практически ту же точность, что и сложный алгоритм, использующий множество данных.
Точно так же у нас нет оснований считать, что какой-нибудь умный алгоритм сможет лучше, чем мы умеем сейчас, предсказать, что именно нужно учащемуся, чтобы в будущем он стал успешным в какой-либо профессии.
4. Предвзятость алгоритмов и дискриминация
Одно из частых обоснований использования алгоритмов при принятии решений — это необходимость устранения человеческой предвзятости. К сожалению, пока алгоритмам самим далеко до беспристрастности. Например, в США предлагалось привлечь искусственный интеллект для вычисления вероятности рецидива преступления и потом использовать эту информацию для определения возможности освобождения под залог. Выяснилось однако, что алгоритм дискриминировал определенные группы лиц, увеличивая для них вероятность заключения под стражу. Так как известно, что заключение увеличивает вероятность рецидива, то алгоритм мог не только принимать несправедливые решения, но и увеличивать в будущем вероятность рецидивов для определенной группы.
Несложно поэтому представить, как алгоритм, которому поручат отчислять студентов, начнет дискриминировать отдельные группы студентов — например, иногородних или студентов с инвалидностью.
5. Проблема черного ящика: непрозрачность алгоритмов и процедур сбора данных
Проблема предвзятости усугубляется тем, что логика рекомендательных алгоритмов часто остается непонятной самим разработчикам. Это значит, что если мы хотим устранить дискриминацию, например, по полу, то недостаточно просто убрать эту переменную из входных данных. Алгоритм может научиться восстанавливать ее по другим характеристикам. Проблема черного ящика часто приводила к тому, что алгоритмы, которые казалось бы показывали высокую точность на самом деле не работали так, как нужно.
Например, в одном исследовании алгоритм обучали предсказывать наличие заболевания по рентгеновским снимкам. Хотя алгоритм успешно справлялся с этой задачей, оказалось, что он уделял большое внимание не только самому изображению, но и различным техническим отметкам на снимке. Дело в том, что отметки у мобильных и стационарных рентгеновских установок отличаются. И при этом одни часто используются для профилактического осмотра, когда вероятность обнаружить заболевание очень маленькая, а другие по направлению врача. Алгоритм научился использовать эту информацию, что внесло искажение в результаты.
Логика рекомендательных алгоритмов часто остается непонятной самим разработчикам.
Непрозрачными остаются и процедуры сбора и накопления данных. Например, сейчас студент зачастую не знает, какие данные о нем собирает университет, как они используются и кто имеет к ним доступ. Этическая сторона работы с данными и предсказаниями на их основе в вузах часто игнорируется, что может привести к негативным последствиям для дальнейшей траектории сотен и тысяч студентов, которые доверили университетам свои данные.
Искусственный или естественный интеллект?
Международные сравнительные исследования качества высшего образования показывают, что в российском высшем образовании действительно нарастает проблема совершенствования методик преподавания и обучения студентов. Решения этой проблемы, однако, необязательно должны лежать в плоскости цифровизации. В мире есть множество удачных примеров повышения вовлеченности студентов, активного обучения, развития самостоятельности и инициативности — и они были реализованы задолго до подъема искусственного интеллекта. При текущем состоянии технологий, ставка на искусственный интеллект может обогатить подрядчиков, которые занимаются его внедрением, но едва ли существенно улучшит качество преподавания и образовательные результаты студентов. Кроме того, в условиях сокращающихся инвестиций в высшее образование, это может отвлечь ресурсы у действительно важных инициатив. Существенная часть из них может опираться на естественный интеллект преподавателей и студентов.
При текущем состоянии технологий, ставка на искусственный интеллект может обогатить подрядчиков, которые занимаются его внедрением, но едва ли существенно улучшит качество преподавания и образовательные результаты студентов.
В заключение мы хотим сформулировать несколько рекомендаций для тех университетов, которые решили пойти по пути внедрения искусственного интеллекта в обучении:
1. Важно понимать не только возможности, но и ограничения методов искусственного интеллекта и машинного обучения в высшем образовании; какие задачи не смогут быть решены этими методами в ближайшем будущем или даже теоретически. Для этого крайне важно, чтобы проекты в этой области проходили открытое обсуждение, в том числе с привлечением экспертов, которые могли бы дать взвешенную оценку рекламных обещаний потенциальных подрядчиков.
2. Обязательной частью всех проектов по использованию искусственного интеллекта в обучении должен стать анализ выгод и затрат (cost-benefit analysis), в котором должны быть представлены альтернативные варианты решения выявленных проблем.
3. При выстраивании инфраструктуры сбора данных важно, чтобы у студентов был доступ ко всем данным, которые собирает о них университет, чтобы они были в курсе аналитики, которую университет производит с использованием этих данных и имели возможность выражать свое мнение в этом процессе.
4. Если алгоритмы используются для принятия важных решений, то они должны быть прозрачны, должно быть понятно, как именно конкретная характеристика влияет на решение.
5. К алгоритмам и результатам рекомендаций должен применяться внешний аудит, который в том числе будет включать проверку на алгоритмическую дискриминацию и оценку качества предсказаний.
Авторы благодарят коллег из Института образования НИУ ВШЭ за продуктивное обсуждение первой версии текста. Авторы высказывают свое личное мнение, которое может не совпадать с позицией Института образования и НИУ ВШЭ.