Ученые усомнились в том, что искусственный интеллект DeepMind понимает физику молекул с нецелым зарядом
В журнале Science, одном из самых авторитетных научных изданий, команда исследователей из Высшей школы экономики, Сколтеха, Института органической химии им. Н.Д. Зелинского и Kyungpook National University (Южная Корея) опубликовала комментарий к статье DeepMind, говорится на сайте Сколтеха. В нем ученые показали, что приведенные аргументы в пользу достижения поставленной DeepMind цели не настолько надежны, как кажется, и требуют дополнительного исследования.
Команда DeepMind в статье, опубликованной в журнале Science в декабре 2021 года, попыталась решить одну из ключевых проблем современной физики: создать метод теории функционала плотности (DFТ), корректно работающий для самых разных молекулярных систем, включая имеющие нецелое количество электронов.
Михаил Медведев
«Современные химия и наука о материалах постепенно переходят от экспериментального метода проб и ошибок к изучению цифровых двойников. Вместо того чтобы ставить десятки или даже сотни экспериментов в надежде найти новый эффективный катализатор или материал, для этого класса катализаторов/материалов создается цифровой двойник (математическая модель), который досконально изучается в компьютере, и на основании найденных теоретически закономерностей ставятся несколько прицельных экспериментов. Этот подход позволяет экономить килограммы дорогостоящих химических реагентов и тонны токсичных органических растворителей», — говорит руководитель Группы теоретической химии Института органической химии им. Н.Д. Зелинского РАН, доцент факультета химии НИУ ВШЭ Михаил Медведев.
Евгений Епифанов
Вместе с Михаилом Медведевым в группе исследователей над проблемой работал третьекурсник ОП «Химия» НИУ ВШЭ Евгений Епифанов. «Когда в начале 1-го курса мне пришлось определяться с лабораторией для научной работы, я хотел заниматься квантовой химией и решил выбрать группу теоретической химии ИОХ РАН, — рассказал он. — В этой группе есть разные направления работы, в целом можно описать их как предсказание возможности протекания реакций без проведения эксперимента. Я разрабатываю методы, чтобы такие расчеты были точнее. Здесь нужны не только знания химии, нужно еще уметь программировать. Но даже если не умеете, более опытные коллеги научат. Мне нравится этим заниматься, и я планирую писать диплом по этой теме».
Теория функционала плотности является самым широко используемым подходом для построения цифровых двойников в химии и науке о материалах. Она позволяет относительно корректно описать взаимодействие большого количества электронов между собой, что необходимо для построения цифровых двойников сложных химических систем: молекул, наночастиц, кристаллов. Основой теории функционала плотности является обменно-корреляционный функционал, для которого точный вид все еще не установлен, поэтому в настоящий момент для него используются различные приближенные выражения, которых уже более 400.
Петр Жиляев
«С каждым годом количество приближенных выражений для обменно-корреляционного функционала растет, предлагаются все более и более точные выражения. DeepMind, известные своей разработкой нейросетевой программы AlphaGo, победившей одного из сильнейших игроков мира в игру го, решили применить свои наработки в нейронных сетях для создания нейросетевого функционала теории функционала плотности. Их работа была далеко не первой, однако она однозначно является одной из самых амбициозных», — говорит старший научный сотрудник Центра технологий материалов Сколтеха Петр Жиляев.
DeepMind создали новый функционал теории функционала плотности — DM21. Предполагалось, что он будет способен корректно работать с системами, содержащими нецелое количество электронов: несмотря на отсутствие таких систем в природе, корректная работа функционала на них должна помочь ему в описании обычных химических систем. Для того чтобы научить свой функционал корректно работать на таких системах, команда DeepMind добавила их в базу данных, на которой обучался DM21. Чтобы убедиться, что DM21 научился работать на таких системах, авторы протестировали его на тестовом наборе BBB, состоящем из пар атомов на разных расстояниях друг от друга, например два атома водорода с одним электроном на двоих. DM21 показал превосходную точность на наборе BBB, обойдя стандартные функционалы, а также функционал DM21m, обученный DeepMind на том же датасете, за исключением систем с нецелым количеством электронов.
Авторы постарались обойти одно из ключевых ограничений традиционных функционалов — их неспособность корректно описывать системы с нецелым количеством электронов. DeepMind добавили в функционал новый нелокальный ингредиент (информацию о волновой функции системы, которую функционал может использовать для вычисления энергии), который ранее никогда не использовался, — пространственно разделенную локальную обменную энергию. В дальнейшем она может помочь строить функционалы с лучшим разделением между обменной и корреляционной энергиями.
Команда DeepMind ввела дополнительную регуляризацию, связанную с процедурой самосогласованного поля. Их дополнительное слагаемое в функции ошибки модели приближенно равно выражению для изменения энергии после шага вариационной процедуры минимизации, начинающегося с орбиталей традиционного функционала. Эта регуляризация позволяет сделать обучаемый функционал более стабильным.
«В машинном обучении очень важно не использовать для тестирования нейронной сети данные, на которых она была обучена. Однако в своей работе команда DeepMind допустила подобную ошибку: наиболее сложные димеры из набора BBB очень близки к системам с нецелым количеством электронов из обучающей выборки», — рассуждает инженер-исследователь Центра технологий материалов Сколтеха Александр Рябов.
«Если нейронные сети не могут понять, как прийти к правильным ответам, они пытаются их зазубрить. Поэтому не столь сложно обучить нейронную сеть — сложно показать, что она действительно осознала физические законы, лежащие в основе вопроса, на который она отвечает. Так что тестировать нейронную сеть на данных, на которых она обучалась, — это все равно что дать студенту на экзамене ту же задачу, которая разбиралась пять минут назад на доске: мы узнаем, хорошая ли у него память, но вряд ли узнаем, понимает ли он предмет», — отмечает Михаил Медведев.
Этот недостаток не был очевидным. Системы в наборе BBB состоят из двух атомов, тогда как DM21 обучался на одноатомных системах с нецелым количеством электронов. Поэтому предвидеть то, что произошло, было очень непросто. Ученые поняли, что при расстояниях между атомами в тест-сете BBB, где обычные функционалы начинают испытывать проблемы, атомы уже практически не взаимодействуют между собой и каждый атом в отдельности по сути становится тем самым «атомом с нецелым числом электронов», на которых проводилось обучение.
Вам также может быть интересно:
«Можно что-то сделать? Или меня отчислят?»: ИИ-помощники в образовании
Искусственный интеллект может значительно облегчить жизнь студентов и преподавателей университетов. Например, он способен автоматизировать некоторые учебные процессы, а также составить прогноз возможностей трудоустройства выпускников.
В НИУ ВШЭ разработан инструмент для контроля ИИ-технологий в медицине
Группа исследователей из Центра искусственного интеллекта НИУ ВШЭ разработала индекс для определения уровня этичности систем искусственного интеллекта (ИИ) в медицине. Инструмент предназначен для минимизации потенциальных рисков, обеспечения безопасной разработки и внедрения ИИ-технологий в медицинскую практику.
Драйвер прогресса и статья доходов: роль университетов в трансфере технологий
В современном мире необходим эффективный трансфер социально-экономических и гуманитарных знаний в реальный сектор экономики и госуправление. Решающую роль в этом играют университеты. У них есть возможность объединять различные коллективы и в партнерстве с государством и бизнесом разрабатывать и совершенствовать передовые технологии.
ИНФОТЕХ-2024: «понять перспективы и ограничения использования ИИ в образовании»
В конце октября в рамках XVII Тюменского цифрового форума информационных технологий «ИНФОТЕХ-2024» прошел круглый стол «Эксперименты с ИИ в образовании». Эксперты Высшей школы экономики, Московского городского педагогического университета, Уральского федерального университета и Тюменского государственного университета обсудили практический опыт разработки и внедрения технологий ИИ в образовательный процесс, обозначили основные вызовы, связанные с быстрым развитием образовательных решений на базе ИИ.
Fall into ML 2024: взгляд в будущее машинного обучения
25–26 октября в Москве состоялась конференция Fall into ML, организованная Институтом искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ совместно с Центром ИИ при поддержке титульного партнера — Сбера. На протяжении двух дней ведущие специалисты в области искусственного интеллекта обсуждали перспективы развития фундаментальных технологий ИИ.
ВШЭ и «Яндекс» представили доклад об интеграции искусственного интеллекта в высшее образование
Высшая школа экономики и «Яндекс Образование» подготовили совместный доклад «Искусственный интеллект в образовании». В нем проанализированы ведущие мировые практики, раскрывающие потенциал технологий искусственного интеллекта (ИИ) в образовательной сфере. Доклад представляет собой карту с кейсами университетов разных стран, уже сегодня применяющих ИИ. Цель проекта — помочь российским вузам внедрять ИИ, опираясь на опыт других университетов.
Практика лицензирования разработок НИУ ВШЭ отмечена премией в области корпоративных инноваций GIA
На церемонии вручения премии GIA совместный проект Центра искусственного интеллекта НИУ ВШЭ и АО «Новое сервисное бюро» получил награду в номинации «Трансфер технологий». Это стало плодом интенсивной работы университетского Центра трансфера технологий и научных сотрудников вместе с индустриальным партнером.
Онлайн-юрист, чат-ассистент и аватар профессора: как ученые Вышки применяют ИИ-технологии
Молодые ученые Вышки представили собственные проекты на Объединенном научном семинаре стратегического проекта «ИИ-технологии для человека» (реализуется в рамках программы «Приоритет-2030»). Решения, предложенные исследователями на базе ИИ-алгоритмов, будут полезны для развития гостиничного бизнеса, выявления манипуляций с эмпирическими данными в научных статьях, автоматизации создания юридических документов, а также во многих других сферах деятельности.
Эксперты НИУ ВШЭ исследовали, как ведется подготовка специалистов в области ИИ
Институт статистических исследований и экономики знаний НИУ ВШЭ представил доклад, подготовленный на основе результатов специализированного обследования образовательных организаций высшего образования. Целью впервые проведенной работы стало выявление масштабов и условий обучения технологиям искусственного интеллекта в рамках образовательных программ высшего образования и дополнительных профессиональных программ в вузовском секторе.
«Нам удалось провести настоящий хакатон, когда нет заранее понятного пайплайна, как получить решение»
С 13 по 20 октября в НИУ ВШЭ прошел хакатон “HSE AI Assistant Hack: Python”, организованный факультетом компьютерных наук и Центром искусственного интеллекта ВШЭ. За призовые места боролись 89 студенческих команд из ведущих вузов страны.