Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
«Когда мир стремительно меняется, важно искать инструменты управления изменениями»
В начале апреля в Высшей школе экономики в Москве состоялась XIX Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии» (ПаВТ). Конференция ПаВТ — ежегодное научное мероприятие, которое проводится в крупных научных центрах России. Форум в НИУ ВШЭ объединил более 200 ученых из пяти стран. Участники конференции представляли 55 организаций из 28 городов, в том числе 15 институтов РАН и НИИ, 30 университетов, 8 предприятий ИТ-индустрии и 2 промышленных предприятия.
ВШЭ — лидер конкурсного отбора Минцифры России по подготовке кадров в области ИИ
Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации и Аналитический центр при Правительстве РФ завершили конкурсный отбор вузов, которые в 2025–2030 годах займутся подготовкой специалистов в сфере искусственного интеллекта. По итогам конкурсного отбора по программам высшего уровня «ТОП ДС» первое место заняла Высшая школа экономики.
Искусственный интеллект помогает точнее прогнозировать риски сложных заболеваний
Разработанные в Центре искусственного интеллекта НИУ ВШЭ нейросетевые модели значительно улучшают прогнозирование риска ожирения, диабета первого типа, псориаза и других многофакторных заболеваний. Совместное исследование с компанией Genotek показало, что алгоритмы глубокого обучения эффективнее традиционных методов, особенно при сложных взаимодействиях генов (эпистазах). Результаты опубликованы в журнале Frontiers in Medicine.
Искусственный интеллект может стать катализатором устойчивого развития
Искусственный интеллект трансформирует все сферы жизни, расширяя наши возможности и границы. В то же время технологии бросают человечеству новые вызовы, связанные с безопасностью, этикой и защитой окружающей среды. На сегодняшний день каждая нейросеть оставляет за собой большой углеродный след. Однако при грамотном управлении ИИ может принести пользу планете и стать залогом устойчивой экономики будущего. Об этом рассказал научный руководитель Лаборатории алгоритмов и технологий анализа сетевых структур НИУ ВШЭ в Нижнем Новгороде Панос Пардалос в рамках XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества.
В Вышке создали собственную MLOps-платформу
Ученые НИУ ВШЭ создали MLOps-платформу SmartMLOps. Она предназначена для исследователей в области искусственного интеллекта, которые хотели бы превратить свое изобретение в полноценный сервис. В будущем на платформе могут быть развернуты ИИ-помощники для упрощения образовательного процесса, оказания медицинской помощи, консультирования и решения многих других задач. Создатели ИИ-технологий смогут получить готовый к работе сервис в течение считанных часов. На суперкомпьютере Вышки этот сервис может быть запущен в несколько кликов.
«От нашей общей работы зависит будущее»: что несет человечеству развитие ИИ
Какие перспективы и вызовы для человечества несет развитие технологий искусственного интеллекта? Как его используют ученые? Каким будет мир, где доминирует ИИ? Эти и другие темы обсудили эксперты на форсайт-сессии «Будущее исследований в сфере искусственного интеллекта», которая прошла в НИУ ВШЭ.
ИИ позволит точно моделировать производительность систем хранения данных
Исследователи факультета компьютерных наук НИУ ВШЭ разработали новый подход к моделированию систем хранения данных на основе генеративных моделей машинного обучения. Он позволяет с высокой точностью предсказывать ключевые характеристики работы таких систем при различных условиях. Результаты опубликованы в журнале IEEE Access.
ИИ в образовании: как преодолеть соблазн готовых решений
Искусственный интеллект уже стал обыденностью для молодежи: как показал опрос, около 87% студентов ведущих вузов используют ИИ в процессе обучения. Большая часть из них отметила, что он помогает им экономить время, при этом они проверяют сделанную ИИ работу. Результаты исследования были представлены на конференции по анализу данных и технологиям ИИ Data Fusion. В ее работе приняли участие научный руководитель НИУ ВШЭ Ярослав Кузьминов и другие эксперты Вышки.
Большинство студентов не верят, что ИИ сможет заменить их на работе
Большинство студентов считают, что ИИ не сможет заменить их на работе в ближайшие десять лет. Низким такой риск называют 27,2% респондентов, 41,5% — крайне маловероятным. Эти оценки были получены НИУ ВШЭ в ходе опроса 4200 студентов в 2025 году. Они приводятся в докладе «Эпоха больших языковых моделей: почему они все еще не профессионалы», подготовленном научным руководителем НИУ ВШЭ Ярославом Кузьминовым и старшим преподавателем кафедры высшей математики НИУ ВШЭ Екатериной Кручинской. Доклад был представлен на XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества, которая проходит с 15 по 18 апреля в НИУ ВШЭ.
Точный ИИ-оракул: какие тренды интересуют бизнес
Современные технологии ежедневно меняют мир, автоматизируя бизнес-процессы в различных отраслях. Специалисты НИУ ВШЭ представили масштабный опыт команды iFORA по реализации ИИ-проектов в интересах крупных компаний и органов власти.