Designing an LLM-Powered Video Annotation System for Adaptive Learning Feedback in HyFlex Learning Environments

IDL Lab 박사과정생 Lingxi Jin이 “Designing an LLM-Powered Video Annotation System for Adaptive Learning Feedback in HyFlex Learning Environments”를 주제로 이탈리아 외무부(Ministry of Foreign Affairs and International Cooperation, MAECI)가 주관하는 MAECI Grant에 최종 선정되었습니다.

본 장학금은 해외 연구자의 이탈리아 내 학술·연구 활동을 지원하는 국제 프로그램으로, Lingxi Jin은 2025년 11월부터 2026년 7월까지 9개월간 밀라노공과대학교(Politecnico di Milano) 전자·정보·생명공학과 소속 Hypermedia Open Center Laboratory의 방문 연구원으로서 연구를 수행할 예정입니다.

이번 연구는 하이플렉스(HyFlex) 학습 환경을 지원하는 동영상 주석 시스템 EVOLI에 대규모 언어 모델을 통합하여, 학습자의 주석 데이터를 실시간 분석하고 적응형·개인화 피드백을 제공하는 확장 모듈을 설계·개발하며, 이를 실제 학습 환경에서 검증하는 것을 목표로 합니다. 기존 동영상 기반 학습 주석 시스템은 주석 데이터를 단순 시각화·정량화하는 수준에 머물러, 학습자의 이해 부족이나 개념 혼란을 즉시 조정하기 어려운 한계가 있었습니다. 이번 연구는 이러한 한계를 극복하여, 비실시간 환경에서도 학습자의 자기주도 학습을 지원하고 학습효과를 극대화할 수 있는 교육분야에 새로운 AI 활용 방향을 제시할 것으로 기대됩니다.

Lingxi Jin, a Ph.D. student at IDL Lab, has been awarded the MAECI Grant funded by the Italian Ministry of Foreign Affairs and International Cooperation. Her research project, titled “Designing an LLM-Powered Video Annotation System for Adaptive Learning Feedback in HyFlex Learning Environments,” will be conducted over a nine-month period (November 2025 – July 2026) at the Hypermedia Open Center Laboratory, Department of Electronics, Information and Bioengineering, Politecnico di Milano, where she will serve as a Visiting Scholar.

Jin’s research aims to integrate Large Language Models (LLMs) into the EVOLI video annotation system to analyze learner-generated annotations in real time and provide adaptive, personalized feedback. While existing video-based annotation systems primarily focus on visualizing or quantifying annotation data, they often lack the capability to address learners’ misunderstandings or conceptual difficulties in a timely manner. This study seeks to overcome this gap and is expected to offer new directions for applying AI in education by supporting self-directed learning and enhancing learning outcomes, even in asynchronous environments.

MAECI Grant

EVOLI is a video-annotation tool to support the hybrid and flexible instructional model. It allows students to insert feedback linked to a specific time instant in the video and teachers to analyze the progress of the lesson through customized dashboards to maximize the educational process.

Evoli