비대면 환경 사용자의 정량적 감정-감성 평가모델 개발 및 양방향 디지털콘텐츠 적용 상용화

영상·음성·텍스트를 이용한 생체신호, 감정과 몰입도 추정.

인간 중심 AI

2023-04-01 – 2025-12-31 · 종료

정보통신기획평가원

연구 내용

  • rPPG의 시간·주파수·공간 특징과 CSP 기반 공간 특징을 결합한 생체신호 추정.
  • 음성·텍스트 대조학습을 이용한 대화 감정 인식.
  • 시선 기반 몰입도와 전신영상 이상징후 분석, LucyCare 키오스크 실증 참여.

주요 성과

2026년 최종평가에 보고된 공동 개발 결과입니다.

항목 평가 결과
얼굴영상 심박수 MAE 2.53 bpm
얼굴영상 HRV MAE 24.58 ms
음성·텍스트 감정 인식 정확도 85.9% · IEMOCAP·MELD 모델 평가
몰입도 예측 70.4% · 과제 평가 기준
전신영상 이상징후 검출 정확도 76.0% · 과제 평가 기준

음성·텍스트 감정 인식 정확도는 2차년도 83.8%에서 3차년도 85.9%로 2.1%p 향상됐습니다.