KoALa-Bench: 한국어 음성 이해 및 충실성 평가를 위한 대규모 오디오 언어 모델 벤치마크

‍

최근 음성을 직접 처리하는 대규모 오디오 언어 모델(LALM)이 빠르게 발전하고 있지만, 평가 체계는 여전히 영어 중심이며 한국어 음성 데이터셋은 전통적인 음성 인식에 머물러 있습니다. 본 발표에서는 업스테이지와 중앙대학교 SCAI 연구실의 산학 협력으로 구축한 KoALa-Bench를 소개합니다. KoALa-Bench는 한국어 음성 이해와 충실성(faithfulness)을 평가하는 최초의 벤치마크로, 음성 인식·번역·질의응답·음성 지시 따르기의 4개 표준 과제와 새롭게 제안한 2개의 충실성 과제로 구성되어 있습니다. 이 중 SCA-QA는 반사실적(counterfactual) 음성 맥락을 이용해 모델이 사전 지식 대신 음성을 신뢰하는지를, PA-QA는 긴 음성에서 근거의 위치에 따른 충실성을 측정합니다. 벤치마크의 실제 내용은 수능 듣기, 한국사, K-스포츠, K-pop 등 한국 고유의 지식에 기반합니다. 최신 오디오 LM 6종을 정상·잡음 환경에서 평가한 결과, 정확도와 충실성은 서로 별개의 능력임을 확인했습니다. 본 발표에서는 벤치마크 설계 과정의 실제 고민과, 이것이 한국어 자체 음성 언어 모델 개발로 이어지는 큰 그림도 함께 공유합니다.

‍

연사소개

최근우 박사 / 업스테이지의 AI 연구원 및 카이스트 문화기술대학원 겸직교수

서울대학교에서 전기컴퓨터공학부 학사 및 석사학위를 받으며 음향공학을 공부하였고, 영국 퀸메리 대학교에서 음악 AI를 연구하여 박사학위를 받았습니다.

한국전자통신연구원, 스포티파이, 바이트댄스, 가우디오, 그리고 로슈/제넨텍에서 오디오, 음악 및 LLM 연구개발에 참여하였습니다. 현재 업스테이지의 AI 연구원 및 카이스트 문화기술대학원 겸직교수로 재직중입니다.

‍

*본 웨비나는 온라인으로 진행됩니다. 사전 신청을 완료하신 분들에 한해 웨비나 녹화본을 제공해 드릴 예정이니, 많은 관심과 참여 부탁드립니다.

‍