음성 입력의 원리

음성 입력은 얼마나 정확할까: 오류율, 속도, 실제 한계

음성 인식의 정확도를 재는 방법(단어 오류율), 음성 입력과 타이핑 속도에 대해 연구가 말해 주는 것, 결과를 나쁘게 만드는 요인, 그리고 꼭 확인해야 할 단어들을 알아봐요.

MacWindowsiPhoneAndroid

요약

정확도는 보통 단어 오류율(WER)로 재요. 바뀐 단어, 빠진 단어, 끼어든 단어의 수를 실제로 말한 단어 수로 나눈 값이에요. 유용하지만 범위가 좁아서 문장 부호, 형식, 의미는 빠져 있어요. 연구에 따르면 휴대폰에서는 말하는 게 타이핑보다 약 3배 빨라요. 오류는 이름, 숫자, 소음에 몰려요. 보내기 전에 확인할 단어가 바로 그것들이에요.

Gmail

말한 내용

거래처 계좌로 오천이 아니라 천오백 보내 주세요

SayVelio가 입력한 내용

거래처 계좌로 5,000이 아니라 1,500 보내 주세요.

세 가지 오류

인식 시스템이 틀릴 때는 다음 셋 중 하나를 해요.

  • 대체: 한 단어가 다른 단어로 바뀌어요("살" → "알").
  • 삭제: 단어가 사라져요("안"이 빠져요).
  • 삽입: 말하지 않은 단어가 나타나요.

단어 오류율(WER)

표준 지표는 올바른 기준 전사와 비교해 이 세 가지를 세요.

WER = (대체 + 삭제 + 삽입) ÷ 기준 전사의 단어 수

예를 들어 볼게요. 기준은 10단어예요. "최종 보고서를 금요일 아침까지 김민지 팀장님께 꼭 보내 주세요 부탁드려요". 시스템은 "최종 보고서를 금요일 저녁까지 김민재 팀장님께 꼭 보내 주세요 부탁드려요"라고 썼어요. 대체 2개, 삭제 0개, 삽입 0개라서 WER = 2 ÷ 10 = 20%예요. 한국어는 띄어쓰기 단위가 일정하지 않아서 실제 평가에서는 글자 단위 오류율(CER)도 많이 써요.

오류율은 말한 단어에 비해 바뀌고, 빠지고, 끼어든 단어를 세요
단어 오류율: (S + D + I) ÷ N

WER이 알려 주지 않는 것

WER은 좋은 기술 지표지만, 사용 경험을 요약하기에는 부족해요.

  • 모든 단어의 무게가 같아요. "을"이 빠진 것도, "안"이 빠진 것도 똑같이 오류 하나지만, 뜻을 뒤집는 건 하나뿐이에요.
  • 세는 규칙에 따라 달라져요. "5"와 "다섯"은 오류일까요? "OK"와 "오케이"는요? 비교 전에 텍스트를 어떻게 정규화하느냐에 따라 결과가 바뀌어요.
  • 문장 부호와 형식은 무시해요. 즉 다듬기의 일은 빠져 있어요.
  • 테스트 데이터에 묶여 있어요. 깨끗하게 읽은 말소리에서 낮은 WER은 내 억양, 내 마이크, 내 업무 어휘에 대해 거의 알려 주지 않아요.

그래서 두 제품을 비교하는 건 같은 오디오, 같은 언어, 같은 작업, 같은 규칙일 때만 의미가 있어요. 브랜드 이름이나 광고 속 속도 약속은 이런 비교를 대신하지 못해요.

음성 입력이 타이핑보다 빠를까

동료 평가를 거친 연구들의 결과는 이래요.

분당 평균 단어 수: 물리 키보드 52, 휴대폰 키보드 36, 휴대폰 음성 153
세 연구의 분당 단어 수: 말하기가 타이핑보다 약 3배 빨라요
방법평균 속도연구
물리 키보드분당 52단어Dhakal 외, CHI 2018, 참가자 168,000명
휴대폰 터치 키보드분당 36.2단어Palin 외, MobileHCI 2019, 참가자 37,370명
휴대폰 음성(영어)분당 153단어Ruan 외, 2017, 실험실에서의 짧은 메시지
같은 연구의 휴대폰 키보드분당 52단어Ruan 외, 2017

Ruan 연구팀의 스탠퍼드 연구에서 음성은 휴대폰 키보드보다 영어에서 2.93배, 중국어(표준어)에서 2.87배 빨랐어요. 참가자들이 중간에 고쳐야 했던 오류는 더 적었지만(영어에서 수정된 오류율 5.3% 대 11.2%), 최종 음성 입력 텍스트에는 오류가 조금 더 남았어요(1.3% 대 0.8%). 연구마다 작업과 참가자가 달랐으니 이 비교는 정확한 배율이 아니라 대략적인 크기로 받아들이세요. 실제 업무에서는 생각하고 다시 읽는 시간도 들기 때문에 일상의 이득은 실험실보다 작지만, 긴 메시지에서는 여전히 커요.

결과를 나쁘게 만드는 것

  • 소음과 울림: 주변 목소리, 먼 마이크, 넓은 방(소음 억제와 음성 감지 참고).
  • 동시에 말하는 여러 사람.
  • 찢어지는 소리: 너무 가깝거나 크게 말해서 신호가 깨지는 경우.
  • 모델이 거의 본 적 없는 낯선 이름과 전문 용어(문맥이 인식을 돕는 방법 참고).
  • 문장 중간에 언어를 바꾸는 것. 이걸 잘 못 하는 시스템도 있어요.

속도에도 대가가 있어요

전체 대기 시간은 녹음 종료, 전송, 인식, 선택 사항인 다듬기, 텍스트 입력이라는 여러 단계의 합이에요. 스트리밍 시스템은 여기에 더해, 빨리 보여 주는 텍스트와 나중의 수정 사이에서 언제 단어를 확정할지 정해야 해요. SayVelio의 받아쓰기 모드에서는 직접 고를 수 있어요. 빠르게는 인식된 텍스트를 다듬기 없이 넣고, 균형과 최고 품질은 다듬기를 더해 더 정돈된 글을 만들어요.

보내기 전에 꼭 확인할 것

중요한 글이라면 마지막으로 읽는 사람은 나예요. 이것들은 두 번 보세요.

  • 통화와 소수점을 포함한 숫자와 금액
  • 사람, 회사, 제품의 이름
  • 부정어: "안", "못", "절대", "전혀"
  • 날짜와 시간
  • 의료, 법률, 금융 관련 지시
  • 다듬기가 다른 말로 바꿨을 수 있는 모든 부분

고치기 쉬우면 완벽하지 않아도 음성 입력은 쓸모가 있어요. 하지만 편리하다고 해서 오류가 없었다는 증거가 되지는 않아요.

출처

  • Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. 케임브리지 대학교 요약
  • Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. 프로젝트 페이지
  • Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323

질문

좋은 WER은 어느 정도인가요?

오디오와 작업에 따라 달라요. 조용한 방에서 최신 모델로 또렷하게 음성 입력하면 WER이 몇 퍼센트인 경우가 많고, 여러 목소리가 섞인 시끄러운 녹음은 훨씬 높을 수 있어요. 시스템은 같은 오디오, 같은 규칙으로만 비교하세요.

WER이 100%를 넘을 수도 있나요?

네. 삽입도 세기 때문에, 말하지 않은 단어를 많이 더하는 시스템은 원래 단어 수보다 오류가 더 많을 수 있어요.