음성 입력의 오디오 형식과 압축
디지털 오디오, 인코딩, 압축은 서로 다른 개념이에요. 무손실 압축과 손실 압축의 원리, 어떤 알고리즘도 모든 파일을 줄일 수 없는 이유, Opus 같은 음성 코덱이 크기와 지연을 조율하는 방법, 그리고 음성 입력에 주는 의미를 알아봐요.
요약
압축하지 않은 음성 오디오는 초당 약 32KB예요. 압축하면 작아져요. 무손실 압축은 모든 비트를 지키고, 손실 압축은 사람이 알아채기 어려운 세부를 버려요. Opus 같은 음성 코덱은 아주 효율적이지만, 너무 세게 압축하면 인식에 필요한 소리까지 사라질 수 있어요. 압축은 오디오를 옮기기 위한 기술이고, 단어를 이해하는 것과는 상관없어요.
말한 내용
녹화 파일이 너무 커서 메일로 못 보내니까 링크로 공유할게요
SayVelio가 입력한 내용
녹화 파일이 너무 커서 메일로 못 보내니까, 링크로 공유할게요.
자주 헷갈리는 세 단어
- 디지털 오디오 는 숫자로 나타낸 소리예요. 1초에 여러 번 뽑은 샘플들이에요(마이크가 목소리를 기록하는 방법 참고).
- 인코딩 은 그 정보를 정해진 형식으로 적는 거예요. 다시 읽어 내기 위한 규칙이 약속돼 있어요.
- 압축 은 있는 그대로의 표현보다 적은 비트를 쓰는 인코딩이에요.
압축하지 않은 오디오는 보통 PCM이라고 부르고, 샘플을 하나하나 그대로 저장해요. WAV 파일은 대개 작은 헤더가 붙은 PCM이에요. 압축 형식은 같은 소리를 더 적은 데이터로 나타내는 규칙을 써요.
무손실과 손실
FLAC 같은 무손실 압축은 원래 샘플을 정확히 되살릴 수 있어요. 구조를 찾아내는 방식으로 동작해요. 말소리에서는 이웃한 샘플끼리 비슷해서, 모든 샘플을 통째로 저장하는 것보다 예측값과 작은 보정값을 저장하는 게 더 싸요. 오디오에서 줄어드는 양은 크지 않아서 대개 절반 정도예요.
MP3, AAC, Opus 같은 손실 압축은 듣는 사람이 알아채기 어려운 정보를 일부러 버리고 나머지를 남겨요. 훨씬 많이 줄어서 10분의 1 이하가 되기도 하지만, 원본은 되살릴 수 없어요.
어떤 것도 모든 걸 압축할 수 없는 이유
엄격한 수학적 한계가 있어요. 어떤 무손실 방법도 가능한 모든 파일을 더 작게 만들 수는 없어요. 그게 가능하다면 결과를 계속 다시 압축해서 모든 파일을 1비트로 만들 수 있고, 그러면 서로 다른 두 파일이 같은 압축 결과를 나눠 가져야 해요. 압축은 데이터에 이용할 패턴이 있을 때만 통해요. 무작위처럼 보이는 데이터나 이미 압축된 데이터는 거의 줄지 않아요. MP3를 zip으로 묶어도 거의 달라지지 않는 이유예요.

음성 코덱: 목소리를 위해 만든 것
목소리에는 범용 압축이 모르는 구조가 있어요. 성도가 소리를 예측 가능한 방식으로 다듬거든요. 음성 코덱은 이 점을 이용해요. 2012년 IETF에서 표준화되어 많은 통화 앱과 브라우저에서 쓰이는 공개 코덱 Opus 는 두 가지 방식을 합쳤어요.
- SILK 는 선형 예측을 바탕으로 성도가 소리를 어떻게 만드는지 모델링해요. 말소리에 아주 효율적이에요.
- CELT 는 주파수 변환(MDCT)을 바탕으로 음악과 넓은 대역의 소리를 잘 다뤄요.
- 하이브리드 모드는 주파수 대역에 따라 둘을 함께 써요.
Opus는 6~510kbit/s의 비트레이트로 동작해요. 압축하지 않은 16kHz 음성은 256kbit/s예요.
크기, 품질, 지연은 서로 당겨요
실시간 오디오에서 압축은 세 가지 사이의 균형이에요.
| 이걸 고르면 | 얻는 것 | 치르는 것 |
|---|---|---|
| 낮은 비트레이트 | 데이터가 적고 약한 네트워크에서도 동작 | 세부, 특히 자음이 사라짐 |
| 긴 프레임(Opus에서 최대 60ms) | 초당 오버헤드가 적음 | 지연이 늘고, 패킷 하나를 잃으면 더 많은 말소리를 잃음 |
| 짧은 프레임(최소 2.5ms) | 지연이 적음 | 초당 오버헤드가 많음 |
전화 통화에는 무엇보다 낮은 지연이 필요해요. 말을 마친 뒤에 인식하는 음성 입력에서는 인식에 필요한 세부를 지키는 게 더 중요해요. "살"이 "알"이 되느냐 마느냐가 그 세부에 달려 있으니까요.
음성 입력에 주는 의미
압축은 운반 방식의 선택이지 인식의 일부가 아니에요. 인식기는 압축하지 않은 PCM도, 압축된 스트림도, 지원하는 다른 형식도 받을 수 있고, 어떤 음성 입력 앱도 특정 코덱을 써야 하는 건 아니에요. 나에게 중요한 건 이거예요.
- 적당한 압축은 괜찮아요. 요즘 음성 모델은 잘 인코딩된 오디오를 문제없이 다뤄요.
- 과한 압축은 정확도를 떨어뜨려요. 아주 낮은 비트레이트는 비슷한 단어를 가르는 작은 소리를 바로 흐려 버려요.
- 블루투스 헤드셋도 압축해요. 많은 헤드셋이 마이크를 쓰는 동안 좁고 낮은 비트레이트 모드로 바뀌는데, 이게 앱이 하는 어떤 처리보다 큰 손실인 경우가 많아요.
질문
압축하면 음성 입력이 덜 정확해지나요?
가벼운 압축은 거의 영향이 없어요. 아주 강한 압축이나 낮은 품질의 통화 모드에 있는 블루투스 헤드셋은 세부를 없애서 비슷한 단어를 구별하기 어렵게 만들 수 있어요.
압축과 암호화는 같은 건가요?
아니요. 압축은 데이터를 작게 만들고, 암호화는 키가 없는 사람이 읽을 수 없게 만들어요. 녹음은 압축될 수도, 암호화될 수도, 둘 다일 수도, 둘 다 아닐 수도 있어요. 암호화는 음성 입력과 개인정보에서 다뤄요.


