Sesle yazma ne kadar doğru? Hata oranı, hız ve gerçek sınırlar
Konuşma tanıma doğruluğu nasıl ölçülür (kelime hata oranı), araştırmalar dikte ile klavyenin hızı hakkında ne söylüyor, sonuçları ne kötüleştirir ve hangi kelimeler her zaman kontrol edilmeli.
Kısaca
Doğruluk genellikle kelime hata oranıyla (WER) ölçülür: değiştirilen, düşen ve eklenen kelimelerin gerçekten söylenen kelime sayısına bölümü. Yararlıdır ama dardır: noktalama, biçim ve anlam dışarıda kalır. Araştırmalar, konuşmanın telefonda yazmaktan yaklaşık üç kat hızlı olduğunu gösteriyor. Hatalar isimlerde, sayılarda ve gürültüde toplanır: göndermeden önce kontrol edilecek kelimeler bunlardır.
Söylediğin
lütfen tedarikçinin hesabına beş bin değil bin beş yüz gönder
SayVelio'nun yazdığı
Lütfen tedarikçinin hesabına 5.000 değil, 1.500 gönder.
Üç tür hata
Bir tanıma sistemi yanıldığında şu üç şeyden birini yapar:
- Değiştirme: bir kelime başka bir kelimeyle değişir ("beş" → "eş").
- Düşürme: bir kelime kaybolur ("değil" uçup gider).
- Ekleme: söylenmemiş bir kelime belirir.
Kelime hata oranı (WER)
Standart ölçü, bu üç türü doğru bir referans dökümüne göre sayar:
WER = (değiştirmeler + düşürmeler + eklemeler) ÷ referanstaki kelime sayısı
Bir örnek. Referans 10 kelime: "lütfen son raporu cuma sabahından önce Ayşe Hanım'a gönderir misin". Sistem "lütfen son raporu cuma akşamından önce Ayten Hanım'a gönderir misin" yazıyor: 2 değiştirme, 0 düşürme, 0 ekleme. WER = 2 ÷ 10 = %20.

WER'in söylemedikleri
WER iyi bir teknik ölçü, kötü bir kullanıcı deneyimi özetidir:
- Her kelime aynı ağırlıktadır. Eksik bir "bu" ile eksik bir "değil" birer hata sayılır, ama yalnızca biri anlamı tersine çevirir.
- Sayma kurallarına bağlıdır. "5" ile "beş" hata mı? "OK" ile "okey"? Sonuç, karşılaştırmadan önce metnin nasıl normalleştirildiğine göre değişir.
- Noktalamayı ve biçimi yok sayar, yani düzenlemenin işini.
- Test kümesine bağlıdır. Temiz, okunmuş konuşmada düşük bir WER; senin ağzın, mikrofonun ya da mesleğinin kelime dağarcığı hakkında az şey söyler.
Bu yüzden iki ürünü karşılaştırmak ancak aynı ses, aynı dil, aynı görev ve aynı kurallarla anlamlıdır. Bir marka adı ya da reklamdaki bir hız vaadi bu karşılaştırmanın yerini tutmaz.
Dikte yazmaktan hızlı mı?
Hakemli araştırmaların bulguları şöyle:

| Yöntem | Ortalama hız | Araştırma |
|---|---|---|
| Fiziksel klavye | Dakikada 52 kelime | Dhakal ve ark., CHI 2018, 168.000 gönüllü |
| Telefon dokunmatik klavyesi | Dakikada 36,2 kelime | Palin ve ark., MobileHCI 2019, 37.370 gönüllü |
| Telefonda ses (İngilizce) | Dakikada 153 kelime | Ruan ve ark., 2017, laboratuvarda kısa mesajlar |
| Aynı araştırmada telefon klavyesi | Dakikada 52 kelime | Ruan ve ark., 2017 |
Ruan ve arkadaşlarının yürüttüğü Stanford araştırmasında ses, telefon klavyesinden İngilizcede 2,93 kat, Mandarin Çincesinde 2,87 kat hızlıydı. Katılımcılar yol boyunca daha az hata düzeltmek zorunda kaldı (İngilizcede düzeltilen hata oranı %5,3'e karşı %11,2), ama son dikte metninde biraz daha fazla hata kaldı (%1,3'e karşı %0,8). Araştırmalar farklı görevler ve farklı kişilerle yapıldı: karşılaştırmayı kesin bir oran olarak değil, bir büyüklük sırası olarak al. İş yerinde düşünmeye ve okumaya da zaman harcanır, bu yüzden günlük kazanç laboratuvardakinden azdır, ama uzun mesajlarda yine de büyüktür.
Sonuçları ne kötüleştirir
- Gürültü ve yankı: arka plandaki sesler, uzak mikrofonlar, büyük odalar (bkz. gürültü azaltma ve ses algılama).
- Aynı anda konuşan birkaç kişi.
- Patlayan ses: sinyal bozulacak kadar yakın ya da yüksek sesle konuşmak.
- Modelin nadiren gördüğü bilinmeyen isimler ve jargon (bkz. bağlam tanımaya nasıl yardım eder).
- Cümlenin ortasında dil değiştirmek; bazı sistemler bunu kötü işler.
Hızın da bir bedeli var
Toplam bekleme birkaç aşamanın toplamıdır: kaydın bitmesi, gönderim, tanıma, isteğe bağlı düzenleme ve metnin eklenmesi. Akış sistemleri ayrıca erken metinle sonraki düzeltmeler arasında kelimeleri ne zaman sabitleyeceğine karar vermek zorundadır. SayVelio'da dikte modları seçmeni sağlar: Hızlı tanınan metni düzenleme olmadan ekler, Dengeli ve En iyi kalite daha özenli bir metin için düzenleme ekler.
Göndermeden önce mutlaka kontrol et
Önemli bir metinde son okuyan sensin. Şunlara iki kez bak:
- para birimleri ve ondalıklar dahil sayılar ve tutarlar;
- kişi, şirket ve ürün isimleri;
- olumsuzluklar: "değil", "asla", "hiç";
- tarihler ve saatler;
- tıbbi, hukuki ve mali talimatlar;
- düzenlemenin yeniden ifade etmiş olabileceği her şey.
Kolay düzeltme, dikteyi kusursuz olmadığında bile yararlı kılar, ama rahatlık hiç hata olmadığını kanıtlamaz.
Kaynaklar
- Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. Cambridge Üniversitesi özeti
- Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. Proje sayfası
- Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323
Sorular
İyi bir WER nedir?
Sese ve göreve bağlıdır. Sessiz bir odada güncel bir modelle yapılan net bir dikte çoğu zaman yüzde birkaçlık bir WER gösterir; birkaç sesli gürültülü kayıtlar ise çok daha yüksek olabilir. Sistemleri yalnızca aynı ses ve aynı kurallarla karşılaştır.
WER %100'ü geçebilir mi?
Evet. Eklemeler de sayılır: söylenmemiş çok sayıda kelime ekleyen bir sistem, kelime sayısından fazla hata yapabilir.


