Sesle yazma nasıl çalışır

Sesle yazma ne kadar doğru? Hata oranı, hız ve gerçek sınırlar

Konuşma tanıma doğruluğu nasıl ölçülür (kelime hata oranı), araştırmalar dikte ile klavyenin hızı hakkında ne söylüyor, sonuçları ne kötüleştirir ve hangi kelimeler her zaman kontrol edilmeli.

MacWindowsiPhoneAndroid

Kısaca

Doğruluk genellikle kelime hata oranıyla (WER) ölçülür: değiştirilen, düşen ve eklenen kelimelerin gerçekten söylenen kelime sayısına bölümü. Yararlıdır ama dardır: noktalama, biçim ve anlam dışarıda kalır. Araştırmalar, konuşmanın telefonda yazmaktan yaklaşık üç kat hızlı olduğunu gösteriyor. Hatalar isimlerde, sayılarda ve gürültüde toplanır: göndermeden önce kontrol edilecek kelimeler bunlardır.

Gmail

Söylediğin

lütfen tedarikçinin hesabına beş bin değil bin beş yüz gönder

SayVelio'nun yazdığı

Lütfen tedarikçinin hesabına 5.000 değil, 1.500 gönder.

Üç tür hata

Bir tanıma sistemi yanıldığında şu üç şeyden birini yapar:

  • Değiştirme: bir kelime başka bir kelimeyle değişir ("beş" → "eş").
  • Düşürme: bir kelime kaybolur ("değil" uçup gider).
  • Ekleme: söylenmemiş bir kelime belirir.

Kelime hata oranı (WER)

Standart ölçü, bu üç türü doğru bir referans dökümüne göre sayar:

WER = (değiştirmeler + düşürmeler + eklemeler) ÷ referanstaki kelime sayısı

Bir örnek. Referans 10 kelime: "lütfen son raporu cuma sabahından önce Ayşe Hanım'a gönderir misin". Sistem "lütfen son raporu cuma akşamından önce Ayten Hanım'a gönderir misin" yazıyor: 2 değiştirme, 0 düşürme, 0 ekleme. WER = 2 ÷ 10 = %20.

Hata oranı, söylenen kelimelere göre değiştirilen, düşen ve eklenen kelimeleri sayar
Kelime hata oranı: (S + D + I) ÷ N

WER'in söylemedikleri

WER iyi bir teknik ölçü, kötü bir kullanıcı deneyimi özetidir:

  • Her kelime aynı ağırlıktadır. Eksik bir "bu" ile eksik bir "değil" birer hata sayılır, ama yalnızca biri anlamı tersine çevirir.
  • Sayma kurallarına bağlıdır. "5" ile "beş" hata mı? "OK" ile "okey"? Sonuç, karşılaştırmadan önce metnin nasıl normalleştirildiğine göre değişir.
  • Noktalamayı ve biçimi yok sayar, yani düzenlemenin işini.
  • Test kümesine bağlıdır. Temiz, okunmuş konuşmada düşük bir WER; senin ağzın, mikrofonun ya da mesleğinin kelime dağarcığı hakkında az şey söyler.

Bu yüzden iki ürünü karşılaştırmak ancak aynı ses, aynı dil, aynı görev ve aynı kurallarla anlamlıdır. Bir marka adı ya da reklamdaki bir hız vaadi bu karşılaştırmanın yerini tutmaz.

Dikte yazmaktan hızlı mı?

Hakemli araştırmaların bulguları şöyle:

Dakikada ortalama kelime: fiziksel klavye 52, telefon klavyesi 36, telefonda ses 153
Üç araştırmada dakikadaki kelime sayısı: konuşmak yazmaktan yaklaşık üç kat hızlı
YöntemOrtalama hızAraştırma
Fiziksel klavyeDakikada 52 kelimeDhakal ve ark., CHI 2018, 168.000 gönüllü
Telefon dokunmatik klavyesiDakikada 36,2 kelimePalin ve ark., MobileHCI 2019, 37.370 gönüllü
Telefonda ses (İngilizce)Dakikada 153 kelimeRuan ve ark., 2017, laboratuvarda kısa mesajlar
Aynı araştırmada telefon klavyesiDakikada 52 kelimeRuan ve ark., 2017

Ruan ve arkadaşlarının yürüttüğü Stanford araştırmasında ses, telefon klavyesinden İngilizcede 2,93 kat, Mandarin Çincesinde 2,87 kat hızlıydı. Katılımcılar yol boyunca daha az hata düzeltmek zorunda kaldı (İngilizcede düzeltilen hata oranı %5,3'e karşı %11,2), ama son dikte metninde biraz daha fazla hata kaldı (%1,3'e karşı %0,8). Araştırmalar farklı görevler ve farklı kişilerle yapıldı: karşılaştırmayı kesin bir oran olarak değil, bir büyüklük sırası olarak al. İş yerinde düşünmeye ve okumaya da zaman harcanır, bu yüzden günlük kazanç laboratuvardakinden azdır, ama uzun mesajlarda yine de büyüktür.

Sonuçları ne kötüleştirir

  • Gürültü ve yankı: arka plandaki sesler, uzak mikrofonlar, büyük odalar (bkz. gürültü azaltma ve ses algılama).
  • Aynı anda konuşan birkaç kişi.
  • Patlayan ses: sinyal bozulacak kadar yakın ya da yüksek sesle konuşmak.
  • Modelin nadiren gördüğü bilinmeyen isimler ve jargon (bkz. bağlam tanımaya nasıl yardım eder).
  • Cümlenin ortasında dil değiştirmek; bazı sistemler bunu kötü işler.

Hızın da bir bedeli var

Toplam bekleme birkaç aşamanın toplamıdır: kaydın bitmesi, gönderim, tanıma, isteğe bağlı düzenleme ve metnin eklenmesi. Akış sistemleri ayrıca erken metinle sonraki düzeltmeler arasında kelimeleri ne zaman sabitleyeceğine karar vermek zorundadır. SayVelio'da dikte modları seçmeni sağlar: Hızlı tanınan metni düzenleme olmadan ekler, Dengeli ve En iyi kalite daha özenli bir metin için düzenleme ekler.

Göndermeden önce mutlaka kontrol et

Önemli bir metinde son okuyan sensin. Şunlara iki kez bak:

  • para birimleri ve ondalıklar dahil sayılar ve tutarlar;
  • kişi, şirket ve ürün isimleri;
  • olumsuzluklar: "değil", "asla", "hiç";
  • tarihler ve saatler;
  • tıbbi, hukuki ve mali talimatlar;
  • düzenlemenin yeniden ifade etmiş olabileceği her şey.

Kolay düzeltme, dikteyi kusursuz olmadığında bile yararlı kılar, ama rahatlık hiç hata olmadığını kanıtlamaz.

Kaynaklar

  • Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. Cambridge Üniversitesi özeti
  • Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. Proje sayfası
  • Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323

Sorular

İyi bir WER nedir?

Sese ve göreve bağlıdır. Sessiz bir odada güncel bir modelle yapılan net bir dikte çoğu zaman yüzde birkaçlık bir WER gösterir; birkaç sesli gürültülü kayıtlar ise çok daha yüksek olabilir. Sistemleri yalnızca aynı ses ve aynı kurallarla karşılaştır.

WER %100'ü geçebilir mi?

Evet. Eklemeler de sayılır: söylenmemiş çok sayıda kelime ekleyen bir sistem, kelime sayısından fazla hata yapabilir.