Sesle yazma nasıl çalışır

Konuşma tanıma nasıl öğrenir ve bağlam isimlerde ve jargonda neden yardımcı olur

Eğitim ve günlük kullanım, modellerin tanıdık olmayan isimler ve ağızlarla neden zorlandığı, bağlam ipuçlarının ve sözlüklerin tanımayı nasıl yönlendirdiği ve dikte etmenin modeli sesinle eğitmek anlamına neden gelmediği.

MacWindowsiPhoneAndroid

Kısaca

Bir konuşma modeli, metinle eşleştirilmiş çok büyük miktarda kayıtlı konuşmadan öğrenir, sonra öğrendiğini senin sesine uygular. Sık gördüğü şeylerde en iyi, nadir isimlerde ve jargonda en zayıftır. Sözlüğündeki kelimeler gibi bir bağlam ipucu, modeli değiştirmeden tanımayı senin terimlerine doğru eğer; bir ipucu kullanmak kayıtlarının eğitim verisi olacağı anlamına gelmez.

Slack

Söylediğin

demodan önce acme için hotfixi kubernetes'e atabilir misin

SayVelio'nun yazdığı

Demodan önce Acme için hotfix'i Kubernetes'e atabilir misin?

Eğitim ve kullanım iki ayrı andır

Makine öğrenmesi, bir modelin elle yazılmış kuralları izlemek yerine örneklerden örüntü bulmasını sağlar. Konuşmada örnekler, söylenenle eşleştirilmiş kayıtlardır. Eğitim, modelin iç parametrelerini çok sayıda böyle örnek üzerinde ayarlar. Çıkarım ise dikte ettiğinde olan şeydir: hazır model yeni kaydına uygulanır.

İkisi ayrıdır. Bir cümle dikte etmek kendi başına modele hiçbir şey öğretmez. Bir sağlayıcının müşteri sesini eğitim için kullanıp kullanmadığı teknik bir zorunluluk değil, bir politika meselesidir. SayVelio yapay zekâyı senin verilerinle eğitmez; bkz. sesle yazmada gizlilik.

Bir model neyde iyidir, nerede zorlanır

Bir model, üzerinde eğitildiği şeyi yansıtır. Sessiz bir odada net söylenen yaygın bir kelime kolaydır. Sesin eğitim verisinden farklı olduğunda işler zorlaşır:

  • Nadir kelimeler: soyadları, ürün adları, iç proje adları, yeni argo.
  • Eğitim verisinde daha az bulunan ağızlar ve konuşma tarzları.
  • Koşullar: yankı, uzak mikrofonlar, birkaç kişinin konuşması.
  • Aynı cümlede karışan diller; SayVelio her dikte için dili algılayarak bunu çözer (bkz. iki dilde dikte).

Bu yüzden kalite, modelin eğitim sırasında hiç görmediği kayıtlarda ölçülmelidir. Kendi eğitim verisinde kusursuz görünen bir model senin sesinde yine de tökezleyebilir.

Daha fazla veri otomatik olarak daha iyi değildir

Daha fazla özellik, daha fazla ölçüm ya da daha fazla parametrenin hep daha iyi sonuç vereceğini varsaymak kolaydır. Pratikte ilgisiz ya da gereksiz bilgi, modelin genelleşen örüntüler yerine gürültüyü öğrenmesine yol açabilir. Araştırmacılar bir iyileştirmenin yeni konuşmada da geçerli olup olmadığını görmek için modelleri ayrılmış kayıtlarla test eder. Senin için tek bir sayı önemlidir: senin bir sonraki cümleni ne kadar iyi yazıya döktüğü.

İnatçı bir kelimeyi düzeltmenin iki yolu

Bağlam ipucuİnce ayar (fine-tuning)
Ne değişirBu istek için hangi aday kelimelerin öne çıkarıldığıEk eğitimle modelin parametreleri
Ne kadar hızlıAnında, her dikte içinEğitim verisi ve zaman gerektirir
Kim yaparSen, kelime ekleyerekModel sağlayıcısı
GarantiYok, ama isimler için çok etkiliO da yok

Bağlam ipucu, bir toplantıdan önce birine "Kubernetes ve Acme isimlerini duyacaksın" demek gibidir. Duymasını değiştirmez, beklentisini değiştirir.

SayVelio sözlüğünü nasıl kullanır

SayVelio sözlüğün bu tür bir ipucu olarak iki noktada çalışır:

  1. Tanıma sırasında kelimelerin konuşma modeline bağlam olarak verilir, böylece ses uyduğunda onları seçme olasılığı artar.
  2. Düzenleme sırasında, açıksa, sözlük tanımanın hâlâ yanlış yazdığı kelimeleri düzeltmeye yardım eder; bir kelimenin nasıl duyulduğu için eklediğin varyantlar da dahil.
Sözlükteki kelimeler tanıma ve düzenleme sırasında ipucu görevi görür
Sözlüğün hem tanımayı hem düzenlemeyi senin kelimelerine yönlendirir

İki adım da garanti değildir ve kısa, odaklı bir sözlük uzun bir sözlükten daha iyi çalışır, çünkü yüzlerce ipucu birbirini sulandırır. Gerçekten yanlış çıkan kelimeleri ekle, kullanmadıklarının düşmesine izin ver.

Düzenleme, kendi riskleri olan ikinci bir modeldir

Tanıma kelimeleri yazar; isteğe bağlı bir düzenleme adımı onları okunur metne dönüştürür. Düzenleme bir dil modeli kullanır; noktalamada ve "ıı"ları atmakta çok iyidir, ama fazla serbest yeniden yazan bir model anlamı da değiştirebilir. SayVelio'nun düzenlemesine kelimelerini ve dilini koruması, asla çevirmemesi ve söylediğine asla cevap vermemesi talimatı verilir. Yine de önemli şeylerde sonucu kastettiğin şeyle karşılaştır.

Sorular

SayVelio zamanla sesimi öğrenir mi?

Hayır. Tanıma modeli sesine uyum sağlamaz ve kayıtların eğitim için kullanılmaz. Sana uyum sağlayan şey sözlüğün, düzenleme istemin ve uygulama üsluplarındır.

Bir kelime eklemek neden her zaman onu düzeltmiyor?

İpucu bir kelimeyi daha olası kılar, zorlamaz. Hâlâ yanlış çıkıyorsa nasıl duyulduğunu varyant olarak ekle ya da kelimenin çok uzun bir sözlükte kaybolmadığını kontrol et.