Sesle yazma nasıl çalışır

Konuşma tanıma ve metin okuma: farkı ne

Konuşma tanıma sesi metne, metin okuma metni sese çevirir. Her biri nasıl çalışır, nerede kesişirler (sayılar, tarihler, isimler), konuşma kodekleri ikisinden nasıl ayrılır ve bir dikte uygulaması neden metni sesli okumaz.

MacWindowsiPhoneAndroid

Kısaca

Konuşma tanıma (ASR) dinler ve yazar: girişte ses, çıkışta metin. Metin okuma (TTS) okur ve konuşur: girişte metin, çıkışta ses. Sesli asistanlarda sık sık birlikte görünürler ama ayrı teknolojilerdir; eğitimleri, çıktıları ve kalite ölçüleri farklıdır. Üçüncü bir teknoloji olan konuşma kodeki ise sesi iletmek için yalnızca küçültür, ikisini de yapmaz.

Mesajlar

Söylediğin

toplantı on ikisine saat on beş otuza alındı

SayVelio'nun yazdığı

Toplantı 12'sine saat 15.30'a alındı.

İki zıt yön

Konuşma tanıma (ASR)Metin okuma (TTS)Konuşma kodeki
GirişKonuşan birinin sesiYazılı metinSes
ÇıkışMetinSentetik bir sesAynı ses, daha hafif
Temel soruHangi kelimeler söylendi?Bu metin nasıl duyulmalı?Bu ses verimli şekilde nasıl iletilir?
Tipik kullanımDikte, altyazı, sesli aramaEkran okuyucular, navigasyon, sesli kitaplarAramalar, sesli mesajlar
Kalite ölçüsüKelime hata oranıDoğallık ve anlaşılırlık puanlarıBelirli bit hızında dinleme testleri

Bir sesli asistan ikisini de kullanır: sorunu anlamak için tanımayı, sesli cevap vermek için okumayı. Ama biri diğerini gerektirmez. SayVelio bir dikte uygulamasıdır: konuşmayı tanır ve metin yazar, hiçbir şeyi sesli okumaz.

Konuşma tanıma bir dalga biçimini metne, metin okuma bir metni dalga biçimine çevirir
ASR: sesten metne. TTS: metinden sese.

Metin okuma nasıl çalışır

Tipik bir TTS sistemi aşamalar halinde çalışır:

  1. Metin analizi. Kısaltmaları ve sayıları kelimelere açmak ("Dr." "doktor" mu okunur?) ve aynı yazılıp farklı söylenen kelimelerin doğru telaffuzunu seçmek ("kar" yağdı mı, ticarette "kâr" mı).
  2. Prozodi. Ritmi, duraklamaları, vurguyu ve tonlamayı belirlemek; bir soru soru gibi duyulsun diye.
  3. Akustik model. Sesin zaman içinde nasıl duyulması gerektiğini, çoğu zaman bir spektrogram olarak tahmin etmek.
  4. Vocoder. Bu tahmini dinlenebilir gerçek bir dalga biçimine dönüştürmek.

Bilinen bir örnek, Google'ın Tacotron 2'sidir (2018): metinden bir mel spektrogramı tahmin eder ve sesi üretmek için bir sinirsel vocoder kullanır. Daha yeni sistemlerin çoğu bu aşamaları birleştirir ya da yeniden düzenler, ama her birinin rolü sürer.

Geliştiriciler sentezi SSML (Speech Synthesis Markup Language) ile yönlendirebilir; bu, duraklamaları, vurguyu, telaffuzu ve tarihlerin nasıl okunacağını işaretlemek için bir W3C standardıdır. Her SSML özelliğinin desteği motordan motora değişir.

Kesiştikleri yer: sayılar, tarihler ve isimler

İki yön de aynı şeylerde, her biri kendi tarafından tökezler:

  • Dikte, söylenen "on iki elli"yi yazıya çevirmek zorundadır: 12.50 mi? 1250 mi? 12,50 TL mi? Bu ters metin normalleştirmedir ve ham dökümden okunur metne yazısında anlatılır.
  • Okuma, yazılı "12/05"i konuşmaya çevirmek zorundadır: on iki mayıs mı, beş aralık mı? Bu metin normalleştirmedir.

İkisi birbiriyle bağlantılıdır ama birebir ayna değildir, çünkü iki yönde de doğru cevap bağlama bağlıdır. İsimler iki yönde de zordur: bir tanıma sistemi duyduğu bir ismin nasıl yazıldığını bilmelidir (bu, sözlüğün işidir), bir okuma sistemi ise okuduğu ismin nasıl söylendiğini.

Kodekler ayrı, üçüncü bir şeydir

Opus gibi bir konuşma kodeki, zaten var olan bir sesi iletmek ya da saklamak için daha az bitle gösterir. Metinden konuşma üretmez ve hangi kelimelerin söylendiğine karar vermez. Konuşmayı yazıya döken bir ürünün ne ses sentezlemesi ne de belirli bir kodek kullanması gerekir. Ayrıntılar konuşma için ses sıkıştırma yazısında.

İkisi de makine öğrenmesi kullanır, farklı şekilde

Modern ASR ve TTS sinir ağlarına dayanır ve ikisi de ses-metin çiftlerinden öğrenir. Ama hedefleri zıttır: ASR kelimelerin doğruluğuyla, TTS ise sesin dinleyenler için doğallığı ve netliğiyle değerlendirilir. Bir alanda mükemmel olan model diğerini otomatik olarak yapamaz.

Sorular

SayVelio metnimi bana okuyabilir mi?

Hayır. SayVelio sesle yazmak içindir. Metin dinlemek için sistemin yerleşik özelliğini kullan: Mac ve iPhone'da Seslendirilen İçerik, Windows'ta Ekran Okuyucusu, Android'de Seç ve Dinle.

"Sesten metne" ile "ses tanıma" aynı şey mi?

Sık sık eş anlamlı kullanılırlar, ama dar anlamda ses tanıma kimin konuştuğunu belirlemeyi de ifade edebilir. SayVelio ne söylediğini tanır, kim olduğunu değil.