كيف تعمل الكتابة بالصوت

كيف يحوّل التعرف على الكلام الصوت إلى كلمات

لماذا الكلام صعب على الحاسوب، وكيف عملت أنظمة التعرف التقليدية بنماذج صوتية ونطقية ولغوية، وما الذي غيّرته النماذج الشاملة (CTC والمرمِّز-المفكِّك والمحوِّلات)، ولماذا قد يتغيّر النص المتدفق أثناء كلامك.

MacWindowsiPhoneAndroid

باختصار

لا توجد في الكلام فواصل واضحة بين الكلمات، وكل شخص ينطق بطريقته، لذلك لا «يقرأ» نظام التعرف الكلماتِ من الصوت أبدًا. بل يقدّر تسلسل الكلمات الأرجح انطلاقًا من الصوت ومن الأنماط التي تعلّمها في التدريب. استخدمت الأنظمة القديمة نماذج منفصلة للصوتيات والنطق واللغة، أما معظم الأنظمة الحديثة فتتعلّم الطريق كله من الصوت إلى النص في شبكة واحدة.

WhatsApp

قلتَ

هل تستطيع أن تأتي غدا على العشاء أم أنك مشغول بالعمل

كتب SayVelio

هل تستطيع أن تأتي غدًا على العشاء، أم أنك مشغول بالعمل؟

لماذا يصعب التعرف على الكلام

في النص المكتوب مسافات بين الكلمات. في الكلام لا توجد. حين تقول «عبد الله» بسرعة تمتزج الأصوات، الأصوات تتغيّر أيضًا بحسب ما يجاورها (فاللام في «الشمس» لا تُنطق)، والناس يتكلمون بسرعات ونبرات مختلفة، واللهجات تشكّل كل حرف علة.

لذلك قد يناسب المقطعُ الصوتي نفسه أكثر من تسلسل للكلمات. لا يفكّ نظام التعرف شيفرة الكلمات بيقين، بل يوازن بين الاحتمالات ويختار الأرجح. ولهذا قد تُقرأ النتيجة بشكل ممتاز وتكون خاطئة مع ذلك.

الطريقة التقليدية: ثلاثة نماذج ومفكِّك

لعقود بُني التعرف على الكلام من أجزاء منفصلة:

  • نموذج صوتي يربط شرائح قصيرة من الصوت بأصوات الكلام (الفونيمات).
  • قاموس نطق يسرد كيف يمكن نطق كل كلمة كتسلسل من تلك الأصوات.
  • نموذج لغوي يقيّم مدى احتمال تسلسل كلمات في اللغة («ذهبت إلى السوق» أرجح بكثير من «ذهبت إلى الشوق»).
  • مفكِّك يبحث في التوليفات عن أفضل تطابق إجمالي.

لا يزال هذا التصميم أوضح طريقة لفهم المشكلة، وبعض الأنظمة تستخدم أجزاء منه. لكن هذه ليست الطريقة التي تعمل بها معظم أنظمة التعرف الحديثة.

أنظمة التعرف التقليدية تجمع النماذج الصوتية والنطقية واللغوية؛ والنماذج الشاملة تتعلّم الطريق كله في شبكة واحدة
طريقتان لبناء نظام تعرف: نماذج منفصلة مع مفكِّك، أو شبكة شاملة واحدة

النماذج الشاملة: شبكة واحدة من الصوت إلى النص

تتعلّم الأنظمة الحديثة الربط المباشر بين الصوت والنص في شبكة عصبية واحدة مدرَّبة على كميات هائلة من الكلام المفرَّغ. هناك ثلاث عائلات شائعة:

  • CTC (التصنيف الزمني الترابطي) يتنبأ بحرف أو جزء من كلمة لكل إطار صوتي قصير، بما في ذلك رمز خاص «فارغ»، ثم يدمج التكرارات ويحذف الفراغات. ولا يحتاج إلى من يحدد بداية كل كلمة في صوت التدريب.
  • نماذج المرمِّز-المفكِّك القائمة على الانتباه تحوّل التسجيل كله أولًا إلى تمثيل داخلي، ثم تكتب النص جزءًا بعد جزء، «ناظرةً إلى الوراء» نحو أجزاء الصوت ذات الصلة عند كل جزء جديد.
  • المحوِّلات (RNN-T وما يشبهها) تجمع بين مرمِّز للصوت ومكوّن يتذكّر النص الذي أُنتج حتى الآن، ما يجعلها مناسبة لإنتاج النص وأنت ما زلت تتكلم.

المنتجات الحقيقية تمزج هذه الأفكار، وبعضها يضيف خطوات مثل تلميحات السياق للكلمات النادرة (انظر كيف يساعد السياق على التعرف). تطبيق الإملاء لا يخبرك بالبنية التي يستخدمها، ولا يحتاج إلى ذلك: ما يهمك هو الدقة والسرعة وما يحدث لبياناتك.

التسجيل الكامل أم البث المتدفق

يمكن أن يعمل التعرف على التسجيل الكامل بعد توقفك، أو باستمرار أثناء كلامك:

  • البث المتدفق يعرض الكلمات فورًا تقريبًا، لكن التخمينات الأولى قد تتغيّر حين تضيف الكلمات اللاحقة سياقًا. قد تظهر «الشوق» للحظة ثم تُصحَّح إلى «السوق».
  • التعرف على التسجيل الكامل ينتظر حتى تنتهي، لكنه يرى الجملة كاملة دفعة واحدة، وهذا يفيد الدقة وعلامات الترقيم في الغالب.

التأخير الذي تلاحظه يشمل أيضًا كشف توقفك عن الكلام، ووقت الشبكة، وأي خطوة تنظيف. في SayVelio تضغط مطولًا على المفتاح أثناء الكلام، فتكون نهاية التسجيل دقيقة، ويُدرَج النص حين يصبح نهائيًا لا كلمةً كلمة.

لماذا الناتج احتمال لا حقيقة

لأن النظام يختار دائمًا الخيار الأرجح، تبدو أخطاؤه معقولة: كلمة حقيقية مكتوبة بشكل صحيح لكنك لم تقلها. الأسماء والأرقام والمصطلحات النادرة الأكثر عرضة لذلك، لأن النموذج رآها أقل. دفاعان عمليان:

  1. علّم النظام كلماتك عبر قاموس شخصي.
  2. اقرأ النصوص المهمة قبل إرسالها، خصوصًا المبالغ والتواريخ وكلمات النفي.

أسئلة شائعة

هل يفهم التعرف على الكلام ما أقصده؟

ليس بالمعنى البشري. إنه يقدّر الكلمات التي قيلت. لا يدخل المعنى إلا عبر أنماط مكتسبة من النصوص، وهي تساعده على الاختيار بين عبارات متشابهة في السمع.

لماذا يخطئ الإملاء في الكلمة نفسها في كل مرة؟

غالبًا لأن الكلمة نادرة أو تشبه في نطقها كلمة أكثر شيوعًا. إضافتها إلى القاموس، مع طريقة نطقها كصيغة بديلة، تحل معظم هذه الحالات.