Como funciona a digitação por voz

Como o reconhecimento de fala aprende e por que o contexto ajuda com nomes e jargão

Treinamento e uso no dia a dia, por que os modelos têm dificuldade com nomes pouco conhecidos e sotaques, como dicas de contexto e dicionários orientam o reconhecimento e por que ditar não significa treinar o modelo com a sua voz.

MacWindowsiPhoneAndroid

Resumindo

Um modelo de fala aprende com quantidades enormes de fala gravada junto com o texto e depois aplica o que aprendeu à sua voz. Ele é melhor no que viu muitas vezes e mais fraco em nomes raros e jargão. Uma dica de contexto, como as palavras do seu dicionário, puxa o reconhecimento para os seus termos sem mudar o modelo, e usar uma dica não significa que suas gravações virem dados de treinamento.

Slack

Você disse

dá pra subir o hotfix no kubernetes antes da demo com a acme

O SayVelio escreveu

Dá pra subir o hotfix no Kubernetes antes da demo com a Acme?

Treinamento e uso são dois momentos diferentes

O aprendizado de máquina permite que um modelo encontre padrões a partir de exemplos, em vez de seguir regras escritas à mão. Para a fala, os exemplos são gravações junto com o que foi dito. O treinamento ajusta os parâmetros internos do modelo com um número enorme desses exemplos. A inferência é o que acontece quando você dita: o modelo pronto é aplicado à sua nova gravação.

As duas coisas são separadas. Ditar uma frase, por si só, não ensina nada ao modelo. Se um provedor usa ou não o áudio dos clientes para treinamento é uma questão de política, não uma necessidade técnica. O SayVelio não treina IA com os seus dados; veja privacidade na digitação por voz.

No que um modelo é bom e onde ele tropeça

Um modelo reflete aquilo em que foi treinado. Uma palavra comum dita com clareza num lugar silencioso é fácil. As coisas complicam quando o seu áudio é diferente dos dados de treinamento:

  • Palavras raras: sobrenomes, nomes de produtos, nomes de projetos internos, gírias novas.
  • Sotaques e jeitos de falar que eram menos comuns nos dados de treinamento.
  • Condições: eco, microfones distantes, várias pessoas falando.
  • Idiomas misturados na mesma frase, que o SayVelio trata detectando o idioma em cada ditado (veja ditar em dois idiomas).

Por isso a qualidade precisa ser medida em gravações que o modelo nunca viu no treinamento. Um modelo que parece perfeito nos próprios dados de treinamento ainda pode tropeçar na sua voz.

Mais dados não é automaticamente melhor

É fácil supor que mais características, mais medidas ou mais parâmetros sempre dão resultados melhores. Na prática, informação irrelevante ou redundante pode fazer o modelo aprender ruído em vez de padrões que valem em geral. Os pesquisadores testam os modelos em gravações separadas justamente para ver se uma melhoria se mantém em fala nova. Para você, só um número importa: quão bem ele transcreve a sua próxima frase.

Duas formas de corrigir uma palavra teimosa

Dica de contextoAjuste fino (fine-tuning)
O que mudaQuais palavras candidatas são favorecidas nesta solicitaçãoOs parâmetros do modelo, com treinamento extra
RapidezNa hora, a cada ditadoExige dados de treinamento e tempo
Quem fazVocê, adicionando palavrasO provedor do modelo
GarantiaNenhuma, mas muito eficaz para nomesNenhuma também

Uma dica de contexto é como avisar alguém antes de uma reunião: «você vai ouvir os nomes Kubernetes e Acme». Não muda a audição da pessoa, muda a expectativa dela.

Como o SayVelio usa o seu dicionário

O seu dicionário do SayVelio funciona como esse tipo de dica em dois momentos:

  1. Durante o reconhecimento, suas palavras são passadas ao modelo de fala como contexto, então é mais provável que ele as escolha quando o som combina.
  2. Durante a limpeza, se estiver ativada, o dicionário ajuda a corrigir grafias que o reconhecimento ainda errou, incluindo as variantes que você indicou para o som de uma palavra.
As palavras do dicionário funcionam como dicas durante o reconhecimento e durante a limpeza
O dicionário orienta tanto o reconhecimento quanto a limpeza para as suas palavras

Nenhuma das duas etapas é garantia, e um dicionário curto e focado funciona melhor que um longo, porque centenas de dicas se diluem entre si. Adicione as palavras que realmente saem erradas e deixe as que você não usa caírem.

A limpeza é um segundo modelo, com riscos próprios

O reconhecimento escreve as palavras; uma limpeza opcional as reescreve num texto legível. A limpeza usa um modelo de linguagem, ótimo em pontuação e em tirar os «é», mas um modelo que reescreve livremente demais também pode mudar o sentido. A limpeza do SayVelio é instruída a manter suas palavras e seu idioma, nunca traduzir e nunca responder ao que você disse. Mesmo assim, para coisas importantes, compare o resultado com o que você queria dizer.

Perguntas

O SayVelio aprende a minha voz com o tempo?

Não. O modelo de reconhecimento não se adapta à sua voz, e suas gravações não são usadas para treinamento. O que se adapta a você é o seu dicionário, a sua instrução de limpeza e os seus estilos por app.

Por que adicionar uma palavra nem sempre resolve?

Uma dica torna a palavra mais provável, não a obriga. Se ela continuar saindo errada, adicione como ela soa como variante, ou confira se ela não está se perdendo num dicionário enorme.