自動音声認識：隠れマルコフモデルから音声基盤モデルまで

自動音声認識（ASR）は、音声波形をテキストに変換します。実運用の文字起こしシステムは、音声の開始・終了時点の判断、言語の識別、タイムスタンプの付与、話者の分離、句読点の復元、ドメイン語彙への適応、そして許容されるレイテンシと計算量の範囲内での結果提供も行う必要があります。

すべての動作点で優位なモデルはありません。オフラインのエンコーダー・デコーダーは録音全体をコンテキストとして利用し、バッチ処理によってスループットを最大化できます。一方、ストリーミング・トランスデューサーは、短い音声チャンクごとに部分テキストを出力できます。多言語基盤モデルはタスク固有の学習なしに未知の内容を処理できますが、コンパクトな言語特化モデルは、対象ドメインではより高速かつ高精度になる可能性があります。

したがって、この分野の歴史は、変化する抽象化の連続です。

文字起こしシステムの範囲 #

ASRは、より大きなオーディオ・パイプラインの一段階です。

• **音声区間検出（VAD）**は音声を含む領域を見つけ、無音によってモデル時間が消費されることを防ぎます。
• エンドポイント検出は、ライブ発話が完了した時点を判断します。積極的なエンドポイント検出は応答性を高めますが、発話者が間を置いた後に発話を打ち切る可能性があります。
• **逆テキスト正規化（ITN）**は、2026 のような表記を「twenty twenty-six」などの形式から変換します。ただし、ロケールとアプリケーションの規則に従います。
• 強制アラインメントは、既知のトランスクリプトを音声内の時間区間に対応付けます。
• 話者ダイアライゼーションは、誰がいつ話したかを判定します。話者識別はさらに、匿名の話者クラスタを登録済みの個人に対応付けます。
• 音声翻訳は言語とモダリティの両方を変換します。一方、オーディオ言語モデルは非音声イベントに関する質問にも回答できます。どちらも、文字どおりの文字起こしと同一のタスクではありません。

パイプラインの境界は重要です。単語誤り率が低くても、話者ラベルやタイムスタンプが正確であるとは限らないためです。重複発話では、認識またはダイアライゼーションを安定して行う前に、音声分離が必要になることもあります。

歴史的タイムライン #

日付は、明確な時代の境界ではなく、影響力のある論文やリリースを示しています。ハイブリッドHMMシステムは現在も利用され、CTCはアラインメントと効率的なデコードにおいて重要です。また、現在のシステムは複数世代のアイデアを組み合わせることがよくあります。

モジュール型統計認識器 #

古典的な認識器は、音響観測 \(X\) を最もよく説明する単語列 \(W\) を探索します。

音響モデルは、候補単語列に対する信号の尤度を評価し、言語モデルは単語列自体を評価します。発音辞書は単語を音素に対応付け、HMMは音素状態の進行を表し、デコーダーは合成されたグラフを探索します。ガウス混合モデル（GMM）は歴史的に、メル周波数ケプストラム係数などの音響特徴フレームを評価しました。

この設計には重要な強みがあります。

• 辞書は、すべてのコンポーネントを再学習せずに固有名詞や専門用語を追加できます。
• 文法制約によって、コマンド認識を決定論的にできます。
• WFSTデコードは、音響コスト、発音コスト、n-gramコストを効率的に統合します。
• HMMの状態進行は、有限メモリのストリーミングをサポートします。

対応するコストは複雑性です。学習にはアラインメント、文脈依存音素状態、複数の最適化段階、デコーダーグラフの構築が必要です。新しい言語には言語資源が必要であり、別々に最適化されたコンポーネントから構成されたパイプラインでは、インターフェースの誤差が蓄積する可能性があります。

Kaldiは、このアーキテクチャを代表するオープンツールキットです。カスタム文法、強制アラインメント、レガシーモデル、明示的なデコーダーに関する研究では、依然としてKaldiが有用です。ただし、汎用認識器をゼロから構築する場合、事前学習済みエンドツーエンドモデルを適応するよりも多くの作業が必要です。

ニューラル音響モデルとエンドツーエンド目的関数 #

DNN-HMMハイブリッド #

DNN-HMM認識器は、HMMの時間構造とWFSTデコードを維持しながら、GMMスコアをHMM状態に対するニューラルネットワーク予測で置き換えます。Hintonと共同研究者は、深層ネットワークが局所的なガウス密度の混合よりも、相関した音響特徴と話者変動を効果的にモデル化できるため、大幅な改善が得られることを示しました。

ハイブリッドシステムは実用的な移行経路を提供しました。既存の辞書と言語モデルを引き続き利用しながら、音響品質を改善できたためです。ただし、フレームアラインメントとモジュール型の学習スタックは引き続き必要でした。

Connectionist Temporal Classification #

CTCはブランクラベルを追加し、ターゲットトランスクリプトに折りたたまれるすべての単調アラインメントを合算します。そのため、学習には音声とテキストのペアが必要ですが、各文字またはサブワードの正確な時刻は必要ありません。

単調な定式化から、次の利点が得られます。

• エンコーダーフレームを並列に計算できます。
• 貪欲デコードのコストが低くなります。
• 因果的またはチャンク化されたエンコーダーでストリーミングできます。
• フレームからトークンへのパスがタイムスタンプをサポートします。
• 大規模システムの補助アラインメント損失として有効です。

CTCは、エンコーダー表現が与えられた場合に出力ラベルが条件付き独立であると仮定します。音響エンコーダー単体では豊かな出力依存関係をモデル化できないため、外部言語モデル、プレフィックスビームサーチ、または第2パスデコーダーが追加されることがあります。

Attentionエンコーダー・デコーダー #

Attentionエンコーダー・デコーダーは、音響フレームを潜在系列に写像し、テキストを自己回帰的に生成します。LASが音声向けのアプローチを確立し、後にWhisperが多言語・マルチタスク学習によってTransformer版をスケールさせました。

デコーダーは、新しい各トークンを、直前のトークンと選択されたエンコーダー状態に基づいて生成します。豊かなコンテキストにより、明示的な発音辞書なしに、句読点、スペリング、句レベルの曖昧性解消を改善できます。タスクトークンと言語トークンによって、文字起こし、翻訳、言語識別を選択することもできます。

自己回帰デコードは逐次的であり、制限のないアテンションは将来の音声に依存する可能性があります。そのため、長時間録音にはウィンドウ化、チャンク化、または特殊なアテンションが必要です。強力な出力言語モデルは、音響的な証拠が無音、ノイズ、音楽である場合にも、もっともらしい単語を生成する可能性があります。Whisperのモデルカードは、幻覚的または反復的なテキスト、言語やアクセントによる性能差、堅牢なネイティブ・ダイアライゼーションの欠如について警告しています。

トランスデューサー #

RNN-Tは、過去の出力ラベル上に予測ネットワークを追加し、ストリーミング音響エンコーダーに接続します。ジョイントネットワークは、トークンまたは音声時間を進めるブランクのどちらを出力するかを決定します。アラインメントが単調であるため、音声プレフィックスから認識を進められます。

RNN-Tは、音声インターフェースに適したバランスを提供します。

• トークン履歴により、単純なCTCよりも多くの言語コンテキストを利用できます。
• キャッシュされたエンコーダー状態により、繰り返し計算を抑えられます。
• 発話終了前に部分テキストを返せます。
• 別個の発音辞書が不要です。

学習とデコードはCTCより複雑で、ブランクとトークンのアラインメントによってトークン反復エラーが発生する可能性があります。TDTはトークンの持続時間を予測し、一度に複数フレームをスキップできます。一方、FastEmitはより早い出力を促します。

Transformer、Conformer、キャッシュ型ストリーミング #

Transformerは再帰を自己アテンションに置き換え、学習の並列性と長距離コンテキストを改善しました。\(n\)個の音声位置に対する完全アテンションは、ペアごとのコストが \(O(n^2)\) になるため、制限のないTransformerは長時間録音で高コストになります。

Conformerブロックは、次を組み合わせます。

1. フィードフォワード変換
2. 広いコンテキストのためのマルチヘッド自己アテンション
3. 局所的な音声パターンのための畳み込み

音声には短い音響イベントと、単語や文にまたがる依存関係の両方が含まれるため、この組み合わせは有効です。FastConformerは系列長とアテンションコストを削減し、cache-aware版は以前のチャンクのキー、値、畳み込み状態を保持します。

ストリーミングモデルは、将来コンテキストを先読みウィンドウに制限します。より多くの右コンテキストを使うと、後続音声によって曖昧な音素や句読点を解決できるため認識が改善する可能性がありますが、最終出力は遅くなります。NVIDIAのNemotron 3.5 ASRモデルカードは、80ミリ秒から1.12秒まで設定可能なチャンクによって、このトレードオフを示しています。カードの評価条件では、19の文字起こし対応ロケールにおける報告平均WERは、80ミリ秒の10.38%から1.12秒の8.84%に低下します。これらの数値はレイテンシと品質の曲線を形成するものであり、無関係なシステムに対する普遍的なベンチマークではありません。

自己教師あり学習と基盤モデル #

大規模な書き起こしコーパスは、正確なラベルに人手によるレビューが必要であるため高コストです。自己教師あり学習では、代わりにラベルなし音声から予測ターゲットを構築します。

• wav2vec 2.0は潜在音声スパンをマスクし、正しい量子化表現と妨害表現を対比します。その後、ファインチューニングによってCTC認識器を追加します。
• HuBERTは音響特徴を隠れユニットにクラスタリングし、マスクされたクラスタラベルを予測します。
• WavLMはデノイジングと重複音声の目的関数を追加し、ASR、話者検証、音声分離、ダイアライゼーションに有用な表現を生成します。
• XLS-Rは、128言語・436,000時間へ多言語事前学習をスケールさせます。

自己教師あり学習によって適応に必要なラベル付き音声量は減りますが、事前学習済みエンコーダーだけでは完全な文字起こし製品になりません。トークン化、デコード、ファインチューニング、エンドポイント検出、テキスト正規化、言語別評価は依然として必要です。

弱教師あり学習は異なる経路を取ります。Whisperは、インターネット由来のトランスクリプトとペアになった大量の音声で直接学習し、スケールと多様性と引き換えにノイズの多いラベルを受け入れます。ドメイン横断の堅牢性は向上しましたが、ラベルノイズと自己回帰生成は、認識しやすい失敗モードを生み出しました。

多言語スケールも拡大しました。

• MMSはwav2vec系エンコーダーで言語アダプターを使用し、1,100以上の言語のASRチェックポイントを掲載しています。
• SeamlessM4Tは、ASRを音声からテキスト、テキストからテキスト、テキストから音声、音声から音声への翻訳と統合します。
• Qwen2-Audioなどの音声言語モデルは、文字起こしとオーディオ理解のために、音声とテキストの指示を受け取ります。
• Canary-Qwenは、FastConformer音声エンコーダーを言語モデルに接続し、1つのモデルファミリーで認識とトランスクリプト後処理を可能にします。

公称の言語数は品質を保証しません。学習時間、文字体系、アクセント、ドメインの網羅性、トークン化は言語ごとに異なります。MMSはCC BY-NC 4.0の重みを使用する一方、Whisperのコードと重みはMITライセンスです。したがって、デプロイの判断では、リポジトリのコードライセンスとは別にモデルライセンスを確認する必要があります。

品質、速度、レイテンシの測定 #

認識品質 #

単語誤り率（WER）は次のとおりです。

ここで、\(S\)、\(D\)、\(I\)はそれぞれ置換、削除、挿入、\(N\)は参照単語数です。単語分割が明示的でない場合、または文字単位の正確性が重要な場合は、文字誤り率（CER）のほうが有益です。

WERの比較が有効なのは、評価条件が一致する場合だけです。テキスト正規化によって、2026、「twenty twenty-six」、「twenty twenty six」が同一とみなされるかどうかが決まります。句読点、大文字小文字、データセットのドメイン、言語、デコード方法、VAD、話者の重複も結果を変えます。

追加のメトリクスは、異なる要件を対象にします。

• 話者ダイアライゼーション誤り率（DER）は、話者の分割と割り当てを測定します。
• 初回トークンまでの時間は、初期応答性を測定します。
• 安定部分レイテンシは、表示された単語の変更が止まる時点を測定します。
• エンドポイント遅延は、発話者が話し終えてから待つ時間を測定します。
• 最終レイテンシには、後処理と転送が含まれます。
• リアルタイム係数とRTFxは、オフライン処理速度を測定します。
• 同時ストリーム数は、レイテンシ目標下でのサービス能力を測定します。

処理時間 \(T_p\) と音声長 \(T_a\) に対して、

RTFxが20の場合、測定された構成の下で、1つのワーカーが1秒あたり20秒の音声を処理することを意味します。RTFxは、バッチ処理によってスループットが向上しても個々の結果を遅延させる可能性があるため、初回トークンレイテンシを示しません。

報告された速度・品質の例 #

ベンチマーク表には、ハードウェア、精度、バッチサイズ、音声長、モデルリビジョン、言語、VAD、デコードパラメータ、パイプライン範囲を必ず記録してください。これらの項目を省略すると、測定値は曖昧な主張になります。

オフライン設計とストリーミング設計 #

オフライン文字起こし #

オフラインシステムは将来の音声を参照し、録音をバッチ処理し、双方向エンコーダーを使用し、ビームサーチや第2パス言語モデルまたはアラインメントを適用できます。アーカイブ、字幕、法務レビュー、メディアインデックスでは、即時の部分結果よりスループットと最終精度が重要です。

バッチ処理は、多数のエンコーダーウィンドウをまとめて実行するため、アクセラレーターの利用効率を改善します。量子化はメモリ帯域幅を削減し、CPUまたはGPUのスループットを改善できます。VADは長い無音領域のエンコードを避けます。ただし、バッチ指向のサービスは大量のメモリを消費し、短いファイルを長いジョブの後ろで待たせる可能性があります。そのため、スケジューラーには長さを考慮したキューと、上限付きのバッチが必要です。

ストリーミング文字起こし #

ストリーミングシステムは、固定または適応型のチャンクを処理し、呼び出し間で状態を保持します。完全なライブ経路は次のようになります。

capture -> resample -> VAD -> encoder cache -> decoder -> partial text
        -> endpointing -> finalization -> application response

システムが管理すべき対象はモデル推論だけではありません。

• 音声は固定された実時間レートで到着するため、入力バッファにはバックプレッシャーが必要です。
• 部分仮説には安定性ルールが必要です。更新が字幕や下流エージェントを混乱させるためです。
• 再接続には明示的な状態復旧が必要です。
• 長時間セッションではキャッシュを有限に保つ必要があります。
• エンドポイント検出では、間とターン終了を区別する必要があります。

Whisperは、重複するウィンドウを繰り返し文字起こしし、安定したプレフィックスを確定することでストリーミングに適応できます。WhisperStreamingは、実証された構成で約3.3秒のレイテンシを報告しています。これはネイティブ・ストリーミング・トランスデューサーのチャンクレイテンシを大きく上回ります。再処理によって計算量も増加します。そのため、1秒未満の対話が主要要件である場合、ネイティブRNN-T、TDT、またはcache-aware Conformerモデルのほうが適切な出発点です。

オープンソースのソフトウェアとモデル #

オープンソースは、完全な認識器、最適化ランタイム、研究フレームワーク、パイプラインコンポーネントにまたがります。リポジトリのライセンスが、すべてのダウンロード可能なチェックポイントを自動的に対象とするわけではありません。

実用的なオープンソース構成 #

要件ごとに適した構成は異なります。

1. プライベートなデスクトップ文字起こし: whisper.cppはネイティブなローカルランタイムを提供し、faster-whisperはPythonアプリケーションとアクセラレーターのスループットに適しています。
2. 会議とインタビュー: WhisperXは、文字起こし、VAD、強制アラインメント、pyannoteダイアライゼーションを組み合わせます。すべてのコンポーネントを、重複発話とマイク条件について評価する必要があります。
3. 組み込みコマンド: Voskまたは小型のsherpa-onnxモデルは、有限メモリのストリーミングを提供できます。固定されたコマンド集合では、制約付き文法が汎用基盤モデルを上回る可能性があります。
4. 多言語アーカイブ: Whisperは広範な汎用カバレッジを提供し、MMSはロングテール言語を対象とし、Seamlessは翻訳を追加します。ライセンスと各言語の評価によって実現可能性が決まります。
5. 高スループットGPUサービス: NeMoモデル、faster-whisper、またはFunASRは、バッチ処理と最適化された推論パスを提供します。
6. 音声研究と適応: ESPnet、SpeechBrain、Kaldi、WeNet、NeMoは、固定された推論APIだけでなく学習レシピを提供します。

最先端の方向性 #

制御可能なレイテンシのストリーミング #

cache-awareモデルは、学習時に固定するのではなく、レイテンシと品質の動作点を公開するようになりました。Nemotron 3.5 ASRは80ミリ秒から1.12秒までのチャンクサイズを選択でき、Moonshine v2はエッジデバイス向けにスライディングウィンドウアテンションとストリーミングキャッシュを使用します。動的システムは、デバイス負荷、ネットワーク条件、会話状態に応じてモードを選択できます。

モデル統合型ターン検出も別の方向性です。Deepgram Fluxは、文字起こしとターン終了予測を結合し、早期応答とターンの早期完了の間を調整するしきい値を公開します。統合されたエンドポイント検出は語彙・音響コンテキストを利用できますが、独立したVADは検査と置換が容易です。

プロンプト可能でコンテキストを利用する認識 #

音声APIは、キーワード、フレーズリスト、スペリングコンテキスト、自然言語プロンプトを受け取るようになっています。デコーダーがアプリケーションコンテキストを受け取るため、プロンプトによって稀な名前やドメイン用語を改善できます。音声コンテンツを介したプロンプトインジェクション、供給された用語への過度なバイアス、予測不能な正規化には、プロンプトが下流の自動化を制御する前にテストが必要です。

AssemblyAIのUniversal-3 Proは、ドメイン語彙、非流暢性、オーディオタグ、話者役割、コードスイッチング向けのプロンプトを説明しています。Google Chirp 3、Azure Speech、Deepgram Nova-3、現行のOpenAI文字起こしAPIは、それぞれ異なる形式の適応またはコンテキストを公開しています。インターフェースと言語サポートはオープンモデルのアーキテクチャより速く変化するため、アプリケーションコードではプロバイダー固有のオプションを分離する必要があります。

音声エンコーダーと言語モデルの結合 #

Canary-QwenとQwen2-Audioは、より広いパターンを示しています。音声エンコーダーが音声を言語モデルで消費可能な表現に変換します。1つのシステムで、音声の文字起こし、正規化、要約、翻訳、音声に関する質問への回答が可能になります。

統合モデルはパイプライン間の受け渡しを減らし、広範なテキスト知識を利用できます。一方、指示に従うデコーダーが逐語的に保持するのではなく言い換えや推論を行う可能性があるため、文字どおり性を保証することが難しくなります。規制対象のトランスクリプト、字幕、証拠処理では、音声、元のトランスクリプト、タイムスタンプ、モデルリビジョン、変換履歴を保持する必要があります。

全二重音声インタラクション #

音声エージェントは、ASR、言語モデル、テキスト読み上げという直列パイプラインから、同時に聞き取りと発話を行うモデルへ移行しています。全二重インタラクションは割り込みや相づちをより自然に処理できますが、文字起こしは唯一のインターフェースではなく、内部信号の1つになります。評価には、WERに加えて、割り込み処理、ターンテイキング、意味的レイテンシ、言いよどみからの復旧を追加する必要があります。

マネージドサービス #

マネージドAPIは、モデルサービングの作業を削減し、ダイアライゼーション、編集・マスキング、フレーズ適応、リージョンデプロイを提供できます。

• OpenAI文字起こしは、Whisperと新しい文字起こしまたはダイアライゼーションモデルを含みます。ストリーミングとレスポンス形式はモデルによって異なります。
• Google Cloud Chirp 3は、バッチ、同期、ストリーミング認識をサポートし、言語に依存する適応機能とダイアライゼーション機能を備えています。
• Azure Speech to Textは、リアルタイム、高速同期、バッチ、LLMベースの文字起こし経路を提供します。
• Deepgramは、汎用のNovaモデルと、会話型ストリーミングおよびエンドポイント検出向けのFluxを分けています。
• AssemblyAI Universal-3 Proは、プロンプト可能な文字起こしとコードスイッチングを重視しています。

クラウドの選定には、保持ポリシー、学習データポリシー、暗号化、リージョンの可用性、モデルバージョンの固定、障害時の挙動、長時間またはマルチチャネル録音を送信するコストを含める必要があります。ローカルVADは帯域幅を削減できますが、積極的なフィルタリングによって小さな音声が完全に破棄される可能性があります。

アーキテクチャの選択 #

防御可能な評価プロセスは次のとおりです。

1. 対象マイク、アクセント、言語、ノイズ、重複発話、間、ドメイン用語を含む代表的な音声を収集します。
2. 1つの集約WERではなく、品質スライスを定義します。名前、数字、コマンド、低リソース言語では、失敗コストが異なる可能性があります。
3. デプロイ対象ハードウェアで、エンドツーエンドレイテンシ、メモリ、電力、同時実行数、コストを測定します。
4. 無音、音楽、途切れた発話、コードスイッチング、プロンプトバイアスの失敗モードをテストします。
5. ダイアライゼーションとタイムスタンプを、テキスト精度とは独立して評価します。
6. 正確なモデルリビジョン、正規化規則、ライセンス、プロバイダーのデータポリシーを記録します。

ASRの進歩によって、エンジニアリング上の課題は、すべての音響コンポーネントを構築することから、事前学習済みシステムを選択して適応することへ移りました。中心的な制約は消えていません。より多くのコンテキストと大規模なモデルは認識を改善できますが、低レイテンシ、プライバシー、言語の広さ、予測可能な出力、デプロイコストは、システムを異なる動作点へ引き寄せます。したがって、アーキテクチャの選択は、単一のリーダーボードスコアではなく、測定されたアプリケーション要件に基づくべきです。