自動語音辨識：從隱馬可夫模型到語音基礎模型

自動語音辨識（ASR）會將語音波形轉換成文字。生產環境中的轉錄系統還必須判斷語音何時開始與結束、識別語言、加入時間戳記、分離說話者、還原標點符號、適應領域詞彙，並在延遲與運算預算內交付結果。

沒有任何模型能在所有運作點上占優。離線編碼器-解碼器可以使用整段錄音作為上下文，並透過批次處理最大化吞吐量；串流轉導器則能在每個短音訊區塊後輸出部分文字。多語言基礎模型無需針對特定任務訓練即可處理陌生內容，而精簡的語言專用模型在其目標領域中可能更快且更準確。

因此，這個領域的歷史是一連串不斷變化的抽象層：

轉錄系統的範圍 #

ASR只是更大音訊管線中的一個階段：

• **語音活動偵測（VAD）**會找出包含語音的區域，避免靜音消耗模型時間。
• 端點偵測會判斷即時語句何時完成。積極的端點偵測可以提升回應性，但說話者在停頓後繼續說話時，可能會提前截斷其發言。
• **逆向文字正規化（ITN）**會根據地區設定與應用程式規則，將 “twenty twenty-six” 等形式轉換為 2026。
• 強制對齊會將已知轉錄文字映射回音訊中的時間區間。
• 說話者分離會判斷誰在何時說話。說話者識別則進一步將匿名的說話者叢集映射到已註冊的身分。
• 語音翻譯同時改變語言與模態，而音訊語言模型可以回答關於非語音事件的問題。兩者都不等同於字面上的轉錄。

管線邊界很重要，因為較低的字詞錯誤率並不代表說話者標籤或時間戳記準確。重疊語音也可能需要先進行語音分離，辨識或說話者分離才能可靠運作。

歷史時間線 #

這些日期表示具影響力的論文與發布，而不是嚴格的時代邊界。混合HMM系統仍在部署，CTC對對齊與高效解碼仍然重要，而目前的系統通常會結合多個世代的技術思想。

模組化統計辨識器 #

經典辨識器會搜尋最能解釋聲學觀測 \(X\) 的詞序列 \(W\)：

聲學模型評估候選詞序列對應訊號的可能性，語言模型則評估詞序列本身。發音詞典將詞映射到音素，HMM表示音素狀態的進程，解碼器搜尋組合後的圖。高斯混合模型（GMM）在歷史上用於評估梅爾頻率倒頻譜係數等聲學特徵影格。

此設計具有重要優點：

• 詞典可以在不重新訓練每個元件的情況下加入姓名或技術術語；
• 文法限制可以使命令辨識具備確定性；
• WFST解碼能有效整合聲學、發音與n-gram成本；以及
• HMM狀態進程支援有界記憶體的串流處理。

相應的代價是複雜度。訓練需要對齊、上下文相關音素狀態、多個最佳化階段，以及解碼圖建構。新語言需要語言學資源，而由分別最佳化的元件組成的管線可能累積介面錯誤。

Kaldi仍是這種架構的代表性開源工具包。自訂文法、強制對齊、舊版模型，以及對顯式解碼器的研究，仍然使Kaldi具備價值；然而，從零開始建立通用辨識器，比調整預訓練端對端模型需要更多工作。

神經聲學模型與端對端目標 #

DNN-HMM混合模型 #

DNN-HMM辨識器保留HMM時間結構與WFST解碼，但以神經網路對HMM狀態的預測取代GMM分數。Hinton與合作者記錄了顯著的提升，因為深度網路比局部高斯密度混合模型更有效地建模相關聲學特徵與說話者變異。

混合系統提供了實用的遷移路徑：既有的詞典與語言模型仍然有用，同時聲學品質獲得改善。然而，影格對齊與模組化訓練堆疊仍是必要的。

Connectionist Temporal Classification #

CTC加入空白標籤，並對所有能折疊為目標轉錄的單調對齊路徑求和。因此，訓練需要配對的音訊與文字，但不需要每個字元或子詞的精確時間。

單調形式帶來以下優點：

• 編碼器影格可以平行計算；
• 貪婪解碼成本低；
• 因果或分塊編碼器可以進行串流處理；
• 影格到權杖的路徑支援時間戳記；以及
• CTC適合作為大型系統中的輔助對齊損失。

CTC假設在給定編碼器表示的條件下，輸出標籤彼此條件獨立。通常會加入外部語言模型、前綴束搜尋或第二遍解碼器，因為僅靠聲學編碼器無法建模豐富的輸出依賴關係。

注意力編碼器-解碼器 #

注意力編碼器-解碼器會將聲學影格映射到潛在序列，並自回歸地產生文字。LAS為語音建立了此方法，Whisper之後透過多語言與多任務訓練擴展了Transformer版本。

解碼器會根據前一個權杖與選定的編碼器狀態，產生每個新權杖。豐富的上下文可以在不使用顯式發音詞典的情況下改善標點、拼寫和片語層級的消歧。任務權杖與語言權杖也可以選擇轉錄、翻譯或語言識別。

自回歸解碼是循序進行的，而不受限制的注意力可能依賴未來音訊。因此，長時間錄音需要視窗化、分塊或特殊化注意力。強大的輸出語言模型也可能在聲學證據是靜音、噪音或音樂時產生看似合理的詞語。Whisper的模型卡警告了幻覺與重複文字、不同語言和口音之間的不均衡表現，以及缺乏穩健的原生說話者分離。

轉導器 #

RNN-T在先前輸出標籤上加入預測網路，並連接至串流聲學編碼器。聯合網路會決定輸出權杖，或輸出推進音訊時間的空白。由於對齊保持單調，辨識可以從音訊前綴開始。

RNN-T為語音介面提供良好平衡：

• 權杖歷史提供比純CTC更豐富的語言上下文；
• 快取的編碼器狀態限制重複工作；
• 語句結束前即可提供部分文字；以及
• 不需要獨立的發音詞典。

訓練與解碼比CTC複雜，空白/權杖對齊可能產生權杖重複錯誤。TDT預測權杖持續時間，使解碼器可以一次跳過數個影格；FastEmit則鼓勵更早輸出。

Transformer、Conformer與快取式串流 #

Transformer以自注意力取代遞迴，改善了訓練平行性與長距離上下文。對 \(n\) 個音訊位置執行完整注意力時，成對成本為 \(O(n^2)\)，因此不受限制的Transformer在長時間錄音上成本很高。

Conformer區塊結合：

1. 前饋轉換；
2. 用於廣泛上下文的多頭自注意力；以及
3. 用於區域語音模式的卷積。

這種組合之所以有效，是因為語音同時包含短暫的聲學事件，以及跨越詞語或句子的依賴關係。FastConformer減少序列長度與注意力成本，而快取感知變體則保留先前區塊的鍵、值與卷積狀態。

串流模型將未來上下文限制在前瞻視窗中。更多右側上下文可以透過後續音訊解決模糊音素與標點問題，進而改善辨識，但最終輸出會更晚到達。NVIDIA的Nemotron 3.5 ASR模型卡以80毫秒到1.12秒的可設定區塊展示了這種權衡。在該模型卡的評估條件下，19個可用於轉錄的地區設定，其報告平均WER從80毫秒時的10.38%下降到1.12秒時的8.84%。這些數值形成延遲-品質曲線，而非針對無關系統的通用基準。

自我監督與基礎模型 #

大型轉錄語料庫成本很高，因為準確標籤需要人工審查。自我監督學習則從無標籤音訊建立預測目標。

• wav2vec 2.0遮罩潛在語音區段，並將正確的量化表示與干擾項進行對比。接著透過微調加入CTC辨識器。
• HuBERT將聲學特徵分群為隱藏單元，並預測被遮罩的分群標籤。
• WavLM加入去噪與重疊語音目標，產生適用於ASR、說話者驗證、語音分離和說話者分離的表示。
• XLS-R將跨語言預訓練擴展到128種語言、436,000小時。

自我監督學習減少了適應所需的標註語音量，但預訓練編碼器並不是完整的轉錄產品。權杖化、解碼、微調、端點偵測、文字正規化和語言專屬評估仍然必要。

弱監督採取不同的路徑。Whisper直接使用大量與網際網路衍生轉錄配對的音訊進行訓練，以雜訊標籤換取規模與多樣性。跨領域穩健性有所提升，但標籤雜訊與自回歸生成也引入了可辨識的失敗模式。

多語言規模也擴展了：

• MMS使用具有語言配接器的wav2vec風格編碼器，並列出超過1,100種語言的ASR檢查點。
• SeamlessM4T將ASR與語音到文字、文字到文字、文字到語音以及語音到語音翻譯整合。
• Qwen2-Audio等語音語言模型接受音訊加文字指令，用於轉錄和音訊理解。
• Canary-Qwen將FastConformer語音編碼器連接到語言模型，使同一模型系列能夠進行辨識與轉錄後處理。

名義上的語言數量並不能保證品質。訓練時數、文字系統、口音、領域涵蓋範圍和權杖化方式會因語言而異。MMS使用CC BY-NC 4.0權重，而Whisper的程式碼與權重採用MIT授權。因此，部署決策必須將模型授權與儲存庫程式碼授權分開檢查。

測量品質、速度與延遲 #

辨識品質 #

字詞錯誤率（WER）為：

其中 \(S\)、\(D\) 和 \(I\) 分別是替換、刪除和插入，\(N\) 是參考文字中的字詞數量。當字詞分割不明確，或字元層級正確性很重要時，字元錯誤率（CER）更具參考價值。

只有在評估條件一致時，WER比較才有效。文字正規化會決定 2026、twenty twenty-six 和 twenty twenty six 是否視為等價。標點符號、大小寫、資料集領域、語言、解碼方法、VAD和說話者重疊也會改變結果。

其他指標涵蓋不同需求：

• 說話者分離錯誤率（DER）衡量說話者分段與指派；
• 首個權杖時間衡量初始回應性；
• 穩定部分延遲衡量顯示的詞語停止變動的時間；
• 端點延遲衡量說話者結束後的等待時間；
• 最終延遲包括後處理與傳輸；
• 即時因子和RTFx衡量離線處理速率；以及
• 並行串流數量衡量延遲目標下的服務容量。

對於處理時間 \(T_p\) 與音訊長度 \(T_a\)：

RTFx為20表示，在測量的設定下，一個工作者每秒可處理20秒音訊。RTFx不會顯示首個權杖延遲，因為批次處理可以提升吞吐量，同時延遲每個個別結果。

已發布的速度-品質範例 #

基準測試表應始終記錄硬體、精度、批次大小、音訊長度、模型修訂版本、語言、VAD、解碼參數和管線範圍。省略這些欄位會使測量結果變成含義模糊的主張。

離線與串流設計 #

離線轉錄 #

離線系統可以檢視未來音訊、批次處理錄音、使用雙向編碼器、執行束搜尋，並套用第二遍語言模型或對齊。封存、字幕、法律審查和媒體索引更受益於吞吐量和最終準確率，而非即時部分結果。

批次處理可以同時執行多個編碼器視窗，從而提高加速器利用率。量化會降低記憶體頻寬，也可能提高CPU或GPU吞吐量。VAD避免對長時間靜音區域進行編碼。然而，面向批次的服務可能消耗大量記憶體，並使短檔案排在長工作之後，因此排程器需要考慮長度的佇列和有界批次。

串流轉錄 #

串流系統處理固定或自適應區塊，並在呼叫之間保留狀態。完整的即時路徑包括：

capture -> resample -> VAD -> encoder cache -> decoder -> partial text
        -> endpointing -> finalization -> application response

系統必須管理的不只是模型推論：

• 音訊以固定的實際時間速率到達，因此輸入緩衝區需要背壓；
• 部分假設需要穩定性規則，因為修訂會干擾字幕和下游代理；
• 重新連線需要明確的狀態復原；
• 長時間工作階段需要有界快取；以及
• 端點偵測必須區分停頓和回合結束。

Whisper可以透過反覆轉錄重疊視窗並確認穩定前綴，來適應串流。WhisperStreaming報告其示範設定的延遲約為3.3秒，遠高於原生串流轉導器的區塊延遲。重新處理也會增加運算量。因此，當亞秒級互動是主要需求時，原生RNN-T、TDT或快取感知Conformer模型是更好的起點。

開源軟體與模型 #

開源範圍涵蓋完整辨識器、最佳化執行時期、研究框架和管線元件。儲存庫授權不會自動涵蓋每個可下載的檢查點。

實用的開源組合 #

不同需求代表不同的組合：

1. 私有桌面轉錄：whisper.cpp提供原生本地執行時期，而faster-whisper更適合Python應用程式與加速器吞吐量。
2. **會議與訪談：**WhisperX結合轉錄、VAD、強制對齊和pyannote說話者分離。每個元件都必須在重疊語音和麥克風條件下進行評估。
3. **嵌入式命令：**Vosk或小型sherpa-onnx模型可以提供有界記憶體的串流；對固定命令集合而言，受限文法可能勝過通用基礎模型。
4. **多語言封存：**Whisper提供廣泛的通用覆蓋，MMS針對長尾語言，而Seamless加入翻譯。授權和逐語言評估決定可行性。
5. **高吞吐量GPU服務：**NeMo模型、faster-whisper或FunASR提供批次處理與最佳化推論路徑。
6. **語音研究與適應：**ESPnet、SpeechBrain、Kaldi、WeNet和NeMo提供訓練配方，而不只是固定的推論API。

前沿方向 #

可控制延遲的串流 #

快取感知模型現在可以公開延遲-品質運作點，而不是在訓練時固定它。Nemotron 3.5 ASR可以選擇80毫秒到1.12秒的區塊大小，Moonshine v2則使用滑動視窗注意力和串流快取支援邊緣裝置。動態系統可以根據裝置負載、網路條件或對話狀態選擇模式。

模型整合的回合偵測是另一個方向。Deepgram Flux將轉錄與回合結束預測結合，並提供在提前回應與過早完成回合之間進行權衡的閾值。整合式端點偵測可以使用詞彙與聲學上下文，而獨立VAD則更容易檢查和替換。

可提示與具備上下文感知的辨識 #

語音API越來越常接受關鍵詞、片語清單、拼寫上下文或自然語言提示。提示可以改善罕見姓名與領域術語，因為解碼器會接收應用程式上下文。在提示控制下游自動化之前，必須測試透過語音內容進行的提示注入、對所提供術語的過度偏置，以及不可預測的正規化。

AssemblyAI的Universal-3 Pro描述了用於領域詞彙、語言不流暢、音訊標籤、說話者角色和語碼轉換的提示。Google Chirp 3、Azure Speech、Deepgram Nova-3以及目前的OpenAI轉錄API提供不同形式的適應或上下文。介面與語言支援的變化速度比開放模型架構更快，因此應用程式程式碼應隔離供應商特定選項。

將語音編碼器連接至語言模型 #

Canary-Qwen和Qwen2-Audio代表更廣泛的模式：語音編碼器將音訊映射成語言模型可以消費的表示。單一系統因此可以轉錄、正規化、摘要、翻譯音訊，或回答關於音訊的問題。

統一模型減少管線交接，並可以利用廣泛的文字知識。但由於遵循指令的解碼器可能改述或推論，而不是保留每個說出的詞語，因此更難保證字面保真度。受規範管制的轉錄、字幕和證據處理應保留音訊、原始轉錄、時間戳記、模型修訂版本和轉換歷史。

全雙工語音互動 #

語音代理正從串列管線——ASR、語言模型，再到文字轉語音——轉向能夠同時聆聽與說話的模型。全雙工互動可以更自然地處理打斷與回應，但轉錄會成為一個內部訊號，而不是唯一介面。評估除了WER之外，還必須加入打斷處理、輪流發言、語意延遲，以及從錯誤開頭中復原的能力。

託管服務 #

託管API減少模型服務工作，並可以提供說話者分離、編輯、片語適應和區域部署：

• OpenAI轉錄包含Whisper以及較新的轉錄或說話者分離模型；串流與回應格式依模型而定。
• Google Cloud Chirp 3支援批次、同步和串流辨識，並提供依語言而定的適應與說話者分離功能。
• Azure Speech to Text提供即時、快速同步、批次與基於LLM的轉錄路徑。
• Deepgram將通用Nova模型與用於對話式串流及端點偵測的Flux分開。
• AssemblyAI Universal-3 Pro強調可提示的轉錄與語碼轉換。

雲端選擇必須納入資料保留政策、訓練資料政策、加密、區域可用性、模型版本固定、服務中斷行為，以及傳送長時間靜音或多聲道錄音的成本。本地VAD可以降低頻寬，但過度積極的過濾可能永久丟棄低聲量語音。

選擇架構 #

可辯護的評估流程如下：

1. 收集包含目標麥克風、口音、語言、噪音、重疊語音、停頓和領域術語的代表性音訊。
2. 定義品質切片，而不是只使用一個彙總WER。姓名、數字、命令和低資源語言可能具有不同的失敗成本。
3. 在部署硬體上測量端對端延遲、記憶體、功耗、並行數量和成本。
4. 測試靜音、音樂、截斷語句、語碼轉換和提示偏置的失敗模式。
5. 將說話者分離和時間戳記獨立於文字準確率進行評估。
6. 記錄確切的模型修訂版本、正規化規則、授權與供應商資料政策。

ASR的進展已將工程問題從建構每一個聲學元件轉向選擇和適應預訓練系統。核心限制並未消失：更多上下文與更大型模型可以改善辨識，而低延遲、隱私、語言廣度、可預測輸出和部署成本會將系統推向不同的運作點。因此，架構選擇應遵循經測量的應用程式需求，而不是單一排行榜分數。