詞嵌入與 A La Carte 嵌入

詞嵌入將詞映射為向量，使模型能以數值方式處理語言。實用的嵌入會讓出現在相似語境中的詞彼此接近：例如，貓與狗的向量通常應比貓與資料庫的向量更相似。相似度一般使用餘弦相似度衡量。

分布式嵌入的運作方式 #

分布假說是許多嵌入背後的實務觀念：出現在相似語境中的詞，往往具有相關的意義。Word2Vec、GloVe 與 fastText 等演算法，藉由預測鄰近詞或分解詞彙—語境統計資料，從大型文字集合中學習向量表示。

嵌入並非字典定義。其幾何結構會反映訓練資料中的模式，包括歧義與偏誤。除非模型能感知語境，否則 bank 的向量可能混合金融機構與河岸兩種意義。

靜態模型會為每個詞彙項目指派一個向量。這類模型精簡且適用於簡單任務，但無法根據詞語所在的句子區分詞義。

語境式語言模型會為每次出現的詞元產生一個表示。在 Transformer 中，bank 的表示會隨輸入的其餘部分而改變。因此，語境式嵌入更適合許多現代語言任務，但需要較高的計算成本。

A La Carte Embeddings 是一種根據新詞或片語出現的語境推導其向量的方法。當預先訓練的靜態嵌入詞彙表不包含領域專屬術語、命名實體或新創詞彙時，這種方法特別實用。

該方法以預先訓練的嵌入空間為起點，並學習從語境向量到目標詞向量的線性轉換。若要嵌入未見過的詞語，先收集其周圍詞彙，計算這些詞彙已知嵌入的平均值，再套用學得的轉換。相較於直接使用原始語境平均值，這種方式通常更可靠，因為轉換會修正語境表示與詞表示之間的系統性差異。

應使用新詞出現之領域的語料庫，適當時從語境中排除該詞本身，並收集足夠且多樣的範例以降低雜訊。A La Carte Embeddings 能以符合成本效益的方式擴充靜態模型，但無法憑空創造語料庫中不存在的證據，也無法消解每一種歧義用法。