中央研究院
搜尋
Close this search box.
訂閱電子報

lun-wei-ku-05

Transformer的自注意力機制示意圖，可以看到LLM如何理解上面和下面的「it」，顏色越深代表注意力權重越重。上面的「it」會疲累，代表動物；下面的「it」很寬，代表街道，LLM 根據上下文關係正確分配了注意力權重。要注意，實際上 LLM會根據機率來理解Token之間的對應關係，所以不一定會呈現這麼整齊的單詞對應關係。 圖｜研之有物

中央研究院
研之有物

© COPYRIGHT 2017-2024   中央研究院研之有物   research.sinica.edu.tw   

訂閱電子報

立即訂閱研之有物電子報，一起探索這世界