OpenAI的網站可以親自測試一段話如何被拆解成 Token,我們可以清楚看到圖上關於 LLM的文字簡介,已經被機器細部拆解,每個Token也都賦予了特定ID標記。 圖|OpenAI