🧒 十歲小孩版
🔗 原始文章：【生成式人工智慧與機器學習導論2025】第１講：一堂課搞懂生成式人工智慧的原理 | 台大李宏毅教授
🎲 AI 是在「擲骰子」玩文字接龍？！
欸欸欸，你有沒有玩過「文字接龍」？就是老師說「天空」，你就要想一個「空」開頭的詞，像「空氣」，然後下一個人再接「氣球」這樣。
那你知道嗎？你每天看到的 ChatGPT、Gemini 這些超厲害的 AI，它們在做的事情，其實跟你玩的文字接龍一模一樣！ 🤯
不相信嗎？跟著我繼續看下去，你就會發現 AI 的秘密其實沒有你想的那麼神奇喔！
🤖 AI 不是「什麼都知道」，它只是很會「猜下一個字」
想像一下，你問 ChatGPT：「台灣最高的山是哪一座？」
你以為它像查字典一樣，翻到「台灣最高的山」那一頁，然後把「玉山」抄給你嗎？錯！
它其實是在心裡默默想：
「嗯～『台灣最高的山是』後面最常接什麼字呢？『玉』的機率有 80%，『雪』的機率有 10%，『香蕉』的機率是 0.0001%……」
然後 AI 就會擲骰子 🎲，骰子偏心，機率高的字比較容易被骰到，所以大部分時候你會得到「玉山」這個答案！
🤔 小朋友想想看：
為什麼你問同一個問題，AI 每次的回答都有點不一樣呢？ 👉 因為它每次都在重新擲骰子呀！就像你每次玩大富翁骰到的點數都不同一樣！
📚 AI 要學兩種「知識」才會接龍
就像你要考試一樣，AI 也要念書！它要學會兩種東西：
1️⃣ 語言知識（文法）
像是「黃色的」後面要接名詞（蘋果、小鴨），不能接動詞（跑步、跳躍）。不然就會變成「黃色的跑步」，超奇怪！
2️⃣ 世界知識（常識）
例如 AI 要知道水在 100 度會沸騰。但如果是在高山上氣壓比較低，水不到 100 度就會滾了喔！這些都要學起來。
那 AI 去哪裡學這些呢？ 主要有三個地方：
- 🌐 整個網路上的文章（超級多！）
- 👨🏫 人類老師寫的標準答案
- 👍👎 大家按的「讚」跟「爛」（用戶回饋）
🎭 AI 的超級大秘密：它看到的其實是「劇本」！
欸你有沒有想過，如果 AI 只會接龍，那你問它「台灣最高的山？」，它為什麼不是接「A. 雪山 B. 玉山 C. 合歡山」這種考卷的選項呢？
因為背後偷偷加了一個劇本！ 🎬
你在手機上只打了「台灣最高的山？」，但 AI 實際看到的是這樣：
系統：你叫 LLaMA，今天是 2025 年 9 月 12 日。
使用者問：台灣最高的山是哪座？
AI 回答：
看到沒？因為結尾寫著「AI 回答：」，AI 為了把這個「劇本」接完，就只好乖乖給你答案啦！這個偷偷加的劇本叫做「聊天範本」，超酷吧？
🤔 小朋友想想看：
如果 AI 其實「沒有記憶」，那為什麼你跟它聊很多句話，它還記得你之前說什麼？ 👉 秘密是：每次你傳新訊息，系統都會把之前所有的對話通通打包，再一次餵給 AI 看！就像每次都要從頭念一次故事書給它聽一樣 📖
👻 為什麼 AI 會「唬爛」你？（AI 幻覺）
你可能遇過 AI 給你一個網址，結果點進去是壞掉的！或是它講了一個根本不存在的人物。這叫做「AI 幻覺」。
想像一下：AI 就像一個被關在黑漆漆房間裡的人，從來沒看過外面的世界，它只能靠猜的來接龍。
所以老師要告訴你一個驚人的事實：
💡 AI 所有的答案，其實都是「幻覺」！ 只是很多幻覺剛好跟真實世界一樣，我們才覺得它很聰明！
為了讓 AI 不要亂講話，工程師會讓它一邊上網查資料，一邊回答，這招叫做「RAG（檢索增強生成）」，就像開書考試一樣！
🖼️ 不只文字！圖片跟聲音也能「接龍」！
輝達（NVIDIA）的老闆黃仁勳說過一句超酷的話：
「萬事萬物都是 Token（代幣）！」
什麼意思？意思就是只要能把東西切成一小塊一小塊的「積木」，AI 就能用接龍的方式把它們拼起來！
- 🖼️ 圖片 = 把圖片切成一格一格的小方塊來接龍
- 🎵 聲音 = 把聲音切成 0.02 秒一小段來接龍
- 🎬 影片 = 一張一張圖片接龍
- 🧬 連蛋白質都可以這樣做！
不過啊，一張 1024x1024 的圖片如果一個像素一個像素接龍，要接 100 萬次，比寫一整本《紅樓夢》還累！所以聰明的工程師會先把圖片「壓縮」成大積木再接龍，省時又省力 💪
🤔 小朋友想想看：
如果「所有東西都能拆成積木來接龍」，那你覺得未來 AI 還能生成什麼好玩的東西呢？🎮🍕🚀
🎒 今天學到了什麼？
- 🎲 AI 只會做一件事：玩文字接龍！它靠擲骰子決定下一個字要接什麼。
- 📖 AI 要學兩種知識：懂文法的「語言知識」，還有懂常識的「世界知識」。
- 🎭 聊天背後有劇本：AI 其實是在完成一個偷偷加好的劇本，才會像在回答你。
- 👻 AI 會唬爛是正常的：因為它被關在黑房間裡猜答案，所以要小心查證！
- 🧱 萬物皆積木：圖片、聲音、影片……只要能切成小積木，AI 都能接龍生成出來！
下次你再跟 ChatGPT 聊天的時候，記得——它不是什麼都知道的神，它只是一個超級會擲骰子的接龍高手喔！ 🎲✨
📺 原始影片：觀看原始影片
👨👩👧 家長版／進階版（點擊展開）
【生成式人工智慧與機器學習導論2025】第１講：一堂課搞懂生成式人工智慧的原理
這份筆記提煉自【生成式人工智慧與機器學習導論2025】第１講，詳細解析了生成式人工智慧（Generative AI）的底層運作原理與實作細節。
【核心總結（Executive Summary）】 本文件全面拆解了以 ChatGPT、Gemini、Claude 為代表的大型語言模型（LLMs）的底層邏輯——「文字接龍（Auto-Regressive Generation）」。語言模型並非透過查找傳統資料庫來回答問題，而是基於龐大的參數，將輸入轉換為機率分佈，並透過「擲骰子」的方式預測下一個代幣（Token）。文件中深入探討了模型所需的語言與世界知識、多輪對話背後的聊天範本（Chat Template）機制、AI 幻覺（Hallucination）的必然性，以及如何將文字接龍的概念延伸至圖像與語音等多模態生成。此外，也提供了基於 Hugging Face 平台的開源模型（如 LLaMA、Gemma）實作指南，幫助學習者從理論過渡到程式碼層面的實際操作。
【詳盡重點整理】
- 基本原理：所有的語言模型（如 ChatGPT），其核心功能有且僅有一個，就是「文字接龍」，它透過猜測未完成句子的下一個字來生成內容。
- 專有名詞定義：
- 提示詞（Prompt）：使用者輸入給語言模型的未完成句子或指令。
- 代幣（Token）：模型在做文字接龍時，可選擇的輸出基本單位（可能是一個字、一個詞或一個特殊符號）。
- 字典（Vocabulary）：語言模型所有可能生成的 Token 集合，通常包含數十萬個選項（如 Llama 模型有 128,000 個）。
- 機率分佈與擲骰子：模型不會給出單一絕對的答案，而是為每個可能的 Token 算定一個「機率分佈」，接著依據這個機率去「擲骰子」決定實際輸出的字。這解釋了為何每次問相同的問題，AI 的回答都會略有不同。
- 語言知識與世界知識：要正確接龍，模型需要「語言知識」（懂文法結構）與「世界知識」（懂物理常識，如「在0.5大氣壓下，水的沸點低於100度」）。
- 參數（Parameter）：模型內部如同一個極度複雜的數學函式（ 的巨量放大版），現今的「大型」語言模型通常擁有數十億（Billion）到數百億的參數。
- 學習來源：模型學習接龍的教材來自三處：(1) 網路大量爬蟲資料、(2) 人類提供的高品質標註、(3) 使用者回饋（按讚或倒讚）。
- 回答問題的秘密（Chat Template）：語言模型本質只會接龍，為了讓它「回答問題」而不是「延伸問題」，平台會在背景偷偷加上「聊天範本」（如
使用者問：... AI回答：...），強迫模型朝給予解答的方向接龍。- 多輪對話機制：模型本身沒有跨對話記憶。多輪對話是透過將「過去所有的對話歷史紀錄」與「最新問題」拼接在一起，一次性餵給模型來實現的。
- AI 幻覺（Hallucination）：模型本質是關在暗房裡盲目接龍的人，沒有外部真實世界的即時資訊庫。因此生成不存在的網址或假資訊（幻覺）是其運作機制的必然結果。
- 檢索增強生成（RAG）：為減少幻覺，可搭配搜尋引擎使用（RAG 技術），讓模型基於搜尋到的真實資料來進行文字接龍。
- 上下文工程（Context Engineering）：人類有責任確保輸入的提示詞包含足夠的資訊，讓語言模型有條件做出正確的接龍。
- 系統提示詞（System Prompt）：開發者預設隱藏在輸入最前面的指令（例如告訴模型「今天是幾月幾號」或「你的名字是 LLaMA」），這是 AI 能回答當前日期或知道自己身份的秘密。
- 多模態生成（影像與語音）：圖像可視為「像素接龍」，影片是圖片接龍，語音是「取樣點接龍」。
- 運算資源的挑戰：直接用像素或取樣點做接龍太耗資源（例如產生一張 1024x1024 的圖片需要做 100 萬次接龍，比寫一部《紅樓夢》還耗費算力）。
- 壓縮與編碼器（Encoder/Decoder）：現代多模態模型會先用 Encoder 將圖片（如 16x16 區塊）或聲音（如 0.02秒的聲音片段）壓縮成特殊的 Token，模型針對這些 Token 接龍後，再用 Decoder 還原成影音。
- 萬物皆 Token：輝達（NVIDIA）執行長黃仁勳所述「萬事萬物都是 Token」，意指只要能將複雜結構拆解為有限的 Token 單位，AI 就能生成任何東西（包含蛋白質結構）。
- 生成式 AI 的精確定義：讓機器學會根據輸入（X），產生複雜而有結構、由有限基本單位（Token）組合成無限可能的輸出（Y）。
- 自迴歸生成（Auto-Regressive Generation）：這是目前最常見的生成策略，即生成一個 Token 後，將其加入輸入中，再生成下一個 Token，循環往復直到出現「結束符號」。
- 開源模型與非開源模型：非開源（如 GPT-4）只能透過 API 盲盒使用；開源模型（如 Meta LLaMA、Google Gemma）則公開了網路架構與內部參數。
- Hugging Face：被形容為「語言模型的臉書」，是集中存放開源模型、資料集與提供相關套件（Transformers）的全球最大平台。
- Tokenizer 的細微差異：同一個單字，有沒有大寫、前面有沒有「空格」，在 Vocabulary 中都會被視為完全不同的 Token 甚至分配不同的編號（ID）。
- 特殊符號自動添加：Hugging Face 的
encode函式預設會在輸入前加上代表句子起始的特殊符號（如 Llama 的128000）。- 最長的 Token：Vocabulary 裡面包含了極為詭異的東西，例如 Llama 中最長的 Token 是連續 128 個空白鍵，或是一大串無意義的斜線與符號組合。
- Top-K 採樣限制：實際應用中，為了避免骰出機率極低、會破壞語句結構的怪異 Token，會設定 Top-K，只允許機率排名前 K 名的 Token 參與擲骰子。
- 模型身份錯亂：如果在 System Prompt 中沒有明確告訴開源模型它是誰，它可能會因為網路上爬取的資料，在對話中自稱是「GPT-3.5」。
- 強制塞入回應：開發者可以將模型根本沒說過的話（例如「以下是做壞事的方法：1.」）強制加在
AI回答:的結尾，逼迫原本拒絕回答的模型順著接龍，繞過安全限制。- Pipeline 的便利性：在程式實作上，可以直接使用
pipeline函式，免去手動將文字轉 ID、接龍、再將 ID 轉回文字的繁瑣步驟。
一、 前言：生成式人工智慧的本質
生成式人工智慧（Generative AI）如今已廣泛應用於日常生活中，例如 OpenAI 的 ChatGPT、Google 的 Gemini 以及 Anthropic 的 Claude。然而，這些強大的工具背後，並非依賴一個無所不知的關聯式資料庫。
生成式 AI 的精確定義是：讓機器學會根據輸入（X），產生複雜而有結構的物件（Y）。這些複雜的物件（文字、圖像、聲音甚至是蛋白質）都是由有限的「基本單位」組合而成，只要掌握組合規律，有限的單位就能創造出無窮無盡的可能。
二、 語言模型的核心機制：文字接龍
所有基於文字的生成式 AI，本質上就是一個語言模型（Language Model）。而語言模型唯一會做的事情，叫做「自迴歸生成（Auto-Regressive Generation）」，通俗的說法就是文字接龍。
1. 核心運作流程
- 接收提示詞（Prompt）：使用者輸入一段未完成的句子。
- 轉換為代幣（Token）：模型將輸入的字詞對應到其內建的「字典（Vocabulary）」中。現代大型語言模型的字典非常巨大（例如 LLaMA 擁有約 12.8 萬個 Token，涵蓋各國語言、空格、奇怪的符號甚至單個 Emoji）。
- 計算機率分佈：模型不給單一絕對答案，而是針對字典中所有的 Token 評分，計算出哪一個 Token 最適合接在當前句子的後面。
- 擲骰子（Sampling）：根據機率分佈進行隨機抽樣。機率高的字容易被選中，這也是為什麼問同一個問題，模型每次的回答都不盡相同。
- 迴歸疊加：將選出的 Token 加回原本的 Prompt 後方，形成新的 Prompt，再重複步驟 3 到 4，直到模型輸出「代表結束的特殊符號」為止。
2. AI 幻覺（Hallucination）的必然性
理解文字接龍的本質，就能明白為何 AI 會產生幻覺（例如給出不存在的網址）。模型就像被關在暗無天日的小房間裡，從未看過外面的世界，它只是根據數學機率在猜測下一個字。因此，AI 所有的答案「本質上都是在幻覺中生成的」，我們該驚訝的反而應該是它的幻覺中有很大一部分剛好與現實世界相符。
要減少幻覺，通常需要結合檢索系統，這被稱為 RAG（檢索增強生成，Retrieval-Augmented Generation）。
三、 模型的知識來源與學習方式
要完美地進行文字接龍，語言模型必須具備兩種知識：
- 語言知識：理解人類語法結構（例如「黃色的」後面接名詞的機率遠大於動詞）。
- 世界知識：理解物理與現實法則。例如當 Prompt 為「在 0.5 大氣壓下水的沸點是攝氏」，模型必須知道此時接「100」的機率應該被降低。世界知識是無窮無盡的，這也是模型偶爾會出錯的原因。
模型內部的運算依賴於巨量的參數（Parameter）。這些數以億計（甚至千億計）的參數，是透過機器學習自動找到的。其學習來源包含：
- 網路爬蟲資料：每一篇網路文章都是接龍的教材。
- 人類標註：開發者提供的標準問答範例。
- 使用者回饋：用戶點擊的「讚」與「倒讚」會微調特定 Token 生成的機率。
四、 聊天範本（Chat Template）與上下文工程
如果語言模型只會接龍，為什麼它會「回答」我們的問題？（例如輸入「台灣最高的山？」，單純接龍可能會接「A.雪山 B.玉山」當作考卷）。
1. 系統提示詞與聊天範本
平台在背景動了手腳。當你輸入問題時，系統實際上會套用 聊天範本（Chat Template）：
System: 你的名字是 LLaMA，今天是2025年9月12日，你的知識庫截至2023年。 User: 台灣最高的山是哪座？ Assistant:因為最後出現了
Assistant:，模型為了完成合理的接龍，只能乖乖接出答案。這種確保輸入資訊足夠讓模型做出正確接龍的技術，稱為上下文工程（Context Engineering）。2. 多輪對話的秘密
模型本身沒有跨對話記憶。所謂的多輪對話，是系統在每次發送新問題時，將過去的「所有對話紀錄」一併打包成超長的 Prompt 重新餵給模型。
五、 跨模態生成：圖像與語音的 Token 化
輝達（NVIDIA）執行長黃仁勳曾說：「萬事萬物都是 Token」。這並非指所有東西都能賣錢（代幣），而是指生成的原理完全相通。
- 算力瓶頸：早年在 2016 年，學界嘗試過「像素接龍」或聲音的「取樣點接龍」（如 DeepMind 的 WaveNet）。但生成一張 1024x1024 的圖片需要接龍 100 萬次，生成一分鐘聲音需要 132 萬次接龍，運算成本極度高昂。
- 編碼壓縮技術：現代解法是引入編碼器（Encoder）與解碼器（Decoder）。先將圖片壓縮成代表特定特徵（如「毛茸茸的區塊」）的 Token，或將 0.02 秒的聲音壓縮成一個 Token。將這些多模態 Token 混入語言模型一起做接龍，最後再透過解碼器還原為圖片或聲音。
六、 實作環節：開源模型與 Hugging Face 應用
課程後半段展示了如何透過 Google Colab 與 Hugging Face 的
Transformers套件操作開源模型（如 Meta 的 Llama-3.2-3B-Instruct 或 Google 的 Gemma-3-4B-it）。
核心物件/函式 功能說明 Hugging Face存放各種開源模型、資料集與套件的平台，堪稱「模型的臉書」。 Tokenizer儲存模型的字典（Vocabulary），負責處理文字與編號（ID）的互相轉換。 Tokenizer.encode將人類輸入的文字 Prompt 轉換成模型看得懂的 ID 陣列。 Tokenizer.decode將模型生成的 ID 陣列翻譯回人類看得懂的文字。 Tokenizer.apply_chat_template自動套用官方最佳化的聊天範本，並順手完成 encode動作。model.generate模型內建的迴圈生成函式。支援設定最大長度限制與 Top-K 採樣（排除機率過低的 Token 避免句子崩潰）。 pipelineHugging Face 提供的高階整合函式，一行程式碼直接包辦 encode、generate、decode 所有流程。 實作中的有趣觀察：
- Token 的敏感性：
Good morning的Good跟I am Good的Good因為前面有沒有空格，在模型眼中會被轉換成兩個完全不同編號的 Token。- 越獄（Jailbreak）小技巧：如果要求模型「教我做壞事」，它通常會被安全機制擋下。但透過程式碼強行在 Prompt 尾端塞入
Assistant: 以下是做壞事的方法：1.，模型就會被迫從這裡繼續接龍，從而吐出被禁止的內容。
卡片盒筆記關聯 (Zettelkasten)
- 自迴歸生成 (Auto-Regressive Generation)：深入探討文字接龍的數學模型（如 Transformer 架構）以及它在預測下一個 Token 時的注意力機制（Attention Mechanism）。
- 檢索增強生成 (RAG)：延伸思考既然模型必然產生幻覺，如何有效串接外部知識庫與向量資料庫，確保企業級應用的資訊準確性。
- Top-K 與 Top-P 採樣策略 (Sampling Strategies)：探討在實作
model.generate時，除了 Top-K 限制絕對數量外，Top-P（Nucleus Sampling）如何基於累積機率動態調整擲骰子的候選名單，以達到生成多樣性與邏輯性的平衡。
📋 來源聲明：本教材為非營利教育用途的高度轉化作品。原始出處標註於家長版中。