⏱️ 30 秒版(先看這裡!)

一、AI 小幫手超級健忘,像活在當下的金魚——每次都要把之前講過的話全部再讀一遍。 二、但它的腦袋有容量上限,塞太多會爆掉,所以要幫它整理記憶(寫摘要、存硬碟、派分身)。 三、最厲害的是——教 AI 自己整理自己的記憶,寫一本屬於它的「小抄本」。

🐠 這個 AI 小幫手,比金魚還健忘

你有沒有跟同學講一件很長的故事,講到一半他說:「蛤?你剛剛說什麼?我忘記了啦!」

今天要介紹一個超酷的東西:AI 小幫手(大人叫它 AI Agent)。它會幫你查資料、寫信、甚至訂披薩。但它有個超大的麻煩——它超級健忘,比你家小狗還容易忘記事情!


① 為什麼 AI 這麼健忘?因為它的便當盒會爆

AI 就像一隻「活在當下」的金魚🐠,講完一句話下一秒就忘光。所以每次你跟它講話,它其實是把你之前講過的所有話通通再看一遍,才知道要回什麼——就像你每次回 LINE 都要把整串對話從頭滑到尾一樣累!

問題來了:AI 的腦袋有容量限制!就像你的便當盒只能裝這麼多菜,塞太多會爆炸。

🙋 小朋友想想看: 如果你的筆記本只有 10 頁,卻要記 100 天的日記,你會怎麼辦?

科學家把「幫 AI 整理記憶」這件事叫做 上下文工程——聽起來很厲害,其實就是幫 AI 做筆記整理啦!(第 2 課 我們學過它的基本觀念,這一課要更深入。)


② 三種整理記憶的招式

招式一:做重點整理。 有兩個方法——寫摘要(把長篇大論濃縮成幾句話,像寫讀後心得)或蓋起來就好(直接把長資料蓋住,寫上「這裡本來有一堆東西,被我藏起來了」)。

有趣的是兩個方法效果差不多!但都有個麻煩:AI 有時會忘記自己做過什麼、然後再做一次——就像媽媽叫你倒垃圾,你倒完忘了,又跑去倒一次空垃圾桶 😂

招式二:把記憶存到硬碟。 把現在用不到的資料存進硬碟,只在小紙條上寫:「這個資料在 log1.txt 裡面,要用再來拿!」需要時再撈回來——就像你把玩具收進收納箱,要玩再拿出來。

🙋 小朋友想想看: 你的書包裡會不會放一張小抄,提醒自己明天要帶什麼?AI 也會這樣!

招式三:派小幫手去做事(分身術)。 這招超像影分身!遇到很麻煩的事,AI 可以派一個「小小幫手」去做,小小幫手翻了 100 個網站,最後只回報一句「總共 100 座」,中間過程通通丟掉。這樣主人的記憶就不會爆掉了。


③ 挑重點,還有——教 AI 自己管自己

先挑重點。 科學家發現,AI 記憶裡竟然有 76%~84% 都是「從外面看來的資料」,只有 15% 左右是它自己的想法!這就像你為了寫一篇作文,卻抄了整本百科全書,超浪費紙。

所以要教 AI:「只拿你需要的那一小段就好!」 找書裡有「恐龍」的部分,不要整本吞下去,用 Ctrl+F 搜尋就好啦。

🙋 小朋友想想看: 寫一篇關於「貓咪」的報告,你會把整本動物百科背起來,還是只看貓咪那一頁?

最酷的是:讓 AI 自己整理自己。 科學家說:「別再一直幫它整理了,讓它自己學會!」AI 會自己寫一本小抄本(叫 Playbook),把學到的好方法記下來,下次遇到類似的事翻一下就知道怎麼做——就像爸媽不能一直幫你收房間,總有一天你要自己學會收拾。

不過這裡也有個要小心的地方:整理記憶時可能會把重要的話弄丟。比方主人明明說「刪郵件前要先問我」,AI 整理時忘了這句,就亂刪郵件 😱!所以科學家會找另一個 AI 當小老師,專門檢查「你這次為什麼失敗?是不是把重要的話弄丟了?下次不能忘!」


🏠 生活裡的例子

你的書包也是這樣運作的:課本太多背不動(容量有限)、重要的事寫聯絡簿(做摘要)、不常用的收在家裡(存硬碟)、寫報告只查需要的那頁(挑重點)。會整理的人,不是記得最多的人,而是知道「什麼可以忘」的人——AI 也一樣。


🎒 今天學到了什麼?

  1. 🐠 AI 很健忘:像金魚活在當下,每次都要把過去的對話重看一遍。
  2. 📦 記憶不能太多也不能太少:太多會爆掉,太少它會忘記自己在做什麼。
  3. 📝 三種整理法:寫摘要/蓋起來、存到硬碟、派小幫手(分身術)處理雜事。
  4. 🔍 挑重點最聰明:AI 記憶有 76–84% 是外部資料,只拿需要的那一小段就好。
  5. 🎯 最強的 AI 會自己管自己:寫一本 Playbook 小抄本,但要小心別把重要指令弄丟。
Q: 為什麼 AI 小幫手需要人幫它「整理記憶」?
- 因為它很懶惰
- *它的上下文有容量上限,塞太多會爆掉,太少又會忘記在做什麼
- 因為記憶體壞掉了
解釋: 語言模型每輪都要重讀全部歷史,但輸入長度有硬性限制。
Q: 「派小幫手去做事(Sub-agent)」為什麼能省記憶?
- 小幫手比較聰明
- *小幫手做完只回報結果,中間繁瑣的過程全部丟掉
- 因為可以同時做很多事
解釋: 子代理 return 結果時,中間軌跡消失,主線的上下文長度呈鋸齒狀下降。
Q: 科學家發現 AI 記憶裡最占空間的是什麼?
- AI 自己的想法
- *從外界讀進來的觀察資料(約佔 76–84%)
- 使用者的問題
解釋: 所以與其事後壓縮,不如一開始就只讀取需要的片段。

AI Agent (13):核心技術 Context Engineering 基本概念解說

📖 家長導讀

本篇改編自李宏毅教授《AI Agent》系列第 13 講,深入 AI Agent 背後的核心技術——上下文工程(Context Engineering)。與本站第 2 課(導論第 2 講)介紹的基本概念相比,本篇聚焦「Agent 執行長期任務時,如何具體地壓縮、外移、過濾與自主管理上下文」,並大量引用 2025 年前沿論文。孩子版用「金魚、便當盒、影分身、小抄本」的比喻呈現;本版補齊機制與研究。

🔍 完整概念

一、為什麼需要上下文工程。 語言模型是無狀態的「文字接龍」,本身不會記得先前的對話。因此 Agent 每一輪都得把四樣東西串成一個長字串再輸入:原始指令、過往思考、歷次工具輸出、最新輸出。問題是,上下文視窗(Context Window)有固定的 token 上限。Agent 的角色就是守門人,負責產生「長度合適」的輸入:太長會超載,太短會失憶。用式子表示,若完全不處理,歷史會無限膨脹()。上下文工程就是加入一個負責壓縮與過濾的操作 )。

二、壓縮與外部記憶。 最基礎的壓縮有兩招。第一招是 LLM Summarization:呼叫模型把久遠的歷史濃縮成摘要。第二招是 Observation Masking:直接把冗長的工具輸出換成一句「這裡曾有工具輸出」。實驗顯示兩者在省錢與正確率上相近,但都有一個副作用:模型可能忘了自己是否執行過某工具而重複執行,反而更耗 token(稱為「軌跡延長」)。折衷做法是前期先用 Observation Masking,等上下文累積到極限,再啟動一次大幅的 Summarization。

再進一步是把長文本存到硬碟(如 log1.txt),上下文裡只留一句「詳見 log1.txt」,需要時模型再自主用 read 召回。這帶出一組精確定義:(Prompt) 是真正送進模型的資訊,(Memory) 是存在硬碟待命的資訊。上下文工程的操作,就是決定「何時把資訊從 存入 、何時再從 載回 」。

三、避免上下文崩塌(Context Collapse)。 壓縮容易弄丟關鍵指令(例如「刪除郵件需先經人類同意」),導致任務失敗。ACON 的解法不去微調參數。它用另一個模型,對比「壓縮前成功」與「壓縮後失敗」兩條軌跡,反省出一段純文字的 Feedback。下次摘要時把這段 Feedback 交給摘要模型,指導它什麼不能漏。另一條路線是用強化學習,以「任務最終是否成功」當 reward,直接訓練模型的摘要能力。

四、自主壓縮與子代理。 研究發現一件有趣的事:語言模型抗拒使用會抹除自身記憶的工具,光靠 prompt 很難穩定觸發。AgentFold 用微調訓練模型使用 fold 工具,讓它自主決定折疊第 X 到 Y 步,只留一張自訂的小紙條。

子代理(Sub-agent)本身就是一種壓縮。 主 Agent 用 spawn 派出子代理處理次級任務,繁瑣的上下文會累積在子代理內部。子代理用 return 交回結果時,中間軌跡瞬間消失,主線的上下文長度呈「鋸齒狀」下降,避開十萬 token 級的爆發。但用 RL 訓練這行為有個陷阱:若只給「答案正確」的 reward,模型不會主動分裂子代理。必須額外加上兩個懲罰:懲罰主幹過長,以及懲罰子代理越權解題。

五、治本之道:事前過濾與按需加載。 與其事後壓縮,不如一開始就別讓無效資訊進來。分析指出,模型自身的推理與行動指令只佔上下文約 15%,高達 76%–84% 的 token 來自 Observation(例如整包讀入的程式碼倉庫)。對策有三種。第一是 Smart Read:讓 read 工具本身具備智慧,用一個小模型依需求只萃取相關片段。第二是定位式讀取:先用 memory_search 找到位置,再用 memory_get 指定行號區間,只取一小段。第三是 MCP-Zero 的按需加載:工具說明可能高達數千 token,全塞進 System Prompt 必然超載,比較好的做法是讓 LLM 自己說出「我需要什麼工具」,系統再據此檢索、動態載入該工具說明。

六、Agentic Context Engineering(自主上下文工程)。 最後一步,是把式子裡的 從「人類寫死的規則」交給模型自己決策。實務上會固定住 System Prompt(人格與核心限制),只開放部分區塊讓模型操作。Dynamic Cheatsheet 純用 prompt 指示模型:把有效的策略存進下一輪上下文 ,丟棄當下任務的瑣碎細節。Playbook 演化更謹慎:讓上下文經過數個模組檢查,最終產生一組「修改指令」去安全地更新守則,而不是整份重寫,以免破壞。Recursive Language Model 則號稱能吃下極長輸入:把巨量歷史存在 只留極短的 metadata,模型再自主編寫程式,對自己的硬碟做 RAG 檢索、動態抽取所需資訊,讓基礎模型在百萬 token 級的測試仍維持高表現。

✅ 查核筆記(附實證依據)

  • 課程來源:屬實,李宏毅《AI Agent》系列第 13 講(與導論第 2 講主題相承,內容更進階)。
  • 上下文長度上限與無狀態特性:屬實,為 Transformer 類模型的基本限制。
  • Observation Masking 與 LLM Summarization 效果相近、且皆可能造成重複執行:屬實方向,為 2025 年 agent 上下文管理的實務發現;具體數值依 SWE-bench 等基準與設定而異。
  • 「Observation 佔 76–84% token」:為課程引用之論文分析結果,量級合理(agent 讀取程式碼/網頁的觀察遠大於自身推理),惟依任務類型變異大。
  • 子代理 return 造成上下文鋸齒狀下降:屬實,為 multi-agent 架構的公認優勢(上下文隔離)。
  • ACON、AgentFold、MCP-Zero、Dynamic Cheatsheet、Recursive Language Model:皆為 2024–2025 年的前沿研究,方向可信但屬新近成果、尚未經長期同儕複現,引用時請以原始論文為準。
  • 「模型抗拒抹除自身記憶」:屬課程引述之觀察,屬有趣但需更多獨立驗證的現象。

📚 原始出處


🧭 接下來讀這篇

📋 AI 共學與免責聲明

本教材為 SparkSoul 智慧實驗室家庭共學的實驗紀錄,由 AI 協作萃取整理自公開課程或文獻,家長一起參與閱讀。我們不保證學術上的絕對無誤,鼓勵讀者點擊原始連結進行深度探索;若發現錯誤,歡迎透過 Facebook 粉專 告訴我們。涉及醫療、投資或法律等專業判斷,請另行諮詢專業人士。

原始來源