跳至主要內容

AI提示詞工程 Prompt Engineering-單元-02-LLM 輸出配置（Output Length, Temperature, Top-K, Top-P）

 如果把 LLM 比喻成一個「說故事的演講者」，那麼提示詞是題目，而模型配置參數（Output Configuration）就是你給這位演講者的「講話規則按鈕」：

  • Output Length（輸出長度限制）：就像規定演講者的最大字數限制。超過字數它就會立刻閉嘴，但這不會自動讓它講得更精簡，除非你寫提示詞要求它「簡短總結」。
  • Temperature（隨機度/溫度）：控制演講者要嚴肅遵守常理還是發揮天馬行空的創意。溫度低（趨近 0）時，它每次只選最安全、機率最高的詞；溫度高時，各種罕見或意想不到的字詞都有機會出現。
  • Top-K 與 Top-P（候選詞過濾網）：在決定下一個字前，先把可能性太低或不相關的字詞過濾掉。
    • Top-K：只留機率最高的「前 K 個字」（例如前 30 個字）。
    • Top-P：只留累積機率達到 「P 百分比」 的字群（例如累積機率達 90% 的所有字）。

🎯 核心重點

  1. Output Length（Token 限制）：限制生成 Token 的上限。生成更多 Token 代表更多運算、更高成本與較慢的響應。注意：縮短限制只會讓模型達到上限時「直接中斷生成」，不會自動讓模型寫作風格變簡練。
  2. Temperature（溫度參數）：
    • 控制 Token 選擇的隨機程度。
    • Temperature = 0（Greedy Decoding 貪婪解碼）：確定性最高，每次都固定挑選機率最高的 Token。適合數學解題、程式碼生成或有唯一標準答案的任務。
    • Temperature 越高：輸出越隨機、多樣化且具創意；極高時所有 Token 的出現機率會趨近相同。
  3. Top-K 與 Top-P Sampling（抽樣過濾）：
    • Top-K：限定從機率最高的 前 K 個 Token 中進行抽樣。Top-K = 1 等同於貪婪解碼（Greedy Decoding）。
    • Top-P（Nucleus Sampling）：限定從累積機率和達到 P（範圍 0 到 1）的最小 Token 集合中抽樣。
  4. 參數之間的相互作用與極端覆蓋現象：
    • 在同時提供多個參數時（如 Vertex AI），系統會先用 Top-K 與 Top-P 的篩選條件交集出候選 Token，再根據 Temperature 進行抽樣。
    • 極端覆蓋規則：
      • 若 Temperature = 0、Top-K = 1 或 Top-P = 0（或極小值），模型只會選機率最高的單一 Token，此時其他兩個參數將會失效或變得無關緊要。
  5. 推薦設定起手式：
    • 確定性/唯一答案（如數學）：Temperature = 0。
    • 兼具條理與少許創意：Temperature = 0.2, Top-P = 0.95, Top-K = 30。
    • 高創意生成：Temperature = 0.9, Top-P = 0.99, Top-K = 40。

💡 實際例子

想像模型在預測「今天天氣真__」後面的字：

  • 機率排名：1. 好 (50%)、2. 棒 (30%)、3. 差 (10%)、4. 怪 (8%)、5. 狂 (2%)。
  • Top-K = 2：模型只會從「好」和「棒」這 2 個候選字中選。
  • Top-P = 0.8 (80%)：1. 好(50%) + 2. 棒(30%) = 80%，所以候選庫同樣只留下「好」與「棒」。
  • Temperature = 0：不管 Top-K 或 Top-P 設多少，永遠只選 100% 確定性最高的「好」。

❌ 常見錯誤

  1. 以為降低 Output Length 會讓 AI 的回答變得簡明扼要：只降低 Token 長度上限，模型會在講到一半時直接被切斷（Sentence truncation），出現斷句不完整的情況，必須在 Prompt 中要求「請用 50 字以內總結」才能改變寫作風格。
  2. 重複循環 Bug (Repetition Loop Bug)：AI 陷入不斷重複同一句廢話或字詞的死循環。這在極低溫度（過度確定，死扣最高機率路徑）與極高溫度（過度隨機，隨機字詞機率性觸發回舊狀態）都有可能發生。
  3. 在需要邏輯推導（CoT）或精準回答時設定高 Temperature：這會導致邏輯推導失控或產生幻覺。

📖 來源依據

本單元內容依據《Prompt Engineering》教材：

  • LLM 輸出配置與 Output Length：第 8、9、10 頁
  • Sampling Controls (Temperature, Top-K, Top-P)：第 9、10、11 頁
  • 參數相互作用與極端覆蓋現象：第 11、12 頁
  • 推薦起手參數值：第 12 頁
  • Repetition Loop Bug 機制與原因：第 12、13 頁

📝 理解測驗

第 1 題（單選題） 如果你在系統管理後台將模型的 Output Length（輸出長度限制） 從 1024 降低到 50，但沒有修改提示詞，會發生什麼事？ (A) 模型會自動將回答壓縮成精簡的摘要短句。 (B) 模型會提升回答的邏輯嚴謹度與精準度。 (C) 模型會照常生成回答，但在達到 50 個 Token 時被直接硬性截斷。 (D) 模型會自動降低 Temperature 來縮短文字。

第 2 題（單選題） 關於 Sampling Controls（抽樣控制參數）的「極端覆蓋現象」，下列哪一項敘述是正確的？ (A) 當 Temperature 設為 0 時，Top-K 與 Top-P 的設定仍然會強烈影響輸出結果。 (B) 當 Top-K 設為 1 時，不論 Temperature 或 Top-P 如何設定，模型都只會選擇機率最高的下一個 Token。 (C) Top-P 設為 1 代表完全關閉隨機性，只允許輸出機率最高的 1 個字。 (D) 只有在高 Temperature 下才會發生「重複循環 Bug（Repetition Loop Bug）」。

第 3 題（應用情境題） 你正在開發一套「自動解答國中數學應用題」的 AI 系統，需要模型給出絕對精確、重複測試結果一致的解答步驟。 請問你會如何設定 Temperature 參數？為什麼？

測驗答案：（參考）
第1題：C
第2題：B
第3題：Temperature = 0（Greedy Decoding）：確定性最高，每次都固定挑選機率最高的 Token。適合數學解題、程式碼生成或有唯一標準答案的任務。

註：

這「學習系列」的文章，是記錄自己與AI一起探索知識的過程，也是我將AI做為私人家教的一項試驗。對於如何藉由Ai輔助自我學習，請參考這篇：
https://blog.udn.com/tku_89056/192561353
https://goldenbird-willy.blogspot.com/2026/09/gemini-notebook-ai.html

學習教材：《Prompt Engineering》
本書探討了提示工程的核心概念、多種進階技巧、以及最佳實務（use cases）。內容涵蓋如何設定大型語言模型的輸出長度與取樣參數，並且介紹零樣本、少樣本、角色扮演、思維鏈、以及如何結合外部工具的推理與行動等實用策略。此外，本書也示範了如何利用人工智慧來編寫、解釋、翻譯和除錯程式碼。最後，本書提供了多項專業的建議，例如簡化提示設計、優先使用正面指令、利用如JSON的結構化格式、以及落實詳盡的版本記錄與迭代。
本書作者Lee Boonstra是一名人工智慧軟體工程師、技術主管和系統架構師，在谷歌全球首席技術官辦公室（OCTO）、應用創新工廠等擁有10年以上的資歷。
免費下載：https://www.kaggle.com/whitepaper-prompt-engineering

留言

發佈留言

此網誌的熱門文章

GoldenBird_Willy_品牌来信001：从麦肯锡的《中国奢侈品报告2019》可以学到什么？

您好， 先祝愿您和家人健康平安！安全安心度过新冠病毒的疫情时期。 《中国奢侈品报告 2019 》（注1），这份出自全球顶尖商业谘询公司麦肯锡的品牌调查报告，除了内容之外，我提供两个亮点，让您得到更多的益处。 第一、依循《金字塔原理》的写作方式。 做为专业的商业人才，必须具备高效的写作表达技巧，不论是应用在您的策划案、简报制作、甚至社交软件上。 麦肯锡的谘询顾问的解决问题思维、以及报告写作结构，都是以《金字塔原理》为本。例如，您可以看到在《中国奢侈品报告 2019 》中，几乎每一段落的第一句，就写出该段落的结论（重点、或方案），接下来的文字才解释为什么会提出这样的结论。简而言之，就是先讲“所以”，再来讲“因为”，这样的思维和表达方式，是不是与您的习惯很不一样。 强烈建议您购买 《金字塔原理》 这本书！当然，也要提醒您，这本书并不好读，因为它是专业的商业训练教材。您可以先在Google或百度上搜寻这本书的相关介绍和资料，我先附上一篇书评 《世界属于逻辑动物》 给您参考， 这书评认为《金字塔原理》不仅仅是训练一个人的超级沟通能力，更会强化您的超级逻辑能力，作者是美国科特勒营销集团中国区的高级顾问孙路弘，值得您看看。 第二、简洁易懂的图表制作方式。 在《中国奢侈品报告 2019 》的每一个图表，它们的呈现方式和技法，全都值得您模仿。我也 提供给您一个 模板档案 （注2），这个模版出自知名的法国设计公司之手，是提供给创业者用来制作募资策划书、简报 PPT ，您只要登录它的网页，提供您的 E-mail ，就可以顺利下载了。 希望您能够善用它，从今天起尝试用这个模板，仿效《中国奢侈品报告 2019 》，制作更有专业水平的图表及简报。 最后，想要创建坚实的品牌力量，就要准备好，如何和顾客进行有效沟通的厉害本领！ 祝 顺心 Agaruda 2020/4/15  於 Google Blogger
發佈留言
閱讀更多

如何將Gemini Notebook 打造成私人的AI家教

 這兩年，流行將AI 當作自我學習的好伙伴，用它來提升自我成長，或是建立一個專屬的知識管理系統。相關的方法和文章眾多，經由我自己親身的體驗之後，我覺得最簡單有效的，是這兩種方法，分別是MIT 的研究生之法、以及IPAS 自學路之法。 接下來先簡單的介紹這兩種方法，若你想要更完整地瞭解這些方法的內容，請參考附上的資料來源。 最後，根據我自己的體驗，我將說明這兩種方法各自適合的對象。 MIT 研究生之法 （資料來源： https://www.bnext.com.tw/article/90275/notebooklm-mit-student-three-questions） 一名麻省理工學院 (MIT) 研究生使用 Gemini NotebookLM ，然後透過三大關鍵提問，將一個學期的課程內容濃縮至48小時內完成學習，進而通過了該課程的資格考試。 問題一：找出基礎框架 將該課程的6 本教科書、15 篇研究論文、與上課講義逐字稿，上傳Gemini notebook，建立該課程知識庫的筆記本。 然後，向Gemini notebook提問！ 第一個問題是： 「這個領域所有專家共享的 5 個核心心智模型是什麼？」 （What are the 5 core mental models every expert shares?） 這個提問能讓 AI 直接汲取該課程的主要知識框架，建構完整的學術脈絡。 問題二：先找爭論，再找共識 他接著提出第二個問題： 「這個領域的專家在哪 3 個地方存在根本分歧？各方最強的論點是什麼？」 （Now show me the 3 places where experts in this field fundamentally disagree, and what each side's strongest argument is.） 探索哪些問題已有定論、哪些還在爭論中。瞭解在該課程領域內，學術界存在的共識與爭議。 問題三：高強度問答深化理解 接著是第三個問題： 「生成 10 個能區分深度理解與死背知識的問題。」 （Generate 10 questions that would expose whether someone deeply understands this subject versus some...
發佈留言
閱讀更多

點評：郎咸平談現代中國大陸的婚姻危機

最近，有部短影片《郎咸平講實話：婚姻破產四大真相，遠比沒錢殘酷一萬倍》，探討了現代中國大陸的婚姻危機，這個危機的核心，並非單純的經濟貧困或個性不合，而是「整代人生活與承擔能力的斷層」。（原影片： https://www.youtube.com/watch?v=XKGHASXQLCs&t=217s） 郎咸平教授，原是兩岸知名的財經學者，現年七十餘歲，但是老而彌堅，轉戰自媒體，往網紅之路邁進。他的頻道《郎咸平說》，涉及了總體經濟分析、社會事件批判、個人生活感悟，當然還有推銷自己的財經課程。 若把郎教授的頻道當做八卦聽聽，倒也不失為瞭解中國大陸社會的快速通道，尤其在一些熱點話題上，他分析、歸納、以及提出獨特觀點的能力，還是打敗了那些只能合法要飯的自媒體工作者。 以下，是用Ai整理影片的逐字稿，也加上了我的點評。
發佈留言
閱讀更多