本課程將涵蓋以下內容：
- 如何有效地規劃將 AI Agent 部署到生產環境的流程。
- 部署 AI Agent 到生產環境時可能遇到的常見錯誤與問題。
- 如何在保持 AI Agent 性能的同時管理成本。
完成本課程後，您將能夠掌握以下內容：
- 提升生產環境中 AI Agent 系統的性能、成本效益及整體效能的技巧。
- 如何評估 AI Agent 及其運行系統。
- 部署 AI Agent 至生產環境時如何控制成本。
部署值得信賴的 AI Agent 至關重要。請參閱「Building Trustworthy AI Agents」課程以獲取更多相關資訊。
在部署 AI Agent 的過程中（包括部署前、中、後），建立完善的評估系統至關重要。這能確保系統與您及用戶的目標保持一致。
要評估 AI Agent，不僅需要檢視 Agent 的輸出，還需要評估整個 AI Agent 所運行的系統。這包括但不限於：
- 初始模型請求。
- Agent 判斷用戶意圖的能力。
- Agent 判斷正確工具以完成任務的能力。
- 工具對 Agent 請求的回應。
- Agent 解讀工具回應的能力。
- 用戶對 Agent 回應的反饋。
這樣可以更模組化地識別需要改進的地方，並能更有效地監控模型、提示、工具及其他組件的變更影響。
| 問題 | 潛在解決方案 |
|---|---|
| AI Agent 任務執行不一致 | - 優化給予 AI Agent 的提示；明確設定目標。 - 確認是否可以將任務分解為子任務，並由多個 Agent 處理。 |
| AI Agent 陷入持續迴圈 | - 確保設置明確的終止條件，讓 Agent 知道何時停止流程。 - 對於需要推理與規劃的複雜任務，考慮使用專門針對推理任務的大型模型。 |
| AI Agent 工具調用表現不佳 | - 在 Agent 系統外測試並驗證工具的輸出結果。 - 優化工具的參數設置、提示及命名方式。 |
| 多 Agent 系統表現不一致 | - 優化每個 Agent 的提示，確保它們具體且互相區分明確。 - 構建一個層級系統，使用「路由」或控制 Agent 來決定哪個 Agent 是適合的執行者。 |
以下是一些管理 AI Agent 部署成本的策略：
-
緩存回應 - 辨識常見請求與任務，並在這些請求進入 Agent 系統前提供回應，是減少相似請求量的好方法。您甚至可以實現一個流程，利用更基本的 AI 模型來判斷某請求與緩存請求的相似程度。
-
使用較小的模型 - 小型語言模型 (SLMs) 在某些 Agent 用例中表現良好，且能顯著降低成本。如前所述，建立評估系統來判斷並比較小型模型與大型模型的效能，是了解小型模型在您的用例中表現的最佳方式。
-
使用路由模型 - 類似的策略是使用多樣化的模型和尺寸。您可以使用 LLM/SLM 或無伺服器函數，根據請求的複雜性將其路由到最適合的模型。這樣不僅能降低成本，還能確保在適當的任務上保持性能。
這是「AI Agents for Beginners」課程的最後一課。
我們計劃根據回饋與這個快速發展的行業變化，持續新增課程內容，因此請隨時回來查看。
如果您想繼續學習並構建 AI Agent，歡迎加入 Azure AI Community Discord。
我們在那裡舉辦工作坊、社群圓桌會議及「問我任何事」的活動。
此外，我們還有一個 Learn 資源集合，其中包含幫助您開始在生產環境中構建 AI Agent 的額外材料。
免責聲明:
本文件使用機器翻譯服務進行翻譯。我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原語言的原始文件為權威來源。對於關鍵資訊，建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或誤讀不承擔責任。