Xiaohan-Tian
30 lines
1.8 KiB
Markdown
30 lines
1.8 KiB
Markdown
## 本地 LLM 模式
|
|
|
|
歡迎使用 **K.G.Studio 音樂創作助手** 的本地 LLM 模式。
|
|
|
|
- 無需外部 API 調用。所有內容都直接在您的瀏覽器中運行，不會產生額外 API 成本。
|
|
- 此模式通過 **LiteRT-LM** 和 **WebGPU** 加速運行 **Gemma 4 E4B**。
|
|
- 推薦硬體：至少 **8 GB 顯存**的 GPU，或至少 **16 GB 統一記憶體**的系統。
|
|
- 相比更大的雲端模型，本地模式在複雜規劃、長鏈路編輯和多步驟任務上能力會更有限。
|
|
|
|
### 推薦工作方式
|
|
- 保持請求小而明確。
|
|
- 分步驟引導模型逐步完成目標。
|
|
- 盡量針對較小的音樂區域工作，而不是一次處理整首歌。
|
|
- 優先選擇更簡單的音樂編排。
|
|
- 每個獨立任務盡量開啟新的對話。
|
|
|
|
示例：
|
|
- 對較複雜的請求，建議拆成多個小步驟。
|
|
- 例如，如果您想讓模型基於當前音樂寫一段和弦進行，可以先說：`請讀取當前音樂。`
|
|
- 等這一步完成後，再繼續說：`請基於它寫一段和弦進行。`
|
|
- 在本地 LLM 模式下，這種漸進式流程通常更可靠。
|
|
- 在整個流程中，保持您希望 agent 更新的 MIDI 區域處於選取狀態。
|
|
- 僅僅為了執行 `read_music`，您不需要切換到別的區域，因為 `read_music` 可以讀取所有音軌的音樂內容。
|
|
|
|
### 改用外部 LLM
|
|
- 如果您想使用更大的雲端模型或自託管模型，請開啟 **設定 -> 通用 -> LLM 提供方**，切換到 **本地 LLM（瀏覽器）** 以外的提供方。
|
|
- 如果要用雲端模型，可以選擇 **OpenAI**，或者選擇 **OpenAI Compatible** 並填寫 OpenRouter 等提供方。
|
|
- 如果要用自託管模型，也請選擇 **OpenAI Compatible**，然後填寫您的伺服器 **Base URL** 和 **Model**。
|
|
- 切換提供方後，建議開啟一個新的對話，以便聊天會話乾淨地使用新模型。
|