Xiaohan-Tian
30 lines
1.8 KiB
Markdown
30 lines
1.8 KiB
Markdown
## 本地 LLM 模式
|
|
|
|
欢迎使用 **K.G.Studio 音乐创作助手** 的本地 LLM 模式。
|
|
|
|
- 无需外部 API 调用。所有内容都直接在您的浏览器中运行，不会产生额外 API 成本。
|
|
- 此模式通过 **LiteRT-LM** 和 **WebGPU** 加速运行 **Gemma 4 E4B**。
|
|
- 推荐硬件：至少 **8 GB 显存**的 GPU，或至少 **16 GB 统一内存**的系统。
|
|
- 相比更大的云端模型，本地模式在复杂规划、长链路编辑和多步骤任务上能力会更有限。
|
|
|
|
### 推荐工作方式
|
|
- 保持请求小而明确。
|
|
- 分步骤引导模型逐步完成目标。
|
|
- 尽量针对较小的音乐区域工作，而不是一次处理整首歌。
|
|
- 优先选择更简单的音乐编排。
|
|
- 每个独立任务尽量开启新的对话。
|
|
|
|
示例：
|
|
- 对较复杂的请求，建议拆成多个小步骤。
|
|
- 例如，如果您想让模型基于当前音乐写一段和弦进行，可以先说：`请读取当前音乐。`
|
|
- 等这一步完成后，再继续说：`请基于它写一段和弦进行。`
|
|
- 在本地 LLM 模式下，这种渐进式流程通常更可靠。
|
|
- 在整个流程中，保持您希望 agent 更新的 MIDI 区域处于选中状态。
|
|
- 仅仅为了执行 `read_music`，您不需要切换到别的区域，因为 `read_music` 可以读取所有音轨的音乐内容。
|
|
|
|
### 改用外部 LLM
|
|
- 如果您想使用更大的云端模型或自托管模型，请打开 **设置 -> 通用 -> LLM 提供方**，切换到 **本地 LLM（浏览器）** 以外的提供方。
|
|
- 如果要用云端模型，可以选择 **OpenAI**，或者选择 **OpenAI Compatible** 并填写 OpenRouter 等提供方。
|
|
- 如果要用自托管模型，也请选择 **OpenAI Compatible**，然后填写您的服务器 **Base URL** 和 **Model**。
|
|
- 切换提供方后，建议开启一个新的对话，以便聊天会话干净地使用新模型。
|