1. 预设提示支持
- 可从
data.json
文件中选择预设提示。 - 自定义提示优先于预设提示。
2. 模型精度选择
- 提供三种精度选项:
- 显示可用 VRAM 信息。
- 支持智能切换,自动清理内存。
3. 内存管理改进
- 提供三种内存管理模式:
- 智能模型实例缓存,切换模型时自动清理 VRAM。
推荐设置:
- FP8 模型(3.4GB VRAM):使用 速度优先 模式。
- FP16 模型(15.5GB VRAM):如果 VRAM 限制,使用 内存优先 模式。
这些更新提升了预设选择、精度调整和内存管理的灵活性,能够根据不同的硬件配置优化性能。