1. 预设提示支持

  • 可从 data.json 文件中选择预设提示。
  • 自定义提示优先于预设提示。

2. 模型精度选择

  • 提供三种精度选项:
  • 显示可用 VRAM 信息。
  • 支持智能切换,自动清理内存。

3. 内存管理改进

  • 提供三种内存管理模式:
  • 智能模型实例缓存,切换模型时自动清理 VRAM。

推荐设置:

  • FP8 模型(3.4GB VRAM):使用 速度优先 模式。
  • FP16 模型(15.5GB VRAM):如果 VRAM 限制,使用 内存优先 模式。

这些更新提升了预设选择、精度调整和内存管理的灵活性,能够根据不同的硬件配置优化性能。