QWEN3.5-9B 部署教程

简介:目前开源最强反推-支持中英文,只需要在对话框描述就可以,相当于部署一个小型豆包,还支持语言对话!

最重要是反推图片快,16G显存 64G内存,反推一张图5-6秒!基本可以替代其他反推节点了!

1. 先装轮子-要是轮子没装成功,其他步骤就可以省了!

①本地部署comfyui安装方法(非整合包)

根据你的cuda与python版本 下载对应的轮子,得有这个才能成功安装!

按键盘:Win + R  输入:nvcc --version   回车  输出类似 Cuda compilation tools, release 12.4, V12.4.13    CUDA = 12.4

输入:python -V 回车  输出类似  Python 3.11.9      Python = 3.11   根据自己的输出结果记录下来!

https://github.com/JamePeng/llama-cpp-python/releases?page=1  打开这个网站,找自己对应的轮子,

我的cuda=12.4  Python3.11 我下载的轮子是:llama_cpp_python-0.3.32+ cu124 .basic- cp311 -cp311-win_amd64.whl(横线就是对应的版本)!先找到cuda版本-点击 Assets,下面就会出现很多不同的python版本的轮子!

把你刚刚下载好的 .whl 轮子文件-放到 ComfyUI 根目录   例如:D:\ComfyUI\    点击地址栏,输入:cmd   按回车,就会弹出黑色窗口 输入:D:\ComfyUI\.venv\Scripts\activate   判断是否成功 (.venv) D:\ComfyUI> 前面出现 (.venv) 就对了

输入:pip install "D:\ComfyUI\llama_cpp_python-0.3.32+cu124.basic-cp311-cp311-win_amd64.whl" (画横线部分复制你的轮子地址,右键轮子文件,复制地址即可)输入后回车 看到有安装信息,就成功了!

②整合包轮子安装(秋叶的举例)

例如我的整合包在这个位置:H:\ComfyUI-aki-v1.3  点击地址栏,输入:cmd   按回车,就会弹出黑色窗口

输入:cd /d H:\ComfyUI-aki-v1.3 && python\python.exe -c "import sys, torch; print('Python:', sys.version); print('CUDA:', torch.version.cuda); print('GPU可用:', torch.cuda.is_available())"     (画横线部分就是替换成你的整合包路径)你会看到类似结果:Python: 3.11.9 (main, ...)CUDA: 12.4  GPU可用: True   那么记下cuda=12.4  Python: 3.11  要是不成功,就问问AI,想办法查到你整合包的cuda与python版本,

https://github.com/JamePeng/llama-cpp-python/releases?page=1  打开这个网站,找自己对应的轮子,我的cuda=12.4  Python3.11 我下载的轮子是:llama_cpp_python-0.3.32+ cu124 .basic- cp311 -cp311-win_amd64.whl(横线就是对应的版本)!先找到cuda版本-点击 Assets,下面就会出现很多不同的python版本的轮子!

下载好轮子后,放进去你的 整合包的根目录 例如我的路径是:H:\ComfyUI-aki-v1.3   然后在地址栏  输入:cmd   按回车,就会弹出黑色窗口  

输入:cd /d H:\ComfyUI-aki-v1.3

python\python.exe -m pip install llama_cpp_python-0.3.32+cu124.basic-cp311-cp311-win_amd64.whl     (第一个下划线是整合包的路径  第二个是轮子的名字,要换成你的)然后回车,要是显示在安装,那就成功了

2.下载ComfyUI-llama-cpp节点 (已手动汉化功能选项)下载后放到 ComfyUI\custom_nodes

下载链接: https://pan.baidu.com/s/1b54dmb1GCIMqD9t-y7OAbg?pwd=d4p4 提取码: d4p4  

3.下载两个文件   Qwen3.5-9B-Q8_0.gguf 与 mmproj-BF16.gguf    然后在ComfyUI\models 目录下 找到   LLM  这个文件夹,把两个文件放进去,如果没有这个文件夹 就新建一个

文件下载地址:  https://hf-mirror.com/unsloth/Qwen3.5-9B-GGUF/tree/main  (下载我上面的那两个,看清楚名字再下载)

完成!启动comfyui即可,进入工作流的时候要手动选择一下模型!主要还是安装轮子,轮子装上安装很简单!想办法把轮子安装上去!或者直接问AI!显卡给力可以下载更大的模型!