QWEN3.5-9B 部署教程
简介:目前开源最强反推-支持中英文,只需要在对话框描述就可以,相当于部署一个小型豆包,还支持语言对话!
最重要是反推图片快,16G显存 64G内存,反推一张图5-6秒!基本可以替代其他反推节点了!
1. 先装轮子-要是轮子没装成功,其他步骤就可以省了!
①本地部署comfyui安装方法(非整合包)
根据你的cuda与python版本 下载对应的轮子,得有这个才能成功安装!
按键盘:Win + R 输入:nvcc --version 回车 输出类似 Cuda compilation tools, release 12.4, V12.4.13 CUDA = 12.4
输入:python -V 回车 输出类似 Python 3.11.9 Python = 3.11 根据自己的输出结果记录下来!
https://github.com/JamePeng/llama-cpp-python/releases?page=1 打开这个网站,找自己对应的轮子,
我的cuda=12.4 Python3.11 我下载的轮子是:llama_cpp_python-0.3.32+ cu124 .basic- cp311 -cp311-win_amd64.whl(横线就是对应的版本)!先找到cuda版本-点击 Assets,下面就会出现很多不同的python版本的轮子!
把你刚刚下载好的 .whl 轮子文件-放到 ComfyUI 根目录 例如:D:\ComfyUI\ 点击地址栏,输入:cmd 按回车,就会弹出黑色窗口 输入:D:\ComfyUI\.venv\Scripts\activate 判断是否成功 (.venv) D:\ComfyUI> 前面出现 (.venv) 就对了
输入:pip install "D:\ComfyUI\llama_cpp_python-0.3.32+cu124.basic-cp311-cp311-win_amd64.whl" (画横线部分复制你的轮子地址,右键轮子文件,复制地址即可)输入后回车 看到有安装信息,就成功了!
②整合包轮子安装(秋叶的举例)
例如我的整合包在这个位置:H:\ComfyUI-aki-v1.3 点击地址栏,输入:cmd 按回车,就会弹出黑色窗口
输入:cd /d H:\ComfyUI-aki-v1.3 && python\python.exe -c "import sys, torch; print('Python:', sys.version); print('CUDA:', torch.version.cuda); print('GPU可用:', torch.cuda.is_available())" (画横线部分就是替换成你的整合包路径)你会看到类似结果:Python: 3.11.9 (main, ...)CUDA: 12.4 GPU可用: True 那么记下cuda=12.4 Python: 3.11 要是不成功,就问问AI,想办法查到你整合包的cuda与python版本,
https://github.com/JamePeng/llama-cpp-python/releases?page=1 打开这个网站,找自己对应的轮子,我的cuda=12.4 Python3.11 我下载的轮子是:llama_cpp_python-0.3.32+ cu124 .basic- cp311 -cp311-win_amd64.whl(横线就是对应的版本)!先找到cuda版本-点击 Assets,下面就会出现很多不同的python版本的轮子!
下载好轮子后,放进去你的 整合包的根目录 例如我的路径是:H:\ComfyUI-aki-v1.3 然后在地址栏 输入:cmd 按回车,就会弹出黑色窗口
输入:cd /d H:\ComfyUI-aki-v1.3
python\python.exe -m pip install llama_cpp_python-0.3.32+cu124.basic-cp311-cp311-win_amd64.whl (第一个下划线是整合包的路径 第二个是轮子的名字,要换成你的)然后回车,要是显示在安装,那就成功了
2.下载ComfyUI-llama-cpp节点 (已手动汉化功能选项)下载后放到 ComfyUI\custom_nodes
下载链接: https://pan.baidu.com/s/1b54dmb1GCIMqD9t-y7OAbg?pwd=d4p4 提取码: d4p4
3.下载两个文件 Qwen3.5-9B-Q8_0.gguf 与 mmproj-BF16.gguf 然后在ComfyUI\models 目录下 找到 LLM 这个文件夹,把两个文件放进去,如果没有这个文件夹 就新建一个
文件下载地址: https://hf-mirror.com/unsloth/Qwen3.5-9B-GGUF/tree/main (下载我上面的那两个,看清楚名字再下载)
完成!启动comfyui即可,进入工作流的时候要手动选择一下模型!主要还是安装轮子,轮子装上安装很简单!想办法把轮子安装上去!或者直接问AI!显卡给力可以下载更大的模型!