##介绍：

该工作流是通过加载本地的大语言模型，模块化实现工具调用功能。

##参数详解:

·model_name：填写需要加载的模型名称（也可以不填写，如果模型文件夹路径没有填写，会根据模型名称从hugging face上下载并加载模型，目前只支持safetensors格式或者bin格式加载）

- 填写示例：Qwen/Qwen2-7B-Instruct

- 注：必须与hugging face上的模型名称一致且包含仓库名。

·model_type：目前已经兼容：GLM、llama、Qwen

·model_path：上传本地大语言模型的模型文件夹路径，优先本地路径加载模型

- 填写示例：/hy-tmp/AI_files/models/LLM_Models/qwen7b；

- 注：该路径是Linux系统文件路径，Windows需要将“/”改为“\”。例如：D:\AI\mychat\model\qwen7b

·tokenizer_path:填写路径同上。

·device：一般默认状态为[auto]，自动选择你的cuda/mps/cpu设备，可根据实际情况进行调整。

·dtype：量化方式，可以让模型以更小的方式加载。在MacOS系统下，int8/int4量化不可用。

·**is_locked**:

- 默认是[true]状态，在该状态下，模型不会自动切换，也就意味着不需要重复加载模型，但是模型运行的显存不会被清空。（推荐！当你不需要频繁切换模型时，将[is_locked]选择为[true]，然后将工作流中的卸载模型节点删除）

- 如果是[false]状态，也即关闭状态，它就会一直加新的模型。所以在这种情形下，需要在连接【Clear Model/清空模型】节点，来清理缓存。这样做的好处是，可以在任意位置将你的模型卸载，保证后续的模型可以使用显存。

##注：

·【本地LLM加载器】和【本地大语言模型】节点下的[model_type]需要根据本地的大语言模型调整至相同的类型。

-------------------------------------------------------------------------

本地LLM资源链接：

·百度网盘：

https://pan.baidu.com/s/1T4aEB4HumdJ7iVbvsv1vzA?pwd=qyhu 提取码: qyhu

-----------------------------------------------------------------

##写在最后：

·LLM_Party正在用心经营一片AI时代的后花园，我们希望能够在AI时代下成为众多参与者的一员，我们从开源社区中走来，也希望回到社区中去。

·欢迎大家来到我们用心经营的后花园：

项目地址：https://github.com/heshengtao/comfyui_LLM_party

openart：https://openart.ai/workflows/profile/comfyui_llm_party?tab=workflows&sort=latest

LibLib：https://www.liblib.art/userpage/4378612c5b3341c79c0deab3101aeabb/publish/workflow

哔哩哔哩：https://space.bilibili.com/26978344?spm_id_from=333.337.0.0

YouTube：https://www.youtube.com/@comfyui-LLM-party

discord：https://discord.com/invite/gxrQAYy6