本文档由 AI 生成。如果您发现任何错误或有改进建议,欢迎贡献! 在 GitHub 上编辑
CLIPMergeSimple 是一个高级模型合并节点,用于根据指定比例合并两个 CLIP 文本编码器模型。
此节点专门根据指定比例合并两个 CLIP 模型,有效融合它们的特性。它选择性地将一个模型的补丁应用到另一个模型(排除位置 ID 和 logit 缩放等特定组件),从而创建一个结合两个源模型特征的混合模型。
输入
| 参数 | 数据类型 | 输入类型 | 默认值 | 范围 | 描述 |
|---|---|---|---|---|---|
clip1 | CLIP | REQUIRED | - | - | 要合并的第一个 CLIP 模型。它作为合并过程的基础模型。 |
clip2 | CLIP | REQUIRED | - | - | 要合并的第二个 CLIP 模型。除位置 ID 和 logit 缩放外,其关键补丁将根据指定比例应用于第一个模型。 |
比例 | FLOAT | REQUIRED | 1.0 | 0.0 - 1.0 (步长: 0.01) | 决定从第二个模型融合到第一个模型的特征比例。比率为 1.0 表示完全采用第二个模型的特征,而 0.0 则仅保留第一个模型的特征。 |
输出
| 输出名称 | 数据类型 | 描述 |
|---|---|---|
clip | CLIP | 合并后的 CLIP 模型结果,根据指定比例融合了两个输入模型的特征。 |
合并机制详解
合并算法
该节点使用加权平均法合并两个模型:- 克隆基础模型:首先克隆
clip1作为基础模型 - 获取补丁:从
clip2获取所有关键补丁 - 过滤特殊键:跳过以
.position_ids和.logit_scale结尾的键 - 应用加权合并:使用公式
(1.0 - ratio) * clip1 + ratio * clip2
比率参数说明
- ratio = 0.0:完全使用 clip1,忽略 clip2
- ratio = 0.5:两个模型各贡献 50%
- ratio = 1.0:完全使用 clip2,忽略 clip1
使用场景
- 模型风格融合:结合在不同数据上训练的 CLIP 模型的特征
- 性能优化:平衡不同模型的优缺点
- 实验研究:探索不同 CLIP 编码器的组合
Source fingerprint (SHA-256):
0d3c8388dbe88675ea7fb51161ab41ce898bcf63983b3d2817b16ec5bfa613e5