Qwen3.8-27B GSQ-RCO GGUF 量化模型

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
许可证: apache-2.0
维护方: ISTA-DASLab
核验日期: 2026-10-31

它是什么

本仓库提供 Qwen3.8-27B 的 GGUF 量化版本,共四种大小。仓库同时提供该模型用于多模态的视觉投影器。与对所有权重张量使用单一量化类型的统一量化不同,这里每个模型为每个张量分配各自的量化类型。生成的文件是标准 GGUF,可在 llama.cpp、Ollama 和 LM Studio 中不经修改地运行。

主要能力

量化类型的分配通过基于梯度的搜索得到,按各张量的敏感度分配精度,并受总大小预算约束。
GSQ 是训练后的标量量化,通过 Gumbel-Softmax 松弛联合学习逐坐标的网格分配和逐组的缩放。
RCO 在总大小预算下,为 N 个张量中的每一个分配 K 种量化类型之一。
RCO 把预算约束重新表述为 logit 空间中的光滑黎曼流形,可直接在任务损失上进行基于梯度的优化,精确满足预算,且无需针对约束的超参数调节。
每种量化还提供可选的 mtp 版本(约大 0.35 GB),携带模型的多令牌预测头,用于 llama.cpp 中的推测解码。

怎么上手

视觉投影器直接由基础检查点转换而来,并已针对这些量化版本进行验证。
IQ3_XXS 文件为 3.00 bpw、10.1 GB。

摘自 README · bash

# download (requires: pip install -U "huggingface_hub[cli]")
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --local-dir .

llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf -p "Explain mixed-precision quantization." -ngl 99

摘自 README · bash

hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF mmproj-Qwen3.8-27B-BF16.gguf --local-dir .

llama-mtmd-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf \
  --mmproj mmproj-Qwen3.8-27B-BF16.gguf \
  --image photo.jpg -p "Describe this image."

摘自 README · bash

ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF   # pick the file matching your memory budget

适合谁

所有模型都与 BF16 基础模型以及同一基础模型的 Unsloth Dynamic(UD)量化版本进行对比评估。评估报告了 wikitext2、C4 和 FineWeb-Edu 上的困惑度、五项零样本任务的平均值、恢复率(零样本平均相对于 BF16),以及 AIME25、GPQA-Diamond 和 LiveCodeBench v6 三项推理与生成基准。发布者报告称，GSQ-RCO IQ3_S（3.50 bpw）相对 UD-IQ3_S 在 AIME25 上领先 3.33 分，在 LiveCodeBench 上领先 1.71 分，且小 0.2 GB，但 UD 在 GPQA-Diamond 上领先 0.51 分。

发布者报告称，IQ3_XXS 文件（3.00 bpw、10.1 GB）在 AIME25 上已与基础模型持平；在文件大小相同（8.4 GB）时，IQ2_XS 在 AIME25 上领先 UD-IQ2_S 10.00 分，在 GPQA-Diamond 上领先 8.59 分，在 LiveCodeBench v6 上领先 4.57 分。mtp 版本有各自的分配记录,列出与基础模型相同的逐张量分配,外加多令牌预测头的 15 个张量。这些量化权重继承基础模型的许可证。

GSQ-RCO 工具由 Deep Algorithms and Systems Lab 按其仓库许可证发布。

本站已收录的相关工具。