大模型多模态模型量化本地部署计算机视觉【免费下载链接】Ternary-Bonsai-2-9B-2bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ternary-Bonsai-2-9B-2bit点击查看免费下载Ternary-Bonsai-2-9B-2bit是一款专为 Apple Silicon 打造的 9B 级视觉语言模型采用三元权重Ternary压缩至 2-bit 存储仅占 3.46 GB 磁盘空间却继承了 262K 超长上下文能力。其核心是 24 层线性注意力 8 层全局注意力的混合架构让长文本推理在本地设备上也变得可行且高效。一、模型概览9B 能力装进 3.46 GB这款模型基于 Qwen3.5-9B 架构改造而来语言模型部分约 8.95B 参数搭配约 0.46B 参数的官方视觉塔整体以三元值−1、0、1编码为 MLX 的 2-bit 分组格式组大小 128。相比 FP16 版本约 17.9 GB 的体量磁盘占用压缩到了约五分之一。规格项参数语言模型参数约 8.95B32 层隐藏维度 4096视觉塔参数约 0.46B深度 27patch 16权重格式Ternary {−1, 0, 1}MLX affine 2-bitgroup 128最大上下文262144 tokens262K磁盘占用3.46 GB二、混合注意力24 层线性 8 层全局262K 长上下文能否真正落地关键就在注意力机制的设计上。config.json 中明确列出了 32 层的layer_types分布规律非常清晰——每 4 层里前 3 层是线性注意力linear_attention第 4 层是全局注意力full_attention由full_attention_interval: 4控制整个 32 层正好是 8 组循环线性注意力层24 层linear_num_key_heads: 16、linear_num_value_heads: 32键值头维度各 128卷积核大小 4SSM 状态以 float32 计算。这类层不需要保存完整 KV 缓存显存占用几乎不随上下文增长是长文本能跑上 262K 的根本原因。全局注意力层8 层16 个查询头 4 个键值头GQA 结构head_dim为 256保留了完整注意力的精确建模能力。这种248的排布是典型的混合注意力Hybrid Attention策略大部分层用廉价的线性注意力处理长程上下文少量层用全局注意力锚定关键信息两者互补既省显存又不失精度。三、三元权重与 Hadamard 旋转三元权重并非简单把浮点数值四舍五入成三个档位而是配合了Hadamard 旋转旋转被折叠进了存储的权重里运行时再对激活做匹配的变换。hadamard.json 记录了变换细节——采用归一化 Sylvester–Walsh–Hadamard块大小 4096作用于输入最后一维符号模式为显式explicit。这套机制让极低的位宽下仍能保持可用的精度。转码过程由 runtime/codec.py 完成它把 PQ2_0/PTQ1_0 无损地转码为 MLX 的 affine 2-bit 分块格式组大小 128runtime/runtime.py 里的fwht函数则负责在推理时施加前向/逆向 Hadamard 变换。四、MTP 投机解码可选加速仓库还附带了一个可选的多 token 预测头MTP存放在 mtp/ 目录以 4-bit、block 2 量化。主模型会逐 token 校验草稿因此输出与普通解码一致。它最适合代码改写、重复性高的文本生成场景能明显提速但在普通对话里收益有限默认仍走普通解码。使用方式见 MTP.md。五、快速上手在 Apple Silicon 上跑通非常简单安装 mlx-vlm 后加载即可pip install mlx-vlm0.7.8from mlx_vlm import load, generate from mlx_vlm.prompt_utils import apply_chat_template model, processor load(bonsai2-9b-mlx) prompt apply_chat_template(processor, model.config, What is in this image?, num_images1) print(generate(model, processor, prompt, [photo.jpg], max_tokens4096, temperature1.0, top_p0.95, top_k20))采样参数建议参考 generation_config.json思考模式用temperature1.0, top_p0.95, top_k20非思考模式可降到temperature0.7, top_p0.80。详细加载契约见 PACK-RUNTIME.md一条命令冒烟测试可跑 quickstart.py。小结Ternary-Bonsai-2-9B-2bit 把大参数、长上下文、本地运行这三件过去难以兼得的事用三元 2-bit 权重 24/8 混合注意力 Hadamard 旋转组合了起来3.46 GB 的体积、262K 的上下文窗口以及面向 Apple Silicon 原生优化的推理路径让它成为本地长文本与视觉任务里一个相当有吸引力的选择。赞分享大模型多模态模型量化本地部署计算机视觉【免费下载链接】Ternary-Bonsai-2-9B-2bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ternary-Bonsai-2-9B-2bit点击查看免费下载相关推荐Ternary-Bonsai-2-9B架构剖析混合注意力与262K超长上下文的秘密Ternary Bonsai 2 9B架构剖析混合注意力与262K超长上下文的秘密 本文带你快速看懂 Ternary Bonsai 2 9B 的架构这是 P大模型基础模型多模态模型量化本地部署计算机视觉2B 小模型凭什么支撑 262K 长上下文Ternary-Bonsai-2-2B-2bit 混合注意力架构深度拆解2B 小模型凭什么支撑 262K 长上下文Ternary Bonsai 2 2B 2bit 混合注意力架构深度拆解 Ternary Bonsai 2 2B 2人工智能大模型基础模型多模态模型量化本地部署计算机视觉如何微调InternVL3-1B-AWQ基于SWIFT与XTuner的多模态模型定制指南如何微调InternVL3 1B AWQ基于SWIFT与XTuner的多模态模型定制指南 InternVL3 1B AWQ 是 OpenGVLab 发布的 I上一篇MHY_Scanner游戏登录自动化革命告别手动扫码时代下一篇WVP-PRO视频监控平台实战指南从零构建企业级安防系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Ternary-Bonsai-2-9B-2bit架构深潜：262K长上下文背后的24+8混合注意力设计
大模型多模态模型量化本地部署计算机视觉【免费下载链接】Ternary-Bonsai-2-9B-2bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ternary-Bonsai-2-9B-2bit点击查看免费下载Ternary-Bonsai-2-9B-2bit是一款专为 Apple Silicon 打造的 9B 级视觉语言模型采用三元权重Ternary压缩至 2-bit 存储仅占 3.46 GB 磁盘空间却继承了 262K 超长上下文能力。其核心是 24 层线性注意力 8 层全局注意力的混合架构让长文本推理在本地设备上也变得可行且高效。一、模型概览9B 能力装进 3.46 GB这款模型基于 Qwen3.5-9B 架构改造而来语言模型部分约 8.95B 参数搭配约 0.46B 参数的官方视觉塔整体以三元值−1、0、1编码为 MLX 的 2-bit 分组格式组大小 128。相比 FP16 版本约 17.9 GB 的体量磁盘占用压缩到了约五分之一。规格项参数语言模型参数约 8.95B32 层隐藏维度 4096视觉塔参数约 0.46B深度 27patch 16权重格式Ternary {−1, 0, 1}MLX affine 2-bitgroup 128最大上下文262144 tokens262K磁盘占用3.46 GB二、混合注意力24 层线性 8 层全局262K 长上下文能否真正落地关键就在注意力机制的设计上。config.json 中明确列出了 32 层的layer_types分布规律非常清晰——每 4 层里前 3 层是线性注意力linear_attention第 4 层是全局注意力full_attention由full_attention_interval: 4控制整个 32 层正好是 8 组循环线性注意力层24 层linear_num_key_heads: 16、linear_num_value_heads: 32键值头维度各 128卷积核大小 4SSM 状态以 float32 计算。这类层不需要保存完整 KV 缓存显存占用几乎不随上下文增长是长文本能跑上 262K 的根本原因。全局注意力层8 层16 个查询头 4 个键值头GQA 结构head_dim为 256保留了完整注意力的精确建模能力。这种248的排布是典型的混合注意力Hybrid Attention策略大部分层用廉价的线性注意力处理长程上下文少量层用全局注意力锚定关键信息两者互补既省显存又不失精度。三、三元权重与 Hadamard 旋转三元权重并非简单把浮点数值四舍五入成三个档位而是配合了Hadamard 旋转旋转被折叠进了存储的权重里运行时再对激活做匹配的变换。hadamard.json 记录了变换细节——采用归一化 Sylvester–Walsh–Hadamard块大小 4096作用于输入最后一维符号模式为显式explicit。这套机制让极低的位宽下仍能保持可用的精度。转码过程由 runtime/codec.py 完成它把 PQ2_0/PTQ1_0 无损地转码为 MLX 的 affine 2-bit 分块格式组大小 128runtime/runtime.py 里的fwht函数则负责在推理时施加前向/逆向 Hadamard 变换。四、MTP 投机解码可选加速仓库还附带了一个可选的多 token 预测头MTP存放在 mtp/ 目录以 4-bit、block 2 量化。主模型会逐 token 校验草稿因此输出与普通解码一致。它最适合代码改写、重复性高的文本生成场景能明显提速但在普通对话里收益有限默认仍走普通解码。使用方式见 MTP.md。五、快速上手在 Apple Silicon 上跑通非常简单安装 mlx-vlm 后加载即可pip install mlx-vlm0.7.8from mlx_vlm import load, generate from mlx_vlm.prompt_utils import apply_chat_template model, processor load(bonsai2-9b-mlx) prompt apply_chat_template(processor, model.config, What is in this image?, num_images1) print(generate(model, processor, prompt, [photo.jpg], max_tokens4096, temperature1.0, top_p0.95, top_k20))采样参数建议参考 generation_config.json思考模式用temperature1.0, top_p0.95, top_k20非思考模式可降到temperature0.7, top_p0.80。详细加载契约见 PACK-RUNTIME.md一条命令冒烟测试可跑 quickstart.py。小结Ternary-Bonsai-2-9B-2bit 把大参数、长上下文、本地运行这三件过去难以兼得的事用三元 2-bit 权重 24/8 混合注意力 Hadamard 旋转组合了起来3.46 GB 的体积、262K 的上下文窗口以及面向 Apple Silicon 原生优化的推理路径让它成为本地长文本与视觉任务里一个相当有吸引力的选择。赞分享大模型多模态模型量化本地部署计算机视觉【免费下载链接】Ternary-Bonsai-2-9B-2bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ternary-Bonsai-2-9B-2bit点击查看免费下载相关推荐Ternary-Bonsai-2-9B架构剖析混合注意力与262K超长上下文的秘密Ternary Bonsai 2 9B架构剖析混合注意力与262K超长上下文的秘密 本文带你快速看懂 Ternary Bonsai 2 9B 的架构这是 P大模型基础模型多模态模型量化本地部署计算机视觉2B 小模型凭什么支撑 262K 长上下文Ternary-Bonsai-2-2B-2bit 混合注意力架构深度拆解2B 小模型凭什么支撑 262K 长上下文Ternary Bonsai 2 2B 2bit 混合注意力架构深度拆解 Ternary Bonsai 2 2B 2人工智能大模型基础模型多模态模型量化本地部署计算机视觉如何微调InternVL3-1B-AWQ基于SWIFT与XTuner的多模态模型定制指南如何微调InternVL3 1B AWQ基于SWIFT与XTuner的多模态模型定制指南 InternVL3 1B AWQ 是 OpenGVLab 发布的 I上一篇MHY_Scanner游戏登录自动化革命告别手动扫码时代下一篇WVP-PRO视频监控平台实战指南从零构建企业级安防系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考