数据不出设备的「端侧梦」Edge0 的隐私账到底怎么算【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview2026 年 9 月无界方舟开源了 Edge0 流式 MoE 推理框架首发 35B 与 8B 两个预览档位配套的 README.md 写着一行极具传播力的标语Runs in phone-class memory——35B 级模型峰值活跃内存不到 3 GiB解码 15 tok/s4-bit 量化后平均仅损失 3.9 分。随后 Edge0-35B 登顶 Hugging Face Trending 榜社区跟进文章密集出现「3GB 内存跑 35B MoE 模型」「iPhone 也能跑 35B 大模型」。在这些技术兴奋点背后藏着一个被顺带消费的叙事——本地推理 数据不出设备 隐私安全。本文不打算复述 Edge0 有多快而是把隐私当作一本账来算本地推理到底承诺了什么、没承诺什么SSD 流式加载与磁盘缓存引入了哪些新的风险面离线与低成本优势的另一面是什么以及数据不出设备这句口号里哪些是工程事实哪些只是营销成分。「数据不出设备」这句话精确地说只承诺了一件事先看 Edge0 的工程事实。仓库中模型文件的实际构成是四个基础权重分片model-00001 至 model-00004-of-00004.safetensors合计约 19.5GB外加 lora_edge0_35b.safetensors约 42MB与 prerouter_edge0_35b.safetensors约 138MB两个适配器全部与基础权重同位存放model.safetensors.index.json 中登记的 total_size 约 20.4GB。README.md 对运行方式的描述是完整 4-bit 权重留在存储上专家按需流式加载内存中只有活跃权重——no sharding and no upfront download of the weights into memory。也就是说推理时没有一段用户输入会被拼装进 HTTP 请求发往云端这是整个隐私叙事里最硬核、也最可验证的一条提示词的处理路径完全在本地进程内完成与 Cloud API 的输入必然出境有本质区别。但注意这句话的边界——它承诺的是推理环节提示词不出设备而不是设备从此不联网。权重本身约 20GB必须先通过huggingface-cli download从远端模型仓库拉取到本地磁盘LoRA 与 prerouter 适配器也来自同一渠道。隐私账的第一行就要写清楚这是推理本地化不是全链路离线化。数据流的隐私核算要区分三个环节权重获取云端→设备一次性、推理设备内、服务暴露设备→局域网/互联网可选。Edge0 只对中间环节给出了强承诺。流式加载与磁盘缓存风险面没有变小只是换了位置Edge0 的三板斧——SSD 专家卸载、prerouter 路由预判、Recover-LoRA——在 README.md 里有清晰的机制描述专家权重按路由结果按需从存储流式读取内存只保留活跃集合prerouter 是一个经过训练的预测头提前一步预测下一层的专家路由使读盘与计算重叠解码吞吐最多提升 59%Recover-LoRA 在冻结的 int4 基座上用蒸馏恢复量化损失。这三项技术解决的是内存墙本身不涉及用户数据。但把它们放进隐私账本会发现几个此前少有人讨论的风险面其一内存上限与 OS swap 的交界处。2.9 GiB 是短上下文下的峰值活跃内存README.md 的 Limitations 明确写道Long contexts grow the KV cacheuse shorter contexts to keep peak memory at 3 GiB。当上下文变长、KV cache 膨胀叠加系统其他进程的内存竞争操作系统会启动 swap。此时推理过程中的中间状态含提示词对应的激活与 KV 缓存可能被换入磁盘交换文件而这恰恰发生在数据不出设备最被信任的场景里——设备没联网但数据以另一种形式落盘了。对普通用户这或许无害但对涉密环境这就把内存中处理悄悄变成了可能落盘而 README 的隐私叙述并未覆盖这一层。其二磁盘上躺着的不只是权重。流式加载依赖本地存储意味着模型文件长驻 SSD如果推理框架或宿主应用把对话历史写入日志或会话缓存那么模型文件 对话残留会同时存在于磁盘。仓库层面无法验证运行时是否落盘日志这份镜像只包含模型目录不包含 edge0 运行时源码但这恰恰是审计点开源的是模型与适配器运行时的数据留存策略需要使用者自行核验。其三本地服务端口的暴露面。README 提供了edge0 serve --port 8085的 OpenAI 兼容 API 一键服务。本地推理与本地服务是两回事一旦服务监听地址不限于 127.0.0.1提示词就会以明文 HTTP 在局域网内流动此时不出设备的边界已悄悄退到不出路由器。这是本地部署最常见的隐私泄漏姿势也是数据不出设备叙事中最容易被误解的工程细节。其四预取机制的隐私语义。社区实测文章提到 Edge0 还配合 N-Gram 预取与热专家缓存来提升命中率。这类预取读的是专家权重而非用户内容隐私语义上是干净的但它也让运行时读了磁盘的哪些区域变得不可见对安全审计而言是一个观察盲区需要依赖运行时开源来弥合。离线可用与成本优势的另一面Edge0 的另一条卖点是免费、离线、低成本。社区横评给出的数据是Mac mini M4 Pro 上峰值活跃内存 2.9 GiB、解码 14.9–17.7 tok/s、预热后 prefill 达 140 tok/siOS 端实测约 6.4 tok/s、峰值内存 4GB轻量档 edge0-8b24 层、K8峰值内存压到约 1.0 GiB解码速度约为 35B 档的 1.5 倍。这些数字说明用消费级设备跑大模型从实验室变成了可交互体验。但成本账的另一面同样具体存储是硬门槛不是软约束。35B 档 4-bit 权重约 20GB且流式加载对存储介质敏感——社区实测普遍强调需要 NVMe SSDSATA 与机械硬盘因带宽不足会让按需读专家变成按秒卡顿。这意味着端侧梦的实际成本清单里最便宜的反而不是模型而是那块快速闪存。算力成本被转移给电池与硬件寿命。云上按 token 计费消失后代价转嫁为持续解码功耗、散热与 SSD 磨损。对手机、眼镜、耳机这类形态6–15 tok/s 的交互体验与待机时间的权衡是离线叙事很少展示的另一半。离线 ≠ 免维护。模型要升级、适配器要更换每一次更新都是一次新的云端下载。所谓永久免费离线在版本迭代的时间轴上并不成立。隐私叙事的营销成分与真实边界把上面所有条目汇总Edge0 的隐私账可以结算成三笔入账真实承诺推理阶段提示词不经过任何外部推理服务离线可运行意味着断网不降级全部权重与适配器开源、可本地审计。对数据出境合规这一最现实的监管关切本地推理确实提供了干净的解法——数据驻留data residency在设备内成立。出账被弱化的代价约 20GB 权重从云端拉取供应链环节存在模型被篡改或投毒的理论风险仓库未提供强校验说明运行时与适配器由厂商训练并发布使用者需要信任其数据留存与遥测策略长上下文 内存压力可能触发 swap 落盘serve模式的端口暴露与明文 HTTP 属于部署层责任不写进模型卡的隐私承诺。真正被营销放大的部分把本地推理偷换为全面隐私是当前端侧 AI 叙事的通病。事实上提示词一旦输入设备它的安全边界就取决于设备本身——本地恶意软件、共享设备的其他用户、未加密的磁盘都能在数据不出设备的框架内合法地接触这些数据。本地推理消除的是云端收集这一条攻击面而不是隐私的全部它把风险从信任一个云服务商转移成了信任自己的设备与供应链。这也是 Edge0 这类项目最值得肯定的一点它没有把隐私写成玄学而是把内存占用的物理上限做成了可测量、可复现的工程指标——3 GiB、15 tok/s、3.9 分每一个数字都在 README.md 的基准表里可查证。隐私账的正确答案不是本地 绝对安全而是像这份 README 一样把每一条承诺的边界都写清楚哪些数据在设备内、哪些数据曾经过网络、哪些行为会把数据重新放到磁盘上。算清了这本账端侧梦才真正可信。【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 数据不出设备的「端侧梦」：Edge0 的隐私账到底怎么算
数据不出设备的「端侧梦」Edge0 的隐私账到底怎么算【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview2026 年 9 月无界方舟开源了 Edge0 流式 MoE 推理框架首发 35B 与 8B 两个预览档位配套的 README.md 写着一行极具传播力的标语Runs in phone-class memory——35B 级模型峰值活跃内存不到 3 GiB解码 15 tok/s4-bit 量化后平均仅损失 3.9 分。随后 Edge0-35B 登顶 Hugging Face Trending 榜社区跟进文章密集出现「3GB 内存跑 35B MoE 模型」「iPhone 也能跑 35B 大模型」。在这些技术兴奋点背后藏着一个被顺带消费的叙事——本地推理 数据不出设备 隐私安全。本文不打算复述 Edge0 有多快而是把隐私当作一本账来算本地推理到底承诺了什么、没承诺什么SSD 流式加载与磁盘缓存引入了哪些新的风险面离线与低成本优势的另一面是什么以及数据不出设备这句口号里哪些是工程事实哪些只是营销成分。「数据不出设备」这句话精确地说只承诺了一件事先看 Edge0 的工程事实。仓库中模型文件的实际构成是四个基础权重分片model-00001 至 model-00004-of-00004.safetensors合计约 19.5GB外加 lora_edge0_35b.safetensors约 42MB与 prerouter_edge0_35b.safetensors约 138MB两个适配器全部与基础权重同位存放model.safetensors.index.json 中登记的 total_size 约 20.4GB。README.md 对运行方式的描述是完整 4-bit 权重留在存储上专家按需流式加载内存中只有活跃权重——no sharding and no upfront download of the weights into memory。也就是说推理时没有一段用户输入会被拼装进 HTTP 请求发往云端这是整个隐私叙事里最硬核、也最可验证的一条提示词的处理路径完全在本地进程内完成与 Cloud API 的输入必然出境有本质区别。但注意这句话的边界——它承诺的是推理环节提示词不出设备而不是设备从此不联网。权重本身约 20GB必须先通过huggingface-cli download从远端模型仓库拉取到本地磁盘LoRA 与 prerouter 适配器也来自同一渠道。隐私账的第一行就要写清楚这是推理本地化不是全链路离线化。数据流的隐私核算要区分三个环节权重获取云端→设备一次性、推理设备内、服务暴露设备→局域网/互联网可选。Edge0 只对中间环节给出了强承诺。流式加载与磁盘缓存风险面没有变小只是换了位置Edge0 的三板斧——SSD 专家卸载、prerouter 路由预判、Recover-LoRA——在 README.md 里有清晰的机制描述专家权重按路由结果按需从存储流式读取内存只保留活跃集合prerouter 是一个经过训练的预测头提前一步预测下一层的专家路由使读盘与计算重叠解码吞吐最多提升 59%Recover-LoRA 在冻结的 int4 基座上用蒸馏恢复量化损失。这三项技术解决的是内存墙本身不涉及用户数据。但把它们放进隐私账本会发现几个此前少有人讨论的风险面其一内存上限与 OS swap 的交界处。2.9 GiB 是短上下文下的峰值活跃内存README.md 的 Limitations 明确写道Long contexts grow the KV cacheuse shorter contexts to keep peak memory at 3 GiB。当上下文变长、KV cache 膨胀叠加系统其他进程的内存竞争操作系统会启动 swap。此时推理过程中的中间状态含提示词对应的激活与 KV 缓存可能被换入磁盘交换文件而这恰恰发生在数据不出设备最被信任的场景里——设备没联网但数据以另一种形式落盘了。对普通用户这或许无害但对涉密环境这就把内存中处理悄悄变成了可能落盘而 README 的隐私叙述并未覆盖这一层。其二磁盘上躺着的不只是权重。流式加载依赖本地存储意味着模型文件长驻 SSD如果推理框架或宿主应用把对话历史写入日志或会话缓存那么模型文件 对话残留会同时存在于磁盘。仓库层面无法验证运行时是否落盘日志这份镜像只包含模型目录不包含 edge0 运行时源码但这恰恰是审计点开源的是模型与适配器运行时的数据留存策略需要使用者自行核验。其三本地服务端口的暴露面。README 提供了edge0 serve --port 8085的 OpenAI 兼容 API 一键服务。本地推理与本地服务是两回事一旦服务监听地址不限于 127.0.0.1提示词就会以明文 HTTP 在局域网内流动此时不出设备的边界已悄悄退到不出路由器。这是本地部署最常见的隐私泄漏姿势也是数据不出设备叙事中最容易被误解的工程细节。其四预取机制的隐私语义。社区实测文章提到 Edge0 还配合 N-Gram 预取与热专家缓存来提升命中率。这类预取读的是专家权重而非用户内容隐私语义上是干净的但它也让运行时读了磁盘的哪些区域变得不可见对安全审计而言是一个观察盲区需要依赖运行时开源来弥合。离线可用与成本优势的另一面Edge0 的另一条卖点是免费、离线、低成本。社区横评给出的数据是Mac mini M4 Pro 上峰值活跃内存 2.9 GiB、解码 14.9–17.7 tok/s、预热后 prefill 达 140 tok/siOS 端实测约 6.4 tok/s、峰值内存 4GB轻量档 edge0-8b24 层、K8峰值内存压到约 1.0 GiB解码速度约为 35B 档的 1.5 倍。这些数字说明用消费级设备跑大模型从实验室变成了可交互体验。但成本账的另一面同样具体存储是硬门槛不是软约束。35B 档 4-bit 权重约 20GB且流式加载对存储介质敏感——社区实测普遍强调需要 NVMe SSDSATA 与机械硬盘因带宽不足会让按需读专家变成按秒卡顿。这意味着端侧梦的实际成本清单里最便宜的反而不是模型而是那块快速闪存。算力成本被转移给电池与硬件寿命。云上按 token 计费消失后代价转嫁为持续解码功耗、散热与 SSD 磨损。对手机、眼镜、耳机这类形态6–15 tok/s 的交互体验与待机时间的权衡是离线叙事很少展示的另一半。离线 ≠ 免维护。模型要升级、适配器要更换每一次更新都是一次新的云端下载。所谓永久免费离线在版本迭代的时间轴上并不成立。隐私叙事的营销成分与真实边界把上面所有条目汇总Edge0 的隐私账可以结算成三笔入账真实承诺推理阶段提示词不经过任何外部推理服务离线可运行意味着断网不降级全部权重与适配器开源、可本地审计。对数据出境合规这一最现实的监管关切本地推理确实提供了干净的解法——数据驻留data residency在设备内成立。出账被弱化的代价约 20GB 权重从云端拉取供应链环节存在模型被篡改或投毒的理论风险仓库未提供强校验说明运行时与适配器由厂商训练并发布使用者需要信任其数据留存与遥测策略长上下文 内存压力可能触发 swap 落盘serve模式的端口暴露与明文 HTTP 属于部署层责任不写进模型卡的隐私承诺。真正被营销放大的部分把本地推理偷换为全面隐私是当前端侧 AI 叙事的通病。事实上提示词一旦输入设备它的安全边界就取决于设备本身——本地恶意软件、共享设备的其他用户、未加密的磁盘都能在数据不出设备的框架内合法地接触这些数据。本地推理消除的是云端收集这一条攻击面而不是隐私的全部它把风险从信任一个云服务商转移成了信任自己的设备与供应链。这也是 Edge0 这类项目最值得肯定的一点它没有把隐私写成玄学而是把内存占用的物理上限做成了可测量、可复现的工程指标——3 GiB、15 tok/s、3.9 分每一个数字都在 README.md 的基准表里可查证。隐私账的正确答案不是本地 绝对安全而是像这份 README 一样把每一条承诺的边界都写清楚哪些数据在设备内、哪些数据曾经过网络、哪些行为会把数据重新放到磁盘上。算清了这本账端侧梦才真正可信。【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考