Diogo Almeida迭戈·阿尔梅达这周过得并不轻松。作为TypeSafe的联合创始人兼CEO他刚刚发布了Jev——一个在整条时间线上刷屏的产品而他自己形容当下的状态是情绪上从未这么糟过像一具被各种突发状况拖垮的技术型CEO的残躯。但与情绪状态相反的是他罕见地感到自己与现实同步了整个AI领域长期像一座游乐场里的镜子屋人人都在说些不着调的话而这一周开发者社区终于开始理解他一直想表达的东西。这场对话发生在Latent Space播客就在Jev发布数天之后。Diogo Almeida此前在OpenAI参与过指令遵循模型instruction-following models的构建后来创办TypeSafe用了几年时间去回答一个看似矛盾的问题AI已经能解决千禧年数学难题级别的极难问题为什么却连最基础、最琐碎的工作都自动化不了他的答案不是再等一代模型而是一个更根本的判断——聊天式的AI从底层设计上就不是为这类工作准备的。Jev是这个判断的产物。它不是又一个聊天机器人也不是又一次的模型能力竞赛而是Diogo Almeida所说的System One模型——一类从内部设计上就把代码当作消费者的模型。理解这一点也就理解了他为什么说自己没能在OpenAI把Jev做出来不是能力不够而是方向本身就不在原有的赛道上。1. 把开发者放在VIP投资人前面发布周最忙的时候Diogo Almeida做了一个在他自己看来有点脏的决定把社区的Town Hall放在了一堆重要投资人前面。他形容自己面对满档的重要会议邀约时反而觉得不安——真正想优先照顾的是开发者和社区而不是那些听起来更重要的日程。TypeSafe的Discord已经涌入十万人他的Twitter账号也从几乎无人问津变成三个话题同时上榜以至于有人特意提醒他那是你自己的个性化推荐。这不是一段无关的花边。它解释了Diogo Almeida判断产品价值的方式不是资本市场的认可,而是开发者懂了这件事本身。他反复用jazzed兴奋、来劲这个词描述自己的状态理由不是估值或融资而是AI可以远比人们此前设想的更强大这件事第一次被写代码的人真切感受到了。2. 代码是消费者而不是人类的眼睛Jev要解决的问题用Diogo Almeida的话概括就是一句现有的AI是一台超强的自动化引擎,却没有合适的插头去接入真正有经济价值的工作。他把现存的模型体系拆成三类——预训练大语言模型本质是互联网文本的自动补全RLHF模型也就是聊天机器人和指令遵循模型是用来回复文本的RLVR模型则处在一个尴尬的灰色地带某种程度上仍然继承了RLHF的问题。这三类模型的共同特征是它们的输出终点是人类的眼睛和判断而不是软件本身。Jev所代表的System One模型试图颠覆这一点——让代码而不是人来消费模型的输出让AI深度嵌入到软件的内部逻辑里而不是停留在对话框里。为此TypeSafe从模型的最深层内部结构开始就按照被软件调用这一目标去优化而不是先训练一个通用聊天模型再往外包一层API。Jev这个名字本身也带着态度取自Jevons悖论Jevons paradox意味着这类模型追求的核心指标不是跑分意义上的智能而是每一美元能换来多少可用的智能——在可靠性、成本、校准calibration和速度之间做取舍而不是盲目追求单一维度的领先。3. RLHF的隐藏代价模式丢弃如何偷走校准一个几乎没人认真讨论过的问题被Diogo Almeida摆上了台面RLHF训练出来的模型付出的代价远不止有点讨好用户这么简单它的真正毒药是模式丢弃mode dropping也叫mode collapse对校准的破坏。他解释,一个覆盖了完整分布、校准良好的模型会诚实地承认自己有一定比例的输出会落在分布之外——这正是GAN出现之前那些图像生成模型会产出模糊图片的原因它们没有作弊只是老实地覆盖了整个分布的不确定性。而GAN和后来的RLHF模型走的是相反的路丢掉那些少数、不常见的模式,只保留最主流、最安全的那部分输出。代价是,要生成长字符串而不出错,模型必须变得极度保守——因为明显的错误很容易被人类发现,但看起来正确却实际存在偏差的微妙错误却很难被察觉。这种被校准掉的诚实,恰恰是字符串输出模型不适合用来做决策的根本原因。4. 杨立昆的判断是对的,但他给出的解释是错的Diogo Almeida对Yann LeCun杨立昆的评价出乎意料地正面在他看来,杨立昆的很多论断反而是这个领域里最接近事实的一批。但他随即把话锋转向了那张流传甚广、也被戏称为臭名昭著的幻灯片——杨立昆用一张饼图说明,随着输出序列长度增加,语言模型出错的概率会不断累积、趋近于必然出错。Diogo Almeida对这张图的评价很直接这个结论在数学上看似成立,但在经验上明明是错的,而理解这个错在哪,恰恰是他最喜欢教给别人的东西。问题的根源正是第3节提到的模式丢弃。如果模型是一个覆盖了完整分布、诚实校准的系统,那么杨立昆的直觉推理确实成立——误差会随长度累积。但现实中的RLHF模型走的是另一条路它们通过极度保守的策略主动规避容易被察觉的错误,代价是牺牲对分布尾部的诚实覆盖。这解释了为什么长序列生成的实际表现,和误差会随长度指数累积的朴素数学直觉之间存在明显的断层——不是数学错了,是对模型行为机制的假设错了。5. JEPA很酷,但还没到能用的阶段面对杨立昆给出的解药——用联合嵌入预测JEPAjoint embedding predictive architecture之类的世界模型来替代对token输出的自回归推理——Diogo Almeida的态度谨慎而克制。他坦言自己不太想深入讨论模型内部的具体技术路线,但给出了一个明确的立场他的品牌除了不加掩饰之外,还有务实。对scaling law规模法则他的态度是看情况规模法则告诉你的,往往是用指数级增长的资源,换来次线性的收益,这在大多数情况下是一笔糟糕的投资,除非那部分线性增长真的极其珍贵。对JEPA本身,他的判断是——这是很酷的早期研究,他真心喜欢这类扎实的研究工作,但它是否已经足够实用,目前还不好说。这句话背后,是TypeSafe一贯的行事逻辑不为了追逐前沿叙事去下注,而是问一个更朴素的问题——用手头已有的东西,能做出的最大差异化价值是什么。Diogo Almeida离开OpenAI去做TypeSafe,本质上是在赌一件事AI下一波真正的价值爆发,不会长得像聊天而会隐入代码和软件的内部逻辑里。System One模型是否会成为这场变革的答案,还需要时间验证但他至少已经证明了一件事——当开发者社区比投资人更先看懂一个产品,这个产品可能真的抓住了什么此前被所有人忽略的东西。 为什么Jev诞生在OpenAI之外：System One模型与RLHF的隐藏代价
Diogo Almeida迭戈·阿尔梅达这周过得并不轻松。作为TypeSafe的联合创始人兼CEO他刚刚发布了Jev——一个在整条时间线上刷屏的产品而他自己形容当下的状态是情绪上从未这么糟过像一具被各种突发状况拖垮的技术型CEO的残躯。但与情绪状态相反的是他罕见地感到自己与现实同步了整个AI领域长期像一座游乐场里的镜子屋人人都在说些不着调的话而这一周开发者社区终于开始理解他一直想表达的东西。这场对话发生在Latent Space播客就在Jev发布数天之后。Diogo Almeida此前在OpenAI参与过指令遵循模型instruction-following models的构建后来创办TypeSafe用了几年时间去回答一个看似矛盾的问题AI已经能解决千禧年数学难题级别的极难问题为什么却连最基础、最琐碎的工作都自动化不了他的答案不是再等一代模型而是一个更根本的判断——聊天式的AI从底层设计上就不是为这类工作准备的。Jev是这个判断的产物。它不是又一个聊天机器人也不是又一次的模型能力竞赛而是Diogo Almeida所说的System One模型——一类从内部设计上就把代码当作消费者的模型。理解这一点也就理解了他为什么说自己没能在OpenAI把Jev做出来不是能力不够而是方向本身就不在原有的赛道上。1. 把开发者放在VIP投资人前面发布周最忙的时候Diogo Almeida做了一个在他自己看来有点脏的决定把社区的Town Hall放在了一堆重要投资人前面。他形容自己面对满档的重要会议邀约时反而觉得不安——真正想优先照顾的是开发者和社区而不是那些听起来更重要的日程。TypeSafe的Discord已经涌入十万人他的Twitter账号也从几乎无人问津变成三个话题同时上榜以至于有人特意提醒他那是你自己的个性化推荐。这不是一段无关的花边。它解释了Diogo Almeida判断产品价值的方式不是资本市场的认可,而是开发者懂了这件事本身。他反复用jazzed兴奋、来劲这个词描述自己的状态理由不是估值或融资而是AI可以远比人们此前设想的更强大这件事第一次被写代码的人真切感受到了。2. 代码是消费者而不是人类的眼睛Jev要解决的问题用Diogo Almeida的话概括就是一句现有的AI是一台超强的自动化引擎,却没有合适的插头去接入真正有经济价值的工作。他把现存的模型体系拆成三类——预训练大语言模型本质是互联网文本的自动补全RLHF模型也就是聊天机器人和指令遵循模型是用来回复文本的RLVR模型则处在一个尴尬的灰色地带某种程度上仍然继承了RLHF的问题。这三类模型的共同特征是它们的输出终点是人类的眼睛和判断而不是软件本身。Jev所代表的System One模型试图颠覆这一点——让代码而不是人来消费模型的输出让AI深度嵌入到软件的内部逻辑里而不是停留在对话框里。为此TypeSafe从模型的最深层内部结构开始就按照被软件调用这一目标去优化而不是先训练一个通用聊天模型再往外包一层API。Jev这个名字本身也带着态度取自Jevons悖论Jevons paradox意味着这类模型追求的核心指标不是跑分意义上的智能而是每一美元能换来多少可用的智能——在可靠性、成本、校准calibration和速度之间做取舍而不是盲目追求单一维度的领先。3. RLHF的隐藏代价模式丢弃如何偷走校准一个几乎没人认真讨论过的问题被Diogo Almeida摆上了台面RLHF训练出来的模型付出的代价远不止有点讨好用户这么简单它的真正毒药是模式丢弃mode dropping也叫mode collapse对校准的破坏。他解释,一个覆盖了完整分布、校准良好的模型会诚实地承认自己有一定比例的输出会落在分布之外——这正是GAN出现之前那些图像生成模型会产出模糊图片的原因它们没有作弊只是老实地覆盖了整个分布的不确定性。而GAN和后来的RLHF模型走的是相反的路丢掉那些少数、不常见的模式,只保留最主流、最安全的那部分输出。代价是,要生成长字符串而不出错,模型必须变得极度保守——因为明显的错误很容易被人类发现,但看起来正确却实际存在偏差的微妙错误却很难被察觉。这种被校准掉的诚实,恰恰是字符串输出模型不适合用来做决策的根本原因。4. 杨立昆的判断是对的,但他给出的解释是错的Diogo Almeida对Yann LeCun杨立昆的评价出乎意料地正面在他看来,杨立昆的很多论断反而是这个领域里最接近事实的一批。但他随即把话锋转向了那张流传甚广、也被戏称为臭名昭著的幻灯片——杨立昆用一张饼图说明,随着输出序列长度增加,语言模型出错的概率会不断累积、趋近于必然出错。Diogo Almeida对这张图的评价很直接这个结论在数学上看似成立,但在经验上明明是错的,而理解这个错在哪,恰恰是他最喜欢教给别人的东西。问题的根源正是第3节提到的模式丢弃。如果模型是一个覆盖了完整分布、诚实校准的系统,那么杨立昆的直觉推理确实成立——误差会随长度累积。但现实中的RLHF模型走的是另一条路它们通过极度保守的策略主动规避容易被察觉的错误,代价是牺牲对分布尾部的诚实覆盖。这解释了为什么长序列生成的实际表现,和误差会随长度指数累积的朴素数学直觉之间存在明显的断层——不是数学错了,是对模型行为机制的假设错了。5. JEPA很酷,但还没到能用的阶段面对杨立昆给出的解药——用联合嵌入预测JEPAjoint embedding predictive architecture之类的世界模型来替代对token输出的自回归推理——Diogo Almeida的态度谨慎而克制。他坦言自己不太想深入讨论模型内部的具体技术路线,但给出了一个明确的立场他的品牌除了不加掩饰之外,还有务实。对scaling law规模法则他的态度是看情况规模法则告诉你的,往往是用指数级增长的资源,换来次线性的收益,这在大多数情况下是一笔糟糕的投资,除非那部分线性增长真的极其珍贵。对JEPA本身,他的判断是——这是很酷的早期研究,他真心喜欢这类扎实的研究工作,但它是否已经足够实用,目前还不好说。这句话背后,是TypeSafe一贯的行事逻辑不为了追逐前沿叙事去下注,而是问一个更朴素的问题——用手头已有的东西,能做出的最大差异化价值是什么。Diogo Almeida离开OpenAI去做TypeSafe,本质上是在赌一件事AI下一波真正的价值爆发,不会长得像聊天而会隐入代码和软件的内部逻辑里。System One模型是否会成为这场变革的答案,还需要时间验证但他至少已经证明了一件事——当开发者社区比投资人更先看懂一个产品,这个产品可能真的抓住了什么此前被所有人忽略的东西。