【免费下载链接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.项目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise点击查看免费下载大模型系统评估是 AI 工程面试中被问得最多的主题之一。本文基于开源项目ai-engineering-interview-questions-company-wise——一个收录了 Anthropic、OpenAI、Perplexity、Cognition 等 35 家顶级 AI 公司真实面试题的 Cheat Sheet——带你系统拆解三大高频考点LLM-as-Judge、**幻觉检测Hallucination Detection**与Agent 评测并附上可直接对照的题库原文位置帮你在面试前快速搭起一套能讲得出、画得出的评估框架。为什么如何评估大模型系统几乎必考翻遍题库你会发现一个规律Evaluation Observability 几乎是 35 家公司面试流程的标配环节。在跨公司通用题部分README.md光评估类问题就有 12 道且几乎每题都标注了出处公司。面试官想考察的不是背诵定义而是三个递进的能力离线评估上线前怎么证明系统好用评估集、指标、裁判回归门禁改一个 prompt、换一个模型版本怎么证明没变差在线监控上线后怎么持续度量质量、成本和用户反馈下面逐个拆解题库中的真题与答题思路。LLM-as-Judge用模型评委给大模型打分这道题怎么问Design an LLM-as-judge evaluation. What are its known biases and how do you correct for them? ——出自 Perplexity见 README.md当回答没有标准答案开放问答、摘要、客服对话时人工评估太贵业界通用做法是用一个更强的 LLM 当评委按评分标准rubric给候选回答打分。高分回答的三个要点设计评审协议先写清楚 rubric正确性、完整性、语气等维度让裁判模型输出分数 理由而不是模糊的好/坏点名已知偏差位置偏差A/B 对比时偏爱放在前面的回答、冗长偏差偏爱更长的答案、自我偏好偏爱和自己风格相似的输出给出修正手段交换 A/B 位置各评一次取均值、定期抽样人工校准裁判、用不同家族的模型交叉评审。想答得更有深度可以顺带引用 Perplexity 的另一道在线评估题如何持续、大规模地评估答案质量同时结合自动信号和人工信号README.md——把离线 Judge 和在线评估串起来就是完整的评估闭环。幻觉检测生产级 RAG 系统怎么测量胡说这道题怎么问How do you detect and measure hallucinations in a production RAG system? ——出自 Anthropic、OpenAI、Cursor见 README.md推荐的答题框架把幻觉量化声明级拆解Claim Decomposition把生成的回答拆成一条条原子声明公司成立于 2009 年退款周期 3 天……溯源校验Attribution每条声明必须能在检索到的源文本片段中找到支撑找不到的就标记为无依据声明。Harvey法律 AI的面试甚至要求每个断言都要链接到具体段落并设计系统测量无依据声明率unsupported-claim rateREADME.md计算指标幻觉率 无依据声明数 ÷ 总声明数再叠加抽样人工复核当作安全事件处理Abridge医疗 AI的真题最典型——生成的病历里出现了患者从未提到的药物如何在其被医生看到之前发现README.md。这提示你高置信的错误正是幻觉最危险的地方检测要跑在人看到之前。没有标注数据怎么办Cohere 和 Harvey 都问过变体没有标签、专家又很贵怎么构建评估集README.md——答法是从线上日志抽样 LLM-as-Judge 初筛 少量专家终审滚动沉淀成评估集。Agent 评测从单条回复到完整任务这道题怎么问How would you evaluate an agent, as opposed to a single model response? ——出自 Moonshot AI、Zhipu AI、Scale AI、Cognition见 README.md评估单条回复看这一次答得好不好评估 Agent 看的是一整个任务链路工具调用是否正确、多步推理有没有跑偏、最终任务完成度、花了多少步和多少钱。三个能拉开差距的反直觉追问题库里有三道题专门考察你是否真的懂 Agent 评测为什么 SWE-bench 的通过率会误导人—— Cognition 原题考察你理解离线基准通过率 ≠ 真实任务完成率README.md你的 Agent 通过了 92% 的评估任务。这个数字为什么可能是错的你还测什么—— Sierra 原题答案是评估集可能太简单、覆盖了高频路径却漏掉长尾场景应补充分布覆盖度分析和线上真实任务采样README.md怎么在 SWE-bench 和 τ-bench 上评估 Agent 而不自欺欺人—— Zhipu AI 原题指向基准污染与过拟合问题README.md。与之配套的还有两道具箱即用的设计题回归门禁——设计一个门禁决定某个 prompt 或模型变更能否上线AnthropicREADME.md在线评估——记什么日志、采什么样本、A/B 测什么PerplexityREADME.md。35 家公司评估类真题速查表公司代表性评估真题出处Anthropic设计实验检测某项涌现能力/偏差prompt 变更回归门禁README.mdOpenAI客户说升级模型版本后效果变差如何验证与响应README.mdGoogle DeepMind为新旗舰模型发布构建评估框架evaluation harnessREADME.mdCognition如何评估自主软件工程 AgentSWE-bench 为何误导README.mdSierra对话空间近乎无限上线前如何评估对话 AgentREADME.mdPerplexity大规模持续评估答案质量在线评估该 A/B 什么README.mdScale AI无 ground truth 的主观偏好任务如何度量标注质量README.mdHarvey设计 grounding 系统测量无依据声明率README.mdMoonshot AIAgent 模型好不好不能只看一个基准分数README.mdAbridge两位医生写的病历不同病历质量到底怎么评README.md三步备考路线如何用这份题库先读通用题重点刷 Evaluation and Observability 小节把这 12 道题按离线评估集 → LLM-as-Judge → 回归门禁 → 在线监控四层框架各想一遍答案再刷目标公司按表格定位你心仪公司章节重点看评估类真题结合该公司的业务场景法律、医疗、搜索、Agent 产品调整措辞最后做输出演练任选一道真题尝试在白板上画出评估集 裁判 门禁 监控的完整链路图这就是面试官最想看到的画面。本地拿到题库git clone https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise写在最后一句话总结面试心法评估大模型系统 离线评估集 LLM-as-Judge 裁判 回归门禁 在线监控四件套缺一不可。把这四件讲透再引用一两道真题细节比如无依据声明率92% 为什么误导你在评估类问题上的回答就会明显高于平均水平。祝面试顺利赞分享【免费下载链接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.项目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise点击查看免费下载相关推荐garak 检测器指南garak.detectors.judge——用 LLM-as-a-Judge 评估目标模型响应garak 检测器指南garak.detectors.judge——用 LLM as a Judge 评估目标模型响应 导读 garak.detectors.人工智能大模型模型评测红蓝对抗提示词注入防护模型安全AI 安全治理OpenCompass 主观评测指南基于 LLM-as-a-Judge 的模型能力评估OpenCompass 主观评测指南基于 LLM as a Judge 的模型能力评估 导读 主观评测旨在衡量模型在与人类偏好对齐的任务上的表现其核心评判标模型评测人工智能大模型AI 评测Agno Agent-as-Judge 评测指南用 LLM 裁判自动化评估 Agent 输出质量Agno Agent as Judge 评测指南用 LLM 裁判自动化评估 Agent 输出质量 导读 本文围绕 Agno 开源仓库中 cookbook/09人工智能大模型AI AgentAgent 框架多智能体工具调用RAGAgent 工作流Agent 记忆创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考