如果你最近在写论文或者正准备开题请跟我一起想一个问题你的研究问题是什么很多人能说出研究方向却很难在十分钟之内给出一个边界清楚、有可检验空间、又值得做的研究问题。我过去大半年带着几个学生做了一套内部代号“好写作AI”的系统核心就是基于深度学习的研究问题自动提炼与论证框架构建。它不做润色也不代写段落而是把论文中最容易被写糊的两个环节变成可复现的流程先把文献中的研究空白提炼成清晰问题再把问题到结论之间的论证链搭成可检查的骨架。这篇分享是项目复盘不是工具测评。我会把技术选型、标注数据、模型训练、落地踩坑都过一遍适合正在做NLP应用的开发者也适合被“研究问题说不清”折磨的研究生。你不需要复刻我们的全部细节但至少可以少走几条弯路。1. 市面上的AI写作工具都在“改文字”研究问题提炼几乎是空档1.1 一个很扎心的现象去研究写作助手的开源项目或者产品说明你会看到大量功能集中在语法纠错、润色降重、中英文翻译、摘要缩写。这些功能解决的问题是“把一句话写顺”而不是“想清楚该写哪句话”。结果就是一个逻辑链条本来就塌方的初稿被AI润色之后反而更危险——读起来通顺了但评审追问到动机时作者仍然答不上来。我观察过一个小样本让十几位研究生各自写一段引言再让他们的同学充当审稿人问三个问题作者的创新点是什么为什么现在是做这件事的时机如果这个思路不成立替代方案是什么能完整回答前两个问题的不到一半能回答第三个的更少。这说明问题不在词句层面而在“研究问题”本身是模糊的。1.2 为什么这个空档难填研究问题自动提炼难是因为它不是一个单纯的文本生成任务。一篇论文里的研究空白往往分散在引言、相关工作、方法和结论里甚至藏在负结果段落中。模型得先判断哪些句子是在描述问题再判断这个问题和已有工作的关系最后还要把它改写成一个可操作的表述。“论证框架构建”就更抽象了它不是列大纲而是把论点之间的支持、反驳、补充关系找出来。很多团队不是没看到这个需求而是觉得投入大、标注贵、效果难衡量。我们决定做的时候也犹豫过后来定下一个原则不追求让AI完全理解一篇论文只追求把“研究问题提炼”和“论证关系标注”做成两个边界清晰的任务。宁可任务切小不要一口吃成胖子。1.3 我们的目标定义我们把“好写作AI”的目标收敛成三条输入一篇论文的标题、摘要、引言或一个研究方向的若干文献片段输出1到3个经过改写的研究问题每个问题必须能在原文中找到依据不能是模型自己编的。对一段论文正文按句子级别标出角色并画出“研究问题—主张—证据—结论”的论证链。输出形式必须是结构化的用户能一目了然地看到提炼依据和框架缺口而不是拿到一段黑盒生成的文字。这个定义直接决定了后面所有技术路线选择。2. 研究问题自动提炼我把任务拆成了识别、判断、改写三件事直接让一个模型读完整篇论文、然后输出“你的研究问题是X”不是不行而是不可控。模型很容易生成看起来很高级、实际没有依据的伪问题。所以我把研究问题提炼拆成三个子任务。2.1 任务一定位“有问题感的句子”第一步在论文正文中找出那些承担“问题描述”功能的句子。常见形式包括“however, few studies...”“现有方法在低资源场景下仍然面临……挑战”“尚不清楚……如何影响……”“这带来一个关键问题……”我们把它定义为一个span抽取任务用BIO标签在句子级和词级同时做监督。句子级定位“哪些句子属于问题描述”词级定位“问题关键词落在哪些短语上”。这个双层的设计有个直接好处就算模型抽错了边界至少句子级别还能兜底不会把整段引言全都框进来。2.2 任务二判别“真空白”和“伪空白”这是整个链路里最影响体验的一步。提炼出的问题必须满足两个条件确实有文献支撑——相关领域已经有研究但存在未覆盖的盲区有没有“可进入性”——即这个问题大概率能用现有方法或改良方法去触碰而不是纯粹哲学式追问。我们做了一个二分类任务输入是“候选问题句子 相关句子片段”输出是“真空白/伪空白/待验证”。为了提升可解释性模型还要额外输出一个“证据句索引”指向相关工作里与这个问题形成对比的句子。如果找不到证据句候选问题就会被标记为“待验证”宁可少给不要给错。2.3 任务三把陈述句改写成研究问题很多论文里的问题是以陈述句形式存在的比如“传统特征提取方式难以覆盖长尾语义”。要变成研究问题得改成“如何设计一种特征提取方式使其在长尾语义场景下保持稳定”这一步我们交给了一个后置的改写模块用预训练语言模型微调完成。我们需要它做到三点保留核心关键词不擅自换词把模糊表述改成可检验的句式例如加入场景、对象、评价指标控制长度尽量两行以内避免一口气抛出三个问题。三个子任务串起来之后用户看到的不再是一句孤零零的问题而是一个结果卡片候选问题、问题来源句子、证据句、改写后的版本。我管这个东西叫“带档案的问题”它比直接生成一句话有价值得多因为这能让你辨别“AI到底是从哪儿得出这个问题的”。3. 论证框架构建角色标注加论证关系把提纲变成可机检的骨架研究问题提炼之后第二步是帮用户搭论证框架。我们的初版做法让模型直接生成大纲结果非常像“八股文模板”而且很难和原文对应起来。后来改成了“先标注、后构图”的路线。3.1 句子角色标注给每个句子发“工牌”我们把论文正文的句子映射到一组论证角色角色含义示例背景提供既有认知或常识深度学习已经在视觉任务上取得显著效果研究问题提出要解决的空白但在低资源场景下仍未解决跨域泛化问题主张作者的核心判断本文提出一种基于对比学习的轻量框架依据支撑主张的证据实验显示该方法在五个数据集上超过基线方法具体操作描述我们使用编码器提取特征并计算对比损失结论从证据归纳出的判断这证明对比学习可用于缓解跨域漂移局限承认存在边界但该方法对标注噪声仍然敏感其他无法归类的成分例如致谢、引用列表前的过渡句一开始我们只有6类后来发现“其他”类比例实在太高才拆出“背景”和“方法”。分类模型是一个序列标注加句子分类的多任务结构共享同一个编码器。它对角色判断的F1大概在0.85左右看着还行但真正难的不是角色而是关系。3.2 论证关系判断支持、反驳、前提句子角色只是骨架上的节点节点之间必须有边。我们定义了三种论证关系支持support后继句强化或佐证前句反驳attack后继句指出前句的问题或限制前提condition后继句的成立依赖于前句给出的设定。这个任务本质上是一个句子对分类。我们抽取相邻三句以内的全部句子对又利用“位置与共指词”过滤掉明显无关的组合再输入模型判断关系。值得强调的是我们不能只看相邻句因为论文里的“支持关系”经常跨越好几个句子比如第三页的图依赖第一页的问题设定。所以我们在数据标注时允许句子对跨段落这给训练带来很大麻烦但使得输出框架更像真实论证而不是流水账。3.3 从局部关系到全局框架拿到所有句子对关系后我们用一种带置信度阈值的贪心算法做构图从“研究问题”节点出发优先连接高置信度的“支持”边再叠加“反驳”边最后形成一张有向无环图。展示给用户时我们把它转换成两级大纲第一层研究问题、核心主张、支撑模块、结论第二层每个模块下挂哪些证据句证据句之间谁支持谁。曾经也考虑过直接输出一张可视化图后来发现大多数用户还是习惯先看大纲。所以最终产品给大纲和关系图两个视图大纲用于快速阅读关系图用于深度检查。4. 数据集是怎么攒出来的五万条标注里的踩坑记录没有一套像样的数据集前面说的模型结构都只是空中楼阁。这块我单独拿出来讲因为它的工作量占到整个项目六成以上。4.1 公开语料不直接可用我们最开始想直接用公开论文评测集很快发现麻烦很大。公开语料大多打的是“摘要”或“关键词”标签很少有“句子角色”和“论证关系”这两类标签。已有的几份小规模论证语料又偏哲学和新闻评论学术论文里的论证习惯和它们差别很大直接迁移过来会水土不服。于是我们决定自建标注集。语料来源分三块开放获取的期刊论文、学位论文、还有一部分综述文章。学位论文实用性很强因为它的篇章结构更规律研究问题常常出现在第一章第二节我们把它当成“研究问题正样本”的高密度来源。综述文章则用来做负样本因为综述大量罗列文献但有明确研究问题的句子反而少这能帮模型学会拒绝。4.2 标注规范从角色定义到边界争议标注规范写了四版最核心的是一个决策树这句话能不能去掉而不影响作者的主要观点能就标“其他”或“背景”不能去掉那么它在论证链里是起点、中转还是终点起点多半是“研究问题”中转是“方法”或“依据”终点是“结论”或“主张”如果一句话同时承担两种功能取在原文中更接近关键逻辑的那个。多人标注的一致率是另一个麻烦。角色标注的一致率第一次测只有0.71主要分歧集中在“依据”和“方法”之间。后来我们在规范里加上一句口诀“方法讲怎么做依据讲为什么相信”。一致率才勉强升到0.83。论证关系标注更惨最差一轮只有0.58后来引入“标注员必须写出关系依据的理由”这种笨办法一致率才回到0.76。经验就是标注规范写细永远比事后清洗省时间。4.3 人机协同半自动标注五万条样本如果全靠人工标注成本太高。我们的做法是先用规则和弱监督模型产出一份“预标注”再让标注员去改。预标注不是白给的我要求预标注结果必须把模型预测的证据句也展示出来标注员要先判断“证据句选得对不对”再判断“关系对不对”。这种流程把标注员的认知负担从写标签变成了审标签速度大约提升了三倍。当然半自动标注最大的风险是标注员被预标注带偏。为对抗这一点每个批次我们会混入10%的“黄金句”里面预标注故意填错考核通过率低于85%的标注结果会被退回重审。提示如果你想复制这套路请务必保留每一条样本的“来源”和“标注修改记录”。这会在后续去重和纠错时给你省下大量力气。5. 关键选型复盘为什么是“预训练模型微调结构化解码”而不是堆模板或直接让大模型自由发挥这个章节写给NLP工程师看。我们在方案选型上做过三轮对比三个候选各有道理最终选了中间路线。方案优点缺点适配情况A规则模板关键词匹配可解释强、开发快泛化差换个领域就崩语料规模极小、领域稳定的场景B预训练模型微调结构化解码效果好、可控、可解释标注成本高、训练复杂需要稳定产出结构化结果的系统C通用大模型直接长提示生成零样本上手快、文字流畅输出不稳定、证据难溯源快速验证想法、不苛求格式我们选择B核心原因有三条。第一C的“自由发挥”在论证场景里是致命的。我们试过用长提示让通用大模型给五篇论文各生成研究问题结果有一半答案看起来都对但你能明显感觉到它在“猜”给的证据句在原文里根本找不到。这对学术写作工具来说是不可接受的我宁可让模型承认不会也不要它漂亮的编造。第二A实现不了跨领域的细节理解。论证关系不是靠“however”这种词就能判定的同一个“however”前接句子在实验类论文里可能是反驳关系在综述里可能只是话锋一转。这些细微差别需要大规模数据训练过的编码器来捕捉。第三B的“结构化解码”让我们可以把历史沉淀做成约束。例如我们要求架构输出的每条“研究问题”必须携带一个“证据句ID”否则视为无效每条“反驳关系”必须同时有正反双方的句子位置。这相当于给模型上了护栏它很难自由发挥到离谱。训练细节方面我们用了一个十亿参数级别的开源预训练模型做全参数微调而不是冻结参数只接提示。损失函数用加权的交叉熵主要照顾少数类像“反驳”这类出现频率较低但非常重要的关系权重是普通关系的2.5倍。训练时最大的教训是batch size不能太小太小会让关系分类这类任务在验证集上震荡很久我们最后把有效batch控制在64训练了大约6000步才得到一个稳定版本。6. 实测效果和翻车现场F1分数之外的真实体验6.1 评测结果分项都不完美但整体可用我们在一批内部测试集上得到的结果大致如下问题句定位F1约0.82一眼看过去不惊艳但足够作为“人机协同”的第一轮筛选真空白判别准确率约0.79误报主要是把“已有问题的改进”误判成“全新的空白”句子角色标注F1约0.85其中“方法”和“依据”的分界仍然最弱论证关系分类F1约0.74反驳关系最拉胯因为论文里的反驳通常写得很隐晦。用户问卷比指标更有说服力。我们找了二十来位论文写作者试用最受好评的功能不是“自动生成研究问题”而是“带证据索引的研究问题档案”。一位用户原话是之前导师批评我动机不成立我嘴上认心里并不知道怎么改。现在AI把问题从哪句话来、支撑它的文献是哪几句列出来我一眼就知道哪里需要补实验或补引用。这个反馈直接验证了一开始的判断学术场景里一秒钟看到依据远比十秒钟读完生成结果更能建立信任。6.2 翻车现场一研究问题幻觉第一次把链路串起来演示时模型面对一篇涉及异构数据融合的论文生成了一句“现有框架无法同时处理时空特征和文本语义需要引入新的知识表示范式。”看着像那么回事但我去查证据句发现那句“现有框架无法”根本不在原文里是它从“多模态是趋势”这种相关句子里脑补出来的。修复方式分两层一是训练时增加“找不到证据就必须输出空白”的下降权重二是解码后强制校验证据句向量与问题句向量相似度低于阈值就直接拒掉。上线后幻觉比例从16%压到5%以内“我不会”的比例上升了很多但这正是我们要的。6.3 翻车现场二论证关系乱拉有一次处理一篇医学综述时模型把两段不同疾病场景里的句子拉了一条“支持”边因为它们的动词结构太像了。表面上是技术Bug深层原因是训练数据里缺少跨段落负样本。我们补了两种数据一是构造大量“同一页常见论证词但实际无关”的句子对二是把随机跨段落句子对当作负样本比例控制在10%左右。重新训练后关系分类的精确率上升大约7个百分点。这类问题也提醒我关系模型最需要的不是看“句子像不像”而是看“它在论文流程中是否能对上”。6.4 翻车现场三框架过度结构化最初我们要求所有句子都必须映射到一个角色结果生成的框架特别呆每段都像八股文读着就像机器人搭的积木。后来把策略改成“允许其他分类”同时在前端展示时强调“这个框架是草稿不是标准答案”。更合理的处理是角色标注的置信度低于0.6的句子宁愿让它落回“其他”也不要强行参与框架连接。我自己实际用下来的体会是这套系统最有价值的使用方式不是“让它替我想”而是“让它把我想的半成品摊开给我看”。它经常能指出我发现不了的论证断裂比如有一个数据实验支撑的是上一章的方法但结论却想支撑本章的新主张我过去很难注意到这种错位系统画出来之后一眼就明白了。所以如果你也在做类似方向的工具我的建议很朴素把准确率和召回率之外的“可追溯性”永远放在评估指标里。一句漂亮但找不到出处的研究问题还不如一句平庸但有据可查的陈述。学术写作AI如果连“哪句话是从哪句里来的”都讲不清楚那它产出的东西再顺滑也逃不过被审稿人一眼识破的结局。