简介这份文档面向参加江苏省高校教师岗前培训的教师与备考人员聚焦《高等教育政策与法规》科目的题库复习适合需要系统梳理考点、快速核对答案的自学者使用。资源为单个doc文件压缩包约195KB体量轻便便于打印或导入平板随时刷题。内容按专题分节编排涵盖教育法治化的内涵、教师的法治素养与践行能力、高等教育政策的历史沿革、高等教育组织政策、教师政策、教育教学政策、《中华人民共和国学位条例》相关规程以及高等教育学生政策、我国教育的方针与原则、教育基本制度等模块每节均配单选与多选试题并附标准答案部分页面还留有得分记录可据此判断自身掌握程度。目前已有169人浏览学习可作为岗前培训笔试的对照练习材料帮助读者在有限时间内定位薄弱章节围绕教育立法、教育执法、教育司法与教育守法等核心概念反复巩固提升答题的准确率与速度。1. 一份 .doc 版《高等教育政策与法规》题库为什么第一步不是背而是解析群里流传的「精品资料2021-2022年收藏江苏省高校教师岗前培训《高等教育政策与法规》题目和答案.doc」这类文件典型形态是一个几十到上百页的 Word 二进制文档题干、选项、答案混排中间还夹着页眉、页码和手写的「注意」「重点」标记。直接用的体验很差手机端打开排版错乱复制到备忘录行全部黏在一起CtrlF 只能定位关键词没法按题号跳转更没法统计自己哪一章错得多。真正的瓶颈不是内容量而是这份 .doc 处于「非结构化文本」状态——计算机只看到一堆字符看不到「第 37 题、四个选项、答案选 C」这种结构。所以第一道工序是解析与结构化把 .doc 里的题号、题干、选项、答案四类信息抽成字段落进一张能查询、能抽题、能判分的表。做教育类工具、培训刷题系统、内部知识库的工程师会反复遇到这种老资料Python 加一条转换命令就能走通难点在切分规则和边界情况。下面按「解析 → 切分 → 检索自测 → 校验导出」的顺序讲清楚。2. .doc 与 .docx 的解析差异江苏省高校教师岗前培训题库该选哪条路2.1 OLE2 复合文档与 OOXML 的存储差异.docx本质是一个 ZIP 包word/document.xml是纯 XMLpython-docx逐段读出来就是稳定的段落序列。.doc完全不同它是 OLE2 复合二进制文档Compound File Binary Format文本存放在WordDocument流里真正的定位信息在1Table或0Table流的 piece table 中描述每段文字从哪个偏移开始、用什么编码、是否压缩存储。更麻烦的是「快速保存fast save」Word 保存时不重写整个文件而是把改动片段追加在后面由 piece table 中的多个 piece 拼接成最终文本。拼接顺序处理错读出来就是段落重复、顺序颠倒或者整段乱码。另一个高频坑是换行符。.doc里段落标记和手动换行软回车是两种东西转成纯文本后软回车经常表现为孤立的\n或\x0b控制字符。题干本来是一行被软回车切成了两行后面按行切题时就会错位。这一类问题在所有「题目和答案.doc」资料里都会出现所以解析之后必须先做一次行级归一化再谈切分。2.2 三条解析路线的取舍与安装命令方案依赖中文保真度批量速度适用场景LibreOffice headless本机装 LibreOffice高保留段落与部分样式中每份约 1 至 3 秒跨平台批处理首选antiword需要UTF-8.txt映射文件中丢弃样式偶发漏字快纯文本抽取、Linux 服务器Word COM 自动化Windows 且装了 Word最高可读表格与批注慢进程启动开销大文档结构复杂、需精确保留LibreOffice 的转换命令最通用把--outdir指向单独目录避免覆盖原始资料soffice --headless --convert-to txt:Text (encoded):UTF8 \ --outdir ./out 精品资料2021-2022年收藏江苏省高校教师岗前培训《高等教育政策与法规》题目和答案.doc--headless表示不弹 GUItxt:Text (encoded):UTF8是过滤器名加编码参数写错会得到 GBK 乱码。antiword 的等价命令是antiword -m UTF-8.txt xxx.doc out.txt缺了-m参数中文会掉字。这里有个常见误用pandoc 从 2.x 起只支持.docx不接受二进制.doc直接喂.doc会报格式错误别在这上面浪费时间。2.3 先做格式体检段落数、题号密度、答案标记统计批量转换前先拿一份文件体检判断答案到底是「紧跟题干」还是「文末集中」这决定了后面的切分策略。体检脚本只做统计不做修改import re, pathlib RE_Q re.compile(r^\s*(?:第\s*)?(\d{1,3})\s*[、.,)]\s*\S) # 阿拉伯数字题号 RE_A re.compile(r[(]\s*[A-Da-d-]\s*[)]) # 括号内答案 RE_ANS re.compile(r(答案|参考答案|正确答案)\s*[:]?\s*[A-Da-d]) # 显式答案行 def diagnose(path: str) - dict: lines [l.rstrip() for l in pathlib.Path(path).read_text(encodingutf-8).splitlines()] non_empty [l for l in lines if l.strip()] return { total_lines: len(lines), non_empty: len(non_empty), q_lines: sum(1 for l in non_empty if RE_Q.match(l)), inline_answer: sum(1 for l in non_empty if RE_A.search(l)), answer_lines: sum(1 for l in non_empty if RE_ANS.search(l)), } print(diagnose(./out/题干答案.txt))q_lines大约是题量上限如果q_lines明显大于inline_answer answer_lines说明题目在加粗或编号列表里题号没有落在行首需要放宽正则。反过来如果answer_lines极少而inline_answer很多答案就藏在题干括号里切题时要用括号匹配把答案抠出来。这一步做完你才知道该写一套状态机还是一套正则而不是上来就硬套模板。3. 把《高等教育政策与法规》题目切分成题干、选项与答案3.1 归一化全角半角、软回车与页眉噪声归一化最稳的顺序是「先去噪声再做定向替换」不要一上手就用unicodedata.normalize(NFKC, text)。NFKC 会把「①」压成「1」、把「㈠」压成「(一)」看似方便实际上把原本清晰的题号层级结构毁掉了还会让「第①条」这类正文内容被误判成题号。定向替换够用import re, unicodedata def normalize(text: str) - str: text text.replace(\r\n, \n).replace(\r, \n) text text.replace(\x0b, \n) # 软回车统一成换行 text text.replace(\u3000, ) # 全角空格 text re.sub(r[ \t], , text) # 连续空白压缩 text re.sub(r^\s*\d{1,4}\s*$, , text, flagsre.M) # 孤立页码行 text re.sub(r\n{3,}, \n\n, text) # 空行压缩保留段落边界 return text说明三点软回车统一成换行后原本被切断的题干会重新分行后面按行扫描才不会把一段题干拆成两题页码行通常就是单独一行数字用^\s*\d{1,4}\s*$干掉保留两个连续换行是有意的段落边界在状态机里是「当前题结束」的信号。页眉页脚如果每页重复可以用「同一行出现次数超过总行数 5%」的规则做频率过滤比硬编码文本更可靠。中文全角字母也要在选项正则里一并处理或者用str.translate做一次全角到半角的映射表。3.2 题号与选项的正则设计题号正则要容忍「1、」「1.」「1」「1)」「第1题」这几种写法同时不能把选项行里的「1.」误吞。核心思路是题号必须出现在行首并且后面要跟至少一个非空白字符RE_Q_PREFIX re.compile(r^\s*(?:第\s*)?(\d{1,3})\s*[、.,)]\s*) RE_Q_CN re.compile(r^\s*([一二三四五六七八九十]{1,3})\s*[、.]\s*) RE_OPTION re.compile(r^\s*([A-Da-d-])\s*[、.)]\s*(.*)$)RE_OPTION把选项字母和内容一起捕获方便后续清洗。容易踩的坑有两个一是\d{1,3}不加边界限制时「2021 年」开头的正文行也可能被匹配解决办法是要求RE_Q_PREFIX匹配后的剩余长度大于 4 个字符且下一行的题号应当递增二是选项内容里嵌套了括号里的答案如A. ……正确需要单独处理别让RE_OPTION的三级分组把它吃掉。3.3 用状态机合并多行题干与选项纯正则解决不了「题干跨 3 行、选项跨 2 行」的情况必须用状态机按行推进。状态只有三个等待题号、收集题干、收集选项。def parse_questions(lines): qs, cur, last_no [], None, 0 for line in lines: s line.strip() if not s: continue m RE_Q_PREFIX.match(s) if m: no int(m.group(1)) if cur: qs.append(cur) # 题号必须单调递增否则视为正文避免误切 if no last_no: if cur: cur[stem] s continue last_no no cur {no: no, stem: s[m.end():].strip(), options: {}, answer: } continue mo RE_OPTION.match(s) if mo and cur: cur[options][mo.group(1).upper()] mo.group(2).strip() continue if cur: # 既不是题号也不是选项续接到题干 cur[stem] s if cur: qs.append(cur) return qs状态机的关键在no last_no这条守卫遇到「2021 年发布的文件规定」这种正文行时题号不增直接并进当前题干避免制造出一个假题目。stem用空格续接而不是换行是为了后面做检索和去重时字符串更规整如果原始排版上前置材料很重要可以额外保留一个raw字段存原文行列表方便回查。3.4 三种答案排布的识别与 SQLite 落库答案的排布形式直接决定合并逻辑先归类再写代码排布形式例子提取方式题干括号内我国高等教育的…是 A 在 stem 上跑括号正则命中即抽走题干下方独立行答案A/【答案】ABCD状态机中作为特殊行处理挂到当前题文末集中答案区1-5 ABCDA 6-10 BCDAB单独解析成{题号: 答案}字典回填第三种最容易被忽略因为它出现在文档末尾题号连续区间经常用「1-5」这种简写需要展开成 1 到 5 再逐题赋值。把三者统一后落库表结构建议拆开而不是塞一列 JSONCREATE TABLE questions ( id INTEGER PRIMARY KEY, qno INTEGER, -- 原始题号保留供回查 stem TEXT NOT NULL, answer TEXT, -- 统一大写多选存 ABC src TEXT, -- 来源文件名或哈希 UNIQUE(src, qno) ); CREATE TABLE options ( qid INTEGER REFERENCES questions(id), label TEXT, -- A B C D body TEXT, PRIMARY KEY (qid, label) );UNIQUE(src, qno)保证同一份资料重复导入时用INSERT OR REPLACE幂等更新不会翻倍。落库前建议统计一次「无答案题数」和「选项少于 2 个的题数」这两个指标直接反映切分质量超过 5% 就回去调正则别急着进入下一步。4. 江苏省高校教师岗前培训题库的可检索与自测FTS5、去重与错题回炉4.1 SQLite FTS5 中文检索的建表与查询中文检索不用上重型方案SQLite 自带的 FTS5 足够。难点在分词默认unicode61分词器按空白和标点切词中文一整句会被当成一个 token搜「高等教育」匹配不到。两条路一是升级到 SQLite 3.34 以上直接用trigram分词器二是老版本用unicode61加预处理把中文按单字用空格隔开。-- 需要 SQLite 3.34trigram 对中文和模糊匹配都友好 CREATE VIRTUAL TABLE q_fts USING fts5( stem, contentquestions, content_rowidid, tokenizetrigram ); -- 保持内容表与索引同步 CREATE TRIGGER q_ai AFTER INSERT ON questions BEGIN INSERT INTO q_fts(rowid, stem) VALUES (new.id, new.stem); END; CREATE TRIGGER q_ad AFTER DELETE ON questions BEGIN INSERT INTO q_fts(q_fts, rowid, stem) VALUES(delete, old.id, old.stem); END;查询时用MATCHtrigram 下最短查询串是两个字符rows conn.execute( SELECT q.id, q.stem FROM q_fts f JOIN questions q ON q.id f.rowid WHERE q_fts MATCH ? ORDER BY rank LIMIT 20, (高等教育,) ).fetchall()ORDER BY rank用的是 FTS5 的 BM25 排序比按 id 排序更符合检索直觉。注意 trigram 索引体积大约是原文的 3 到 4 倍几百页题库完全无压力但如果是几百万行就要权衡。4.2 相似题去重字符 n-gram 与 SimHash 阈值同一份「精品资料」往往混了多个年份的版本题目重复率高抽题时会连续撞到同一道。用字符 3-gram 加 SimHash 做近似去重几十毫秒能跑完几千题import hashlib, re def shingles(text, n3): t re.sub(r\s|[。、()], , text) return {t[i:in] for i in range(max(len(t) - n 1, 0))} or {t} def simhash(text, bits64): v [0] * bits for sh in shingles(text): h int(hashlib.md5(sh.encode(utf-8)).hexdigest()[:16], 16) for i in range(bits): v[i] 1 if (h i) 1 else -1 out 0 for i in range(bits): if v[i] 0: out | 1 i return out def ham(a, b): return bin(a ^ b).count(1)判重阈值取汉明距离小于等于 3 比较稳但纯 SimHash 会漏掉「题干相同、选项顺序被打乱」的情况。实用的做法是双条件SimHash 距离小于等于 3且去标点后的题干长度差不超过 20%两个条件同时满足才判为重复。多选题带 ABCD 四个选项的把选项文本拼进指纹里一起算避免只比题干。4.3 最小自测 CLI抽题、判分、错题回炉题库的最终用途是刷题一个几十行的 CLI 就能跑通闭环。调度用 Leitner 盒子每道题有个box字段答对加一答错归零抽题时优先抽低 box 的题。import random, sqlite3 def pick(conn, n10): # 低盒优先同盒内随机这是错题回炉的核心 return conn.execute( SELECT id, stem, answer FROM questions ORDER BY box ASC, RANDOM() LIMIT ?, (n,) ).fetchall() def grade(conn, qid, user_ans): row conn.execute(SELECT answer, box FROM questions WHERE id?, (qid,)).fetchone() correct user_ans.strip().upper() (row[0] or ).strip().upper() new_box min(row[1] 1, 5) if correct else 0 conn.execute(UPDATE questions SET box?, seenseen1 WHERE id?, (new_box, qid)) conn.commit() return correctbox上限设 5 是经验值上限太高的话熟练题会长期不出现反而忘了。seen用来统计覆盖率能回答「这 800 道题我到底刷了多少」。判分时注意多选题的答案顺序ABC和CBA应该等价稳妥做法是排序后再比。5. .doc 题库批量处理的校验技巧与导出5.1 抽样回读把解析结果和原始段落对回去结构化之后必须做一次抽样回读否则错误会静默累积。做法是从库里随机抽 20 道题用题号去原始转换文本里定位人工或半自动比对题干首句和答案。自动化的部分可以把每道题的stem前 12 个字符作为锚点检查它是否出现在原文本中命中率低于 95% 说明切分规则有问题。另一个高效指标是分布校验每题选项数的分布应该是{4: 绝大多数, 2: 少量判断题, 1: 极少数},如果出现大量 0 选项基本可以确定选项正则没匹配上往往是全角字母或「A、」这类不常见分隔符导致的。5.2 用哈希留痕做增量重跑资料更新是常态第二次拿到「2022 年收藏版」时不应该从头再跑一遍。给每份源文件算 SHA-256存进ingest_log(src_hash, filename, imported_at, question_count)重跑时先查哈希已存在就跳过只处理新文件。同一个题库文件夹里如果新旧两版内容高度重叠先用 4.2 的 SimHash 做跨文件查重把重复题标记为dup_of指向保留的那条避免抽题时被同一道题占满配额。5.3 导出 CSV 供外部记忆工具导入最后一步是导出最通用的格式是带表头的 TSV字段用题干、答案、选项拼串import csv, sqlite3 conn sqlite3.connect(bank.sqlite) with open(export.tsv, w, encodingutf-8, newline) as f: w csv.writer(f, delimiter\t, quotingcsv.QUOTE_MINIMAL) w.writerow([front, back, tags]) for qid, stem, ans, no in conn.execute( SELECT id, stem, answer, qno FROM questions WHERE answer AND dup_of IS NULL): opts conn.execute( SELECT label, body FROM options WHERE qid? ORDER BY label, (qid,)).fetchall() front stem br br.join(f{l}. {b} for l, b in opts) w.writerow([front, ans, f岗前培训 第{no}题])两个细节newline必须加否则 Windows 下每行会多一个空行题干里的 HTML 特殊字符、要转义不然导入后在卡片里会渲染错乱。导完做一次行数核对CSV 数据行数应当等于「有答案且非重复」的题目数对不上就回到第 3 章查切分而不是在导出这一层打补丁。本文还有配套的精品资源点击获取 .doc题库解析与结构化：高校教师岗前培训刷题系统实战
简介这份文档面向参加江苏省高校教师岗前培训的教师与备考人员聚焦《高等教育政策与法规》科目的题库复习适合需要系统梳理考点、快速核对答案的自学者使用。资源为单个doc文件压缩包约195KB体量轻便便于打印或导入平板随时刷题。内容按专题分节编排涵盖教育法治化的内涵、教师的法治素养与践行能力、高等教育政策的历史沿革、高等教育组织政策、教师政策、教育教学政策、《中华人民共和国学位条例》相关规程以及高等教育学生政策、我国教育的方针与原则、教育基本制度等模块每节均配单选与多选试题并附标准答案部分页面还留有得分记录可据此判断自身掌握程度。目前已有169人浏览学习可作为岗前培训笔试的对照练习材料帮助读者在有限时间内定位薄弱章节围绕教育立法、教育执法、教育司法与教育守法等核心概念反复巩固提升答题的准确率与速度。1. 一份 .doc 版《高等教育政策与法规》题库为什么第一步不是背而是解析群里流传的「精品资料2021-2022年收藏江苏省高校教师岗前培训《高等教育政策与法规》题目和答案.doc」这类文件典型形态是一个几十到上百页的 Word 二进制文档题干、选项、答案混排中间还夹着页眉、页码和手写的「注意」「重点」标记。直接用的体验很差手机端打开排版错乱复制到备忘录行全部黏在一起CtrlF 只能定位关键词没法按题号跳转更没法统计自己哪一章错得多。真正的瓶颈不是内容量而是这份 .doc 处于「非结构化文本」状态——计算机只看到一堆字符看不到「第 37 题、四个选项、答案选 C」这种结构。所以第一道工序是解析与结构化把 .doc 里的题号、题干、选项、答案四类信息抽成字段落进一张能查询、能抽题、能判分的表。做教育类工具、培训刷题系统、内部知识库的工程师会反复遇到这种老资料Python 加一条转换命令就能走通难点在切分规则和边界情况。下面按「解析 → 切分 → 检索自测 → 校验导出」的顺序讲清楚。2. .doc 与 .docx 的解析差异江苏省高校教师岗前培训题库该选哪条路2.1 OLE2 复合文档与 OOXML 的存储差异.docx本质是一个 ZIP 包word/document.xml是纯 XMLpython-docx逐段读出来就是稳定的段落序列。.doc完全不同它是 OLE2 复合二进制文档Compound File Binary Format文本存放在WordDocument流里真正的定位信息在1Table或0Table流的 piece table 中描述每段文字从哪个偏移开始、用什么编码、是否压缩存储。更麻烦的是「快速保存fast save」Word 保存时不重写整个文件而是把改动片段追加在后面由 piece table 中的多个 piece 拼接成最终文本。拼接顺序处理错读出来就是段落重复、顺序颠倒或者整段乱码。另一个高频坑是换行符。.doc里段落标记和手动换行软回车是两种东西转成纯文本后软回车经常表现为孤立的\n或\x0b控制字符。题干本来是一行被软回车切成了两行后面按行切题时就会错位。这一类问题在所有「题目和答案.doc」资料里都会出现所以解析之后必须先做一次行级归一化再谈切分。2.2 三条解析路线的取舍与安装命令方案依赖中文保真度批量速度适用场景LibreOffice headless本机装 LibreOffice高保留段落与部分样式中每份约 1 至 3 秒跨平台批处理首选antiword需要UTF-8.txt映射文件中丢弃样式偶发漏字快纯文本抽取、Linux 服务器Word COM 自动化Windows 且装了 Word最高可读表格与批注慢进程启动开销大文档结构复杂、需精确保留LibreOffice 的转换命令最通用把--outdir指向单独目录避免覆盖原始资料soffice --headless --convert-to txt:Text (encoded):UTF8 \ --outdir ./out 精品资料2021-2022年收藏江苏省高校教师岗前培训《高等教育政策与法规》题目和答案.doc--headless表示不弹 GUItxt:Text (encoded):UTF8是过滤器名加编码参数写错会得到 GBK 乱码。antiword 的等价命令是antiword -m UTF-8.txt xxx.doc out.txt缺了-m参数中文会掉字。这里有个常见误用pandoc 从 2.x 起只支持.docx不接受二进制.doc直接喂.doc会报格式错误别在这上面浪费时间。2.3 先做格式体检段落数、题号密度、答案标记统计批量转换前先拿一份文件体检判断答案到底是「紧跟题干」还是「文末集中」这决定了后面的切分策略。体检脚本只做统计不做修改import re, pathlib RE_Q re.compile(r^\s*(?:第\s*)?(\d{1,3})\s*[、.,)]\s*\S) # 阿拉伯数字题号 RE_A re.compile(r[(]\s*[A-Da-d-]\s*[)]) # 括号内答案 RE_ANS re.compile(r(答案|参考答案|正确答案)\s*[:]?\s*[A-Da-d]) # 显式答案行 def diagnose(path: str) - dict: lines [l.rstrip() for l in pathlib.Path(path).read_text(encodingutf-8).splitlines()] non_empty [l for l in lines if l.strip()] return { total_lines: len(lines), non_empty: len(non_empty), q_lines: sum(1 for l in non_empty if RE_Q.match(l)), inline_answer: sum(1 for l in non_empty if RE_A.search(l)), answer_lines: sum(1 for l in non_empty if RE_ANS.search(l)), } print(diagnose(./out/题干答案.txt))q_lines大约是题量上限如果q_lines明显大于inline_answer answer_lines说明题目在加粗或编号列表里题号没有落在行首需要放宽正则。反过来如果answer_lines极少而inline_answer很多答案就藏在题干括号里切题时要用括号匹配把答案抠出来。这一步做完你才知道该写一套状态机还是一套正则而不是上来就硬套模板。3. 把《高等教育政策与法规》题目切分成题干、选项与答案3.1 归一化全角半角、软回车与页眉噪声归一化最稳的顺序是「先去噪声再做定向替换」不要一上手就用unicodedata.normalize(NFKC, text)。NFKC 会把「①」压成「1」、把「㈠」压成「(一)」看似方便实际上把原本清晰的题号层级结构毁掉了还会让「第①条」这类正文内容被误判成题号。定向替换够用import re, unicodedata def normalize(text: str) - str: text text.replace(\r\n, \n).replace(\r, \n) text text.replace(\x0b, \n) # 软回车统一成换行 text text.replace(\u3000, ) # 全角空格 text re.sub(r[ \t], , text) # 连续空白压缩 text re.sub(r^\s*\d{1,4}\s*$, , text, flagsre.M) # 孤立页码行 text re.sub(r\n{3,}, \n\n, text) # 空行压缩保留段落边界 return text说明三点软回车统一成换行后原本被切断的题干会重新分行后面按行扫描才不会把一段题干拆成两题页码行通常就是单独一行数字用^\s*\d{1,4}\s*$干掉保留两个连续换行是有意的段落边界在状态机里是「当前题结束」的信号。页眉页脚如果每页重复可以用「同一行出现次数超过总行数 5%」的规则做频率过滤比硬编码文本更可靠。中文全角字母也要在选项正则里一并处理或者用str.translate做一次全角到半角的映射表。3.2 题号与选项的正则设计题号正则要容忍「1、」「1.」「1」「1)」「第1题」这几种写法同时不能把选项行里的「1.」误吞。核心思路是题号必须出现在行首并且后面要跟至少一个非空白字符RE_Q_PREFIX re.compile(r^\s*(?:第\s*)?(\d{1,3})\s*[、.,)]\s*) RE_Q_CN re.compile(r^\s*([一二三四五六七八九十]{1,3})\s*[、.]\s*) RE_OPTION re.compile(r^\s*([A-Da-d-])\s*[、.)]\s*(.*)$)RE_OPTION把选项字母和内容一起捕获方便后续清洗。容易踩的坑有两个一是\d{1,3}不加边界限制时「2021 年」开头的正文行也可能被匹配解决办法是要求RE_Q_PREFIX匹配后的剩余长度大于 4 个字符且下一行的题号应当递增二是选项内容里嵌套了括号里的答案如A. ……正确需要单独处理别让RE_OPTION的三级分组把它吃掉。3.3 用状态机合并多行题干与选项纯正则解决不了「题干跨 3 行、选项跨 2 行」的情况必须用状态机按行推进。状态只有三个等待题号、收集题干、收集选项。def parse_questions(lines): qs, cur, last_no [], None, 0 for line in lines: s line.strip() if not s: continue m RE_Q_PREFIX.match(s) if m: no int(m.group(1)) if cur: qs.append(cur) # 题号必须单调递增否则视为正文避免误切 if no last_no: if cur: cur[stem] s continue last_no no cur {no: no, stem: s[m.end():].strip(), options: {}, answer: } continue mo RE_OPTION.match(s) if mo and cur: cur[options][mo.group(1).upper()] mo.group(2).strip() continue if cur: # 既不是题号也不是选项续接到题干 cur[stem] s if cur: qs.append(cur) return qs状态机的关键在no last_no这条守卫遇到「2021 年发布的文件规定」这种正文行时题号不增直接并进当前题干避免制造出一个假题目。stem用空格续接而不是换行是为了后面做检索和去重时字符串更规整如果原始排版上前置材料很重要可以额外保留一个raw字段存原文行列表方便回查。3.4 三种答案排布的识别与 SQLite 落库答案的排布形式直接决定合并逻辑先归类再写代码排布形式例子提取方式题干括号内我国高等教育的…是 A 在 stem 上跑括号正则命中即抽走题干下方独立行答案A/【答案】ABCD状态机中作为特殊行处理挂到当前题文末集中答案区1-5 ABCDA 6-10 BCDAB单独解析成{题号: 答案}字典回填第三种最容易被忽略因为它出现在文档末尾题号连续区间经常用「1-5」这种简写需要展开成 1 到 5 再逐题赋值。把三者统一后落库表结构建议拆开而不是塞一列 JSONCREATE TABLE questions ( id INTEGER PRIMARY KEY, qno INTEGER, -- 原始题号保留供回查 stem TEXT NOT NULL, answer TEXT, -- 统一大写多选存 ABC src TEXT, -- 来源文件名或哈希 UNIQUE(src, qno) ); CREATE TABLE options ( qid INTEGER REFERENCES questions(id), label TEXT, -- A B C D body TEXT, PRIMARY KEY (qid, label) );UNIQUE(src, qno)保证同一份资料重复导入时用INSERT OR REPLACE幂等更新不会翻倍。落库前建议统计一次「无答案题数」和「选项少于 2 个的题数」这两个指标直接反映切分质量超过 5% 就回去调正则别急着进入下一步。4. 江苏省高校教师岗前培训题库的可检索与自测FTS5、去重与错题回炉4.1 SQLite FTS5 中文检索的建表与查询中文检索不用上重型方案SQLite 自带的 FTS5 足够。难点在分词默认unicode61分词器按空白和标点切词中文一整句会被当成一个 token搜「高等教育」匹配不到。两条路一是升级到 SQLite 3.34 以上直接用trigram分词器二是老版本用unicode61加预处理把中文按单字用空格隔开。-- 需要 SQLite 3.34trigram 对中文和模糊匹配都友好 CREATE VIRTUAL TABLE q_fts USING fts5( stem, contentquestions, content_rowidid, tokenizetrigram ); -- 保持内容表与索引同步 CREATE TRIGGER q_ai AFTER INSERT ON questions BEGIN INSERT INTO q_fts(rowid, stem) VALUES (new.id, new.stem); END; CREATE TRIGGER q_ad AFTER DELETE ON questions BEGIN INSERT INTO q_fts(q_fts, rowid, stem) VALUES(delete, old.id, old.stem); END;查询时用MATCHtrigram 下最短查询串是两个字符rows conn.execute( SELECT q.id, q.stem FROM q_fts f JOIN questions q ON q.id f.rowid WHERE q_fts MATCH ? ORDER BY rank LIMIT 20, (高等教育,) ).fetchall()ORDER BY rank用的是 FTS5 的 BM25 排序比按 id 排序更符合检索直觉。注意 trigram 索引体积大约是原文的 3 到 4 倍几百页题库完全无压力但如果是几百万行就要权衡。4.2 相似题去重字符 n-gram 与 SimHash 阈值同一份「精品资料」往往混了多个年份的版本题目重复率高抽题时会连续撞到同一道。用字符 3-gram 加 SimHash 做近似去重几十毫秒能跑完几千题import hashlib, re def shingles(text, n3): t re.sub(r\s|[。、()], , text) return {t[i:in] for i in range(max(len(t) - n 1, 0))} or {t} def simhash(text, bits64): v [0] * bits for sh in shingles(text): h int(hashlib.md5(sh.encode(utf-8)).hexdigest()[:16], 16) for i in range(bits): v[i] 1 if (h i) 1 else -1 out 0 for i in range(bits): if v[i] 0: out | 1 i return out def ham(a, b): return bin(a ^ b).count(1)判重阈值取汉明距离小于等于 3 比较稳但纯 SimHash 会漏掉「题干相同、选项顺序被打乱」的情况。实用的做法是双条件SimHash 距离小于等于 3且去标点后的题干长度差不超过 20%两个条件同时满足才判为重复。多选题带 ABCD 四个选项的把选项文本拼进指纹里一起算避免只比题干。4.3 最小自测 CLI抽题、判分、错题回炉题库的最终用途是刷题一个几十行的 CLI 就能跑通闭环。调度用 Leitner 盒子每道题有个box字段答对加一答错归零抽题时优先抽低 box 的题。import random, sqlite3 def pick(conn, n10): # 低盒优先同盒内随机这是错题回炉的核心 return conn.execute( SELECT id, stem, answer FROM questions ORDER BY box ASC, RANDOM() LIMIT ?, (n,) ).fetchall() def grade(conn, qid, user_ans): row conn.execute(SELECT answer, box FROM questions WHERE id?, (qid,)).fetchone() correct user_ans.strip().upper() (row[0] or ).strip().upper() new_box min(row[1] 1, 5) if correct else 0 conn.execute(UPDATE questions SET box?, seenseen1 WHERE id?, (new_box, qid)) conn.commit() return correctbox上限设 5 是经验值上限太高的话熟练题会长期不出现反而忘了。seen用来统计覆盖率能回答「这 800 道题我到底刷了多少」。判分时注意多选题的答案顺序ABC和CBA应该等价稳妥做法是排序后再比。5. .doc 题库批量处理的校验技巧与导出5.1 抽样回读把解析结果和原始段落对回去结构化之后必须做一次抽样回读否则错误会静默累积。做法是从库里随机抽 20 道题用题号去原始转换文本里定位人工或半自动比对题干首句和答案。自动化的部分可以把每道题的stem前 12 个字符作为锚点检查它是否出现在原文本中命中率低于 95% 说明切分规则有问题。另一个高效指标是分布校验每题选项数的分布应该是{4: 绝大多数, 2: 少量判断题, 1: 极少数},如果出现大量 0 选项基本可以确定选项正则没匹配上往往是全角字母或「A、」这类不常见分隔符导致的。5.2 用哈希留痕做增量重跑资料更新是常态第二次拿到「2022 年收藏版」时不应该从头再跑一遍。给每份源文件算 SHA-256存进ingest_log(src_hash, filename, imported_at, question_count)重跑时先查哈希已存在就跳过只处理新文件。同一个题库文件夹里如果新旧两版内容高度重叠先用 4.2 的 SimHash 做跨文件查重把重复题标记为dup_of指向保留的那条避免抽题时被同一道题占满配额。5.3 导出 CSV 供外部记忆工具导入最后一步是导出最通用的格式是带表头的 TSV字段用题干、答案、选项拼串import csv, sqlite3 conn sqlite3.connect(bank.sqlite) with open(export.tsv, w, encodingutf-8, newline) as f: w csv.writer(f, delimiter\t, quotingcsv.QUOTE_MINIMAL) w.writerow([front, back, tags]) for qid, stem, ans, no in conn.execute( SELECT id, stem, answer, qno FROM questions WHERE answer AND dup_of IS NULL): opts conn.execute( SELECT label, body FROM options WHERE qid? ORDER BY label, (qid,)).fetchall() front stem br br.join(f{l}. {b} for l, b in opts) w.writerow([front, ans, f岗前培训 第{no}题])两个细节newline必须加否则 Windows 下每行会多一个空行题干里的 HTML 特殊字符、要转义不然导入后在卡片里会渲染错乱。导完做一次行数核对CSV 数据行数应当等于「有答案且非重复」的题目数对不上就回到第 3 章查切分而不是在导出这一层打补丁。本文还有配套的精品资源点击获取