保险条款数据建模识别质量评测规则

1 评测总则

评测核心目标：验证保险条款文本识别结果与原始PDF的结构一致性、内容完整性、格式规范性，适配数字/中文双章节模式，支撑LLM识别-建模-评测闭环。
评测覆盖范围：文档全模块（阅读指引至政策合规依据）、全格式元素（标题/段落/列表/公式/特殊元素），无模块遗漏。
评测判定标准：按错误类型分级扣分，单条规则违规记对应分值，总分100分，90分及以上为合格，80-89分为待优化，80分以下为不合格。
评测结果应用：不合格项需回溯至LLM识别环节修正，待优化项针对性调整识别规则，合格项纳入建模标准库。

2 基础结构识别评测（20分）

2.1 模块完整性（10分）

规则1：需完整识别16个核心模块，缺失1个扣2分，模块名称与原始PDF不一致（非标准化修正）1个扣1分。
规则2：模块排序与原始PDF一致，顺序错乱1处扣1分，跨模块内容混淆1处扣2分。
规则3：子模块归属正确（如“保险责任明细”子项归属“核心利益条款”），归属错误1处扣1分。

2.2 章节模式识别（10分）

规则1：准确判定数字/中文章节模式，模式识别错误扣5分。
规则2：层级标识（L1-L5/数字模式；L1-L4/中文模式）标注正确，层级标错1处扣0.5分，漏标1处扣0.5分。
规则3：父子层级绑定唯一（如数字模式L2归属对应L1），绑定错误1处扣1分，无父级ID标注1处扣0.5分。

3 标题层级识别评测（30分）

3.1 数字模式标题（15分）

层级	规则要求	违规扣分
L1（章）	编号转换正确（圆圈数字转纯数字），格式为`## 数字标题`，加粗保留，间距合规	编号错误1处扣1分，格式错误1处扣0.5分，间距违规1处扣0.5分
L2（条）	小数点编号保留，格式为`### 编号标题`，自动换行内容合并，无额外缩进	编号缺失1处扣1分，换行未合并1处扣0.5分，多余缩进1处扣0.5分
L3（款主/次）	款主为`#### 小数点编号标题`，款次为`#### （数字）标题`，装饰符号删除	主/次混淆1处扣1分，符号未删除1处扣0.5分，格式错误1处扣0.5分
L4（项）	统一为`1. 内容`有序列表，编号规范（顿号转英文点号），缩进继承正确	编号不规范1处扣0.5分，缩进错误1处扣0.5分
L5（目）	统一为`(1) 内容`有序列表，符号转换正确（中文括号转英文），数值加粗保留	符号错误1处扣0.5分，核心数值未加粗1处扣0.5分

3.2 中文模式标题（15分）

层级	规则要求	违规扣分
L1（条）	格式为`## 第X条标题`，编号连续无跳号，间距合规（条间1空行）	编号跳号1处扣1分，格式错误1处扣0.5分，间距违规1处扣0.5分
L2（款）	格式为`### 中文数字、标题`，加粗保留，自动换行内容合并	编号错误1处扣1分，换行未合并1处扣0.5分，未加粗1处扣0.5分
L3（项）	格式为`#### （中文数字）标题`，装饰顿号删除，缩进正确	符号未删除1处扣0.5分，缩进错误1处扣0.5分
L4（目）	统一为`1. 内容`有序列表，核心信息加粗保留，标点统一	核心信息未加粗1处扣0.5分，标点混用1处扣0.5分

3.3 通用标题规则（扣分项叠加）

规则1：标题无多余标点（句号/感叹号删除），保留核心特殊符号（/、()），违规1处扣0.5分。
规则2：无重复标题（同一层级同一标题仅出现1次），重复1处扣1分。
规则3：标题关键词提取准确，与原始PDF核心语义一致，关键词缺失/错误1处扣0.5分。

4 正文元素识别评测（30分）

4.1 段落文本（10分）

规则1：内容与原始PDF完全一致，无漏字/多字/错字，每处文字错误扣0.5分，整段缺失扣5分。
规则2：核心量化信息（金额/比例/时间/等级）加粗标注，未加粗1处扣0.5分，错误加粗1处扣0.5分。
规则3：缩进继承正确（依托上级层级，无手动缩进字符），标点统一为中文全角，违规1处扣0.5分。
规则4：同主题连续段落连排，不同主题段落间1空行，间距违规1处扣0.5分。
规则5：长段落合理断行（标点后），不拆分核心语义（条件句/限定句），语义拆分1处扣1分。

4.2 列表项（10分）

规则1：标识统一（无序列表为•，有序列表一级1./二级(1)），特殊标识（■/▲）转•，标识错误1处扣0.5分。
规则2：列表项归属正确（依附对应款/项/段落），归属错误1处扣1分，漏标1处扣0.5分。
规则3：核心信息（材料/责任/免责/条件）加粗，未加粗1处扣0.5分，错误加粗1处扣0.5分。
规则4：同组列表项无空行，不同组间1空行，子列表嵌套正确，间距/嵌套违规1处扣0.5分。
规则5：短语类无标点，短句类以句号结尾，标点混用1处扣0.5分。

4.3 公式与代码（5分）

规则1：运算符统一（×→*、÷→/），两侧加1半角空格，运算符错误/未空格1处扣0.5分。
规则2：取值描述标准化（两者较大值→max(值1,值2)），未标准化1处扣1分。
规则3：核心数值加粗，代码类标识（保单/险种代码）原样保留，核心数值未加粗1处扣0.5分，代码修改1处扣1分。
规则4：行内公式嵌入正文，单独分行公式居中且上下空行，格式错误1处扣0.5分。

4.4 文字字体样式（5分）

规则1：识别并标注字体类型（中文宋体/仿宋，英文Times New Roman），标注错误1处扣0.5分。
规则2：样式保留合规（仅标题/关键术语/核心规则加粗），多余加粗/漏加粗1处扣0.5分。
规则3：字号层级逻辑正确（标题＞正文＞附注），无反向层级，层级错误1处扣1分。

5 特殊元素识别评测（15分）

5.1 注释与批注（5分）

规则1：标识锚点统一为[注X]/[批X]，嵌入对应正文位置，锚点错误/漏标1处扣0.5分。
规则2：跨页注释与被解释正文强绑定（移至段落/条款末尾），语义割裂1处扣2分。
规则3：注释内容无遗漏/篡改，与原始PDF一致，内容错误1处扣1分，漏标1处扣1分。
规则4：多注释（≥5条）新增“注释汇总”模块，未汇总扣1分。

5.2 页眉与页脚（5分）

规则1：准确提取页眉元数据（公司名称/产品名称/条款类型），缺失1项扣0.5分，错误1项扣1分。
规则2：页码提取准确，格式统一，建立“页码-内容”索引，页码错误1处扣0.5分，未建索引扣2分。
规则3：重复性页眉/页脚过滤，仅保留首次出现作为元数据，未过滤冗余1处扣0.5分。
规则4：识别页眉/页脚变化点，辅助文档结构分段，变化点漏标1处扣0.5分。

5.3 超链接（5分）

规则1：准确识别URL/书签超链接，格式转为[文本](url)，识别漏标1处扣1分，格式错误1处扣0.5分。
规则2：超链接文本与原始PDF一致，无漏字/错字，文字错误1处扣0.5分。
规则3：超链接归属对应正文位置，无跨位置绑定，绑定错误1处扣1分。

6 条款目录识别专项评测（5分）

规则1：多栏目录按“从上到下、从左到右”合并为单序列表，合并顺序错误1处扣0.5分。
规则2：目录标题标准化（删除装饰符号/宣传语/多余标点），自动换行标题合并，违规1处扣0.5分。
规则3：页码标注精准（无页码标“无”，跨页标“起始-结束”），坐标可选提取，页码错误1处扣0.5分。
规则4：JSON结构化输出字段完整（目录ID/层级/父级ID/关键词等），字段缺失1项扣0.5分，值错误1项扣0.5分。
规则5：向量检索关键词与正文术语库关联，未关联1处扣0.5分，关键词错误1处扣0.5分。

7 错误类型分级与扣分标准

错误等级	定义	基础扣分	适用场景
严重错误	结构/模式识别错误，核心内容缺失/篡改，影响建模解析	2-5分	模块缺失、章节模式错误、整段内容缺失、公式篡改
中度错误	格式/标识错误，层级/归属绑定错误，局部内容偏差	1-2分	层级标错、归属错误、跨页语义割裂、页码错误
轻微错误	标点/缩进/间距违规，漏标/错标非核心信息，无建模影响	0.5-1分	标点混用、多余缩进、核心数值未加粗、锚点漏标

8 评测结果输出规范

输出评测总分+等级，明确合格/待优化/不合格判定。
输出错误明细，按“模块-错误类型-违规位置-扣分分值-修正建议”逐条列明。
输出规则优化建议，针对高频违规项，提出LLM识别规则的调整方向。
输出结构化评测报告（含PDF原始文件信息、评测人、评测时间、修正完成时间），纳入保险条款数据建模档案。