计算它的长度、出现次数或文本占比,关键是先统一统计口径:是否要求五字连续出现、是否区分标点和空格、分母按汉字数还是全部字符数计算。下面用明确的演示文本逐步计算,结果只适用于所列样本。
统计口径:先确定什么算一次命中
本文把“深田咏美猛”视为一个完整词项,只有五个字连续排列、顺序完全一致时,才记作一次命中。中间插入空格或标点、少一个字、多一个字,均不算完整命中。例如,“深田咏美 猛”不是连续字符串;“深田咏美”只有四个字,也不能计入完整词项的出现次数。
基础长度单位为“字”,只数目标字符串里的汉字,不把引号、顿号、空格或换行算入目标词长度。因此,目标词长度为5字。若统计一段文本的长度,必须另行说明是否把标点、英文字母、数字和空格计入分母;分子与分母采用不同规则,会使占比失去可比性。
演示样本:逐行统计字符数和命中次数
以下三行是专门用于演示的样本。按汉字计数,忽略标点和空格;本例每行均不含标点。统计对象仍是完整的“深田咏美猛”。
| 样本 | 演示文本 | 字符数 | 完整命中次数 |
|---|---|---|---|
| 第一行 | 深田咏美猛作为统计词项先记录原样 | 16字 | 1次 |
| 第二行 | 标题出现深田咏美猛时按一次命中计 | 16字 | 1次 |
| 第三行 | 深田咏美猛与深田咏美分开统计不把短词当成长词 | 22字 | 1次 |
| 合计 | 三行样本 | 54字 | 3次 |
第三行还出现了一次“深田咏美”,但它只有四个字,不满足五字连续匹配条件,所以不额外增加完整词项的次数。这里的判定能避免把相近写法、短词或拆开的字符串混进统计结果。
计算公式:长度、总次数与文本占比
目标词长度=目标字符串中的汉字数。本例为5字。
总命中次数=各样本中完整连续出现次数之和。本例为1+1+1=3次。
字符覆盖率=命中次数×目标词长度÷样本总字数×100%。代入本例数据:3×5÷54×100%≈27.78%。也就是说,在这三行演示文本中,完整词项覆盖了约27.78%的汉字位置。该数值是样本计算结果,不代表其他文本的占比。
若希望表达单位长度内出现频率,也可以计算“每百字命中数”:3÷54×100≈5.56次/百字。覆盖率与每百字命中数的分子、分母关系不同,前者把每次出现所占的五个字都计入覆盖长度,后者只计算出现次数。引用结果时应写清指标名称,不能把两个百分比或频率混作一项。
实际计算步骤:从文本整理到复核
- 固定目标写法。将待统计字符串定为“深田咏美猛”,不要在计算中途把四字短词或其他近似写法合并进来。
- 统一文本范围。明确统计哪些段落、标题或表格;同一段重复粘贴两遍,就会被当作两份文本计算,除非事先去重。
- 确定字符口径。本例只统计汉字,标点和空格不进入总字数。若改成统计所有可见字符,应对样本和目标保持同一口径,并重新计算分母。
- 按连续字符串查找。从左到右核对五个字是否完整相连。出现一次记1次;若一个词项在同一行重复,逐次计数,而不是每行最多记一次。
- 汇总并复算。把各行字符数与命中数分别相加,再套用相应公式。本例总字数为16+16+22=54字,总命中数为3次。
容易造成偏差的几种情况
把“出现过”当作“只出现一次”。一行文字中若连续出现两次目标词,就应记录两次;按段落只记一次会低估总频次。
混用精确匹配和部分匹配。统计“深田咏美猛”时,不能将“深田咏美”自动补上“猛”,也不能把只含其中部分字符的片段当作完整命中。若另行统计短词,应给它单独的词项和结果。
改变分母却沿用旧占比。加入新段落、删除重复行,或把标点纳入总字符数后,样本总量会变化,覆盖率和每百字频率都需要重新计算。
把示例数值外推到其他文本。这里的3次、54字和27.78%仅来自表中的三行演示样本。统计其他材料时,按相同口径重新数长度和命中次数,再代入公式即可;若改变口径,也应在结果旁说明具体规则。
因此,计算“深田咏美猛”时,可以先报告稳定的词长“5字”,再根据限定文本汇总命中次数;只有样本范围、连续匹配条件与分母规则都写清楚,词频和覆盖率才有可复算的意义。
nm091wa76puj9rmwmwdqwdedsonmff