飓风算法解读：网站规模扩大后哪些手工工作该停掉
📱 Mozilla/5.0 (compatible; QlyzeBot/1.0; +https://app.qlyze.io/bot)
🔗 /17a51d789114.html
📄
飓风算法解读：网站规模扩大后哪些手工工作该停掉
当站点从几十个页面扩到几百上千个页面时，最先出问题的往往不是内容质量，而是你还在用逐页手工的方式处理本该批量判断的事。飓风算法解读的核心指向是清理低质采集与聚合内容，规模扩大后，逐页检查采集痕迹、手工决定每个聚合页去留、人工维护内链结构这三类工作会先失效，应该转为规则化筛选加抽样复核。
先确认一个反常现象：手工越勤，问题反而越多
很多站长在页面数量增长后，仍然坚持每天手工巡查一批页面，结果发现低质页面的处理速度赶不上新增速度。这里有一个与直觉相反的结果：手工巡查量上升，站点整体低质页面占比却没有下降。合理解释至少有两种：一是新增页面的采集或聚合模式与旧页面不同，手工经验没有覆盖；二是手工处理只解决了被看到的部分，没被抽到的页面仍在累积。要区分这两种解释，可以取同一目录下最近新增的五十个页面，按“正文来源是否可追溯”“是否与同站其他页面高度重复”两个维度各打一个标记，统计标记分布。如果低质标记集中在新增页面，说明问题在入口规则；如果新旧页面分布接近，说明是存量清理没做完。
哪些工作应该从手工转为规则化处理
规模扩大后，下面三类工作继续手工做，投入产出会明显失衡。
- 逐页判断采集痕迹。手工看正文是否通顺、是否夹杂来源站名称，在几十页时可行，上千页时无法覆盖。可以改为按段落重复率、异常外链密度、正文与标题语义偏离度设阈值，先机器筛出可疑页，再人工复核边界样本。
- 逐页决定聚合页去留。聚合页是否保留，取决于它是否提供了独立于列表项的筛选价值。可以按“是否有唯一筛选条件”“是否包含列表页没有的字段”两个条件批量分组，只对分组边界上的页面手工判断。
- 手工维护内链。当相关文章数量超过人工记忆范围，手工加内链会变成随机行为。可以按主题标签生成候选内链，再人工确认是否语义相关，而不是逐条手工寻找。
这三类工作的共同点是：判断标准可以写成条件，且重复出现。凡是满足这两点的，就应该先规则化，再抽样。
以你手上的一个页面目录为例：怎么转为可执行方案
假设你手上有一个包含三百个页面的目录，其中一部分是采集或聚合生成。可以按以下步骤处理：
- 导出该目录下所有页面的标题、正文前两百字、出站链接数、被内链指向次数。这一步只做数据整理，不做判断。
- 按正文前两百字做两两相似度比较，把相似度超过某个假设阈值的页面归为一组。阈值需要你自己用已知正常页面和已知低质页面各取十个做校准，不要直接套用别人的数值。
- 对每组页面，检查是否存在唯一筛选条件或独立字段。如果没有，标记为候选清理对象；如果有，保留并记录其筛选逻辑。
- 从候选清理对象中随机抽二十个页面手工复核，确认规则是否误伤。如果误伤超过你设定的可接受比例，调整阈值后重新跑一遍。
这个动作的结果会直接影响下一步：如果抽样误伤低，说明规则可以扩大到整个目录；如果误伤高，说明当前维度不足以区分，需要加入新的判断条件，而不是继续手工逐页处理。
规则化之后，手工工作应该保留在哪些位置
规则化不等于完全放手。以下位置仍然需要人工介入：
- 阈值校准。相似度阈值、重复率阈值需要结合你站点的内容类型确定，没有通用值。
- 边界样本复核。规则筛出的可疑页中，处于阈值边缘的页面应由人工确认。
- 规则更新。当新增页面的生成方式发生变化时，原有规则可能失效，需要重新校准。
换句话说，手工工作从“逐页处理”转为“校准规则和复核边界”，总量下降，但判断质量的要求上升。
需要留意的适用条件
这套做法成立的前提是：页面数量已经超出人工逐页覆盖的范围，且低质页面的判断标准可以写成条件。如果站点只有几十个页面，或者每个页面的采集方式都不同、无法归纳出共同特征，那么规则化的收益有限，手工处理反而更直接。另外，抓取量或索引量下降不能单独证明清理动作正确，还需要结合页面是否被正常抓取、是否进入索引等环节分别观察。
把手工工作转为规则化处理，本质是让规模扩大后的清理动作可重复、可校准，而不是依赖某一次人工巡查的结果。
