JD Data HQ
统一岗位数据库 · 重构方案 v1.0

把所有能拿到的岗位,收进一个库,并且说清楚每条从哪来

JD Data HQ 现在有四条采集渠道、一个飞书多维表格做数据本体、一个站点做展示。问题不在采集能力,而在“谁来写、谁来发、重复怎么判、并发怎么排队”。这份方案把四件事拆开:采集只写库,治理只管口径,发布只留一个出口,调度按时间错开。

数据口径 2026-11-22 13:13 职位总量 6,719 渠道 4 Base OERQbc9ooabBu4scSs6cJbBcnYg 站点 app_17jbj1xe4zb
01

现在是什么样

四条渠道各写各的,每条都自带“入库 + 重建站点 + 发布”三段。数据是在长的,但发布这件事没有秩序。

1,124
飞书招聘猎头端
每日 08:00 自动,脚本运行
2,352
北森 iTalent
多租户,含 HR 联系人字段
161
Moka 猎头端
池 218 · 关闭 57 · 入库 161
3,074
谷露 ATS
顾问、团队、薪酬口径来源

另有 8 条来源字段为空的早期记录,合计 6,719 条。

今天站点被发布了 8 次

08:06 飞书猎头端 09:03 其他链路 10:05 11:17 11:34 12:29 12:56 13:14 飞书猎头端补跑

八次里七次是重复劳动:全量重建同一个库,谁最后发谁生效。真正的新增只有几次。

三个结构性问题

写和发没分开
渠道技能里写库、重建、发布是一段脚本。为了更新 7 条职位,也要重建 6,000 多条并重新发布整站。
发布没有仲裁
四个技能都能发,谁也不等谁。并发时后发的快照可能比先发的旧,页面上会出现数据“回退”。
口径散在脚本里
来源ID 规则、客户归一、字段继承各写一遍,同一条职位在不同渠道的记录里长得不一样。
02

重构的六条原则

下面每条都对应一个可检查的动作,不是口号。

一库:Base 是唯一数据本体
所有渠道写进同一个多维表格,站点只是它的一个派生物。站点里的数据不允许反向成为源。
写者不发布
渠道脚本只做采集与入库,跑完写一条批次回执。发布由一个独立任务全权负责。
合并是视图,不是删除
重复岗位合成一条展示记录,但每条来源ID、每次抓取版本都留着。任何合并都能还原。
每个字段可追
职位记录带 sources[],JD 带版本链,关键字段标出是哪个渠道提供的;冲突时两个值并存,不静默覆盖。
失败隔离
一条渠道取数失败,不影响其他渠道入库,也不阻塞当天发布;站点上把该渠道标成“未刷新”。
可重跑
同一天跑十次和跑一次结果一致,靠来源ID 幂等和版本去重,不靠“小心别重复”。
03

运行链路

从调度到站点的一条直线。四个渠道并行进入同一个写入器,写入器之后才是治理与发布。

看它怎么跑

从调度到站点的一条直线:四个渠道并行进入同一个写入器,写入器之后才治理与发布。绿点走主路径,光点每过一条边,底部 trace 就打一行。

和现在的区别只有一处,但很关键:渠道和发布之间插了一个“统一写入器 + 单点发布器”。渠道跑完就结束,发布器在自己该跑的时间点从 Base 取一次全量。
04

数据模型

现有三张表继续用,补四张表把“谁采的、什么时候采的、谁在发布”记下来。表都在同一个 Base 里。

表状态关键字段与作用
客户表 tblFCU0ONrCd8m4X已有标准名、别名数组、统一社会信用代码(有则填)。所有渠道的客户先过这张表,未命中才新建并打待复核标记。
职位表 tblVPsY7zfYs08V4已有,加字段job_id(主键)、来源ID、主来源渠道、sources(多来源明细)、指纹、客户、职位名、城市、发布月份、状态、薪酬、JD 长度、北森专属的 HR 联系人等。
JD 版本表 tblUtDwuB03MoEdg已有按来源ID + 正文哈希去重,只在新旧不同时新增一版。支持回放任意时点的 JD。
渠道登记 channels新增渠道名、类型(页面会话 / 纯 HTTP)、来源ID 前缀、账号数、采集频率、负责人、最近成功时间、最近失败原因。
采集批次 runs新增run_id、渠道、起止时间、抓到 / 新增 / 更新 / 跳过 / 失败数、退出码。站点“运行看板”直接读这张表,不用再翻日志。
发布租约 publish_lock新增owner、acquired_at、expires_at(15 分钟 TTL)、heartbeat(60 秒续约)、release_id、备注。发布器抢到租约才允许发。
排重复核 dup_queue新增pair_id、job_a、job_b、相似度分数、差异摘要、判定(同一 / 不同 / 待定)、处理人。L3 模糊命中的都进这里,不自动合并。
来源ID 规范:渠道:租户或账号:平台职位ID。例如 hunter:wearecgl:7523xxxx、beisen:anker:JOB-8821、moka:murphy:23811。这个字符串是幂等键,也是追溯的锚点,一旦定下不随字段变化。
05

来源追溯与排重

排重分三级:能确定的自动合,拿不准的进队列,绝不猜。追溯同时记三样东西:来源、版本、字段出处。

看重复怎么判、来源怎么留

三级排重:来源内幂等、跨渠道指纹、模糊进队列。合并的是视图,留下的是来源。

层级判据动作为什么这样定
L1 来源内source_id 完全相同更新字段,不新增行同渠道重跑必须 0 变更。今天飞书猎头端重跑就是“新增 7、跳过 1,116”,靠的就是这一层。
L2 跨渠道客户归一 + 职位名归一 + 城市 + 发布月份合成一条,保留两条 source_id同一岗位挂在两家猎头平台很常见。确定性匹配不需要人判断,也不该弹窗。
L3 模糊标题相似度 ≥ 0.82 或 JD 正文 simhash 距离 < 6只进 dup_queue 给分,不改主表相似不等于同一个岗位,例如同一客户同名的两个 HC。误合并比不合更难查。

追溯要能回答四个问题:这条职位最早哪个渠道发现的、后来哪些渠道也抓到了、JD 正文改过几版、HR 联系方式是谁提供的。前三个靠 sources[] 和版本链,最后一个靠字段级标注。

客户归一:什么算同一家公司

L2 里的「客户归一」原来只是一句话,落到执行要能重复做、能被复查。规则按「先归一化、再分档判定、最后按顺序合并」三步走,判定结果写进备注,不留模糊地带。

步骤做什么判据
归一化去括号与【】内容、去“省/市/区”前缀、去“有限责任公司/股份有限公司/集团/科技/技术/控股”等后缀、全半角统一、英文转小写去空格归一化只是把写法差异抹平,不改变主体含义;归一化后仍不同名的,不能直接合并
第一档 自动合并归一化后字面完全相同 → 直接并,无需人看只差地区前缀、法人后缀、装饰词(如【海底捞】)、中英文别名(如 J&T极兔速递、Pony.ai 小马智行)
第二档 候选待判归一化后成包含关系且短名长度 ≥ 长名 60% → 进候选队列短名是品牌名、长名是法人全称时成立;短名是行业词(如「海底捞投资」对「海底捞」)时不成立
第三档 不合并关键词拼盘、不同法人共用英文名 → 保持两条,各自备注说明名字里拼了多家公司(如「阿里巴巴 蚂蚁金服 支付宝」)、同英文名对应两个法人(Humanlaya 对原壤 / 宗匠)
合并的顺序固定,不能颠倒:先把被并记录名下的职位关联客户改挂到保留记录 → 再把需求期改挂 → 回读确认两条关联都为 0 → 在保留记录的客户说明追加 [别名 日期 合并] 原名(来源ID) → 最后删除被并记录。顺序颠倒会留下无主职位和空壳需求期。

2026-11-22 按这套规则跑了一遍:客户表 1,402 → 1,356 条,42 组、46 条记录并入,改挂 316 条职位和 99 条需求期,没有留下空关联。剩下唯一一对相似名是「海底捞」与「海底捞投资」,属投资主体,保留不并。

06

多渠道并行与调度

并行的难点不在同时跑,而在同时写和同时发。分开之后,写入可以并行,发布必须串行。

写入侧:并行,但要幂等

发布侧:单例,靠租约仲裁

建议的每日时间表

时间任务说明
08:00飞书招聘猎头端取数 + 入库约 6–7 分钟,脚本运行,0 token
08:10北森 iTalent 增量多租户串行,单账号退避
08:20Moka 猎头端需要本人拖滑块时改为人工触发
08:30谷露补口径薪酬、级别、顾问归属
08:40发布器(主发布)抢租约 → 全量重建 → 发布 → 回读校验
12:30 / 20:30发布器(增量发布)当天有渠道补跑才发,没变更就跳过
白天按需渠道重跑只入库,不发布;等下一个发布窗口
一个约定:渠道任务跑完只做两件事——写库、写 runs。要立刻看到结果,就手动触发发布器,而不是让渠道自己发。
07

站点结构

站点从“几个页面拼起来”改成“一个库的六个切面”,每个切面都从 DATA.jobs 派生。

视图内容回答什么问题
总览总量、四渠道分布、本月新增、各渠道最近同步时间库里现在有多少、哪块是新的、哪块没刷新
职位库全量职位,带来源徽标、状态、城市、发布月份有哪些岗位在招
JD 库有正文的岗位,按正文长度与完整度分层能直接拿去做寻访的 JD 有多少
渠道子页飞书猎头端 / 北森 / Moka / 谷露各一页,只读切片某个渠道单独看是什么样
追溯点开任一职位:来源链、版本链、字段出处、批次号这条数据能不能信、从哪来
运行看板runs 表、发布历史、租约状态、失败原因今天跑没跑、谁在发、哪里出过错

页面顶部固定一条新鲜度带:飞书 08:02 · 北森 08:12 · Moka 11-21 · 谷露 11-20。旧数据自己会说话,不用整页当成实时。

08

怎么算改好了

六个数,每周看一次。前三个是数据质量,后三个是运行质量。

来源追溯率
目标 100%
每条职位至少一个 source_id,没有来源的记录必须清零或标注“历史遗留”。
重复率
目标 < 2%
按 L2 指纹抽样估算;L3 队列积压不超过 7 天。
JD 完整率
目标 ≥ 70%
有正文且长度 ≥ 200 字的岗位占比,当前猎头端约 81%。
发布次数
目标 ≤ 3 次 / 天
今天 8 次,改完固定 08:40 一次 + 两次按需。
发布时延
目标 < 15 分钟
从渠道写完到页面可见,同一个早晨内完成。
并发冲突
目标 0
租约抢占失败记一次事件,出现即查。
09

推进顺序

先止血,再补账,最后改页面。每一步都能独立上线,不需要等全部做完。

P0 · 本周
止住重复发布
1. 建 publish_lock 表,写发布器脚本(租约 + 全量重建 + 回读)
2. 四个渠道技能去掉“自己发布”,改为只入库
3. 08:40 固定发布一次,验证一天只发一次
P1 · 两周内
把账补齐
1. 建 channels / runs / dup_queue 三张表
2. 渠道脚本回写批次回执,退出码入表
3. 来源ID 规范收口,历史 8 条空来源记录处理掉
P2 · 一个月内
改站点与口径
1. 站点加“追溯”和“运行看板”两个视图
2. 顶部新鲜度带、渠道子页统一从 DATA.jobs 派生
3. 把四级口径写进协调器与契约总纲,四个技能共用一份