JD Data HQ 现在有四条采集渠道、一个飞书多维表格做数据本体、一个站点做展示。问题不在采集能力,而在“谁来写、谁来发、重复怎么判、并发怎么排队”。这份方案把四件事拆开:采集只写库,治理只管口径,发布只留一个出口,调度按时间错开。
四条渠道各写各的,每条都自带“入库 + 重建站点 + 发布”三段。数据是在长的,但发布这件事没有秩序。
另有 8 条来源字段为空的早期记录,合计 6,719 条。
八次里七次是重复劳动:全量重建同一个库,谁最后发谁生效。真正的新增只有几次。
下面每条都对应一个可检查的动作,不是口号。
从调度到站点的一条直线。四个渠道并行进入同一个写入器,写入器之后才是治理与发布。
从调度到站点的一条直线:四个渠道并行进入同一个写入器,写入器之后才治理与发布。绿点走主路径,光点每过一条边,底部 trace 就打一行。
现有三张表继续用,补四张表把“谁采的、什么时候采的、谁在发布”记下来。表都在同一个 Base 里。
| 表 | 状态 | 关键字段与作用 |
|---|---|---|
客户表 tblFCU0ONrCd8m4X | 已有 | 标准名、别名数组、统一社会信用代码(有则填)。所有渠道的客户先过这张表,未命中才新建并打待复核标记。 |
职位表 tblVPsY7zfYs08V4 | 已有,加字段 | job_id(主键)、来源ID、主来源渠道、sources(多来源明细)、指纹、客户、职位名、城市、发布月份、状态、薪酬、JD 长度、北森专属的 HR 联系人等。 |
JD 版本表 tblUtDwuB03MoEdg | 已有 | 按来源ID + 正文哈希去重,只在新旧不同时新增一版。支持回放任意时点的 JD。 |
| 渠道登记 channels | 新增 | 渠道名、类型(页面会话 / 纯 HTTP)、来源ID 前缀、账号数、采集频率、负责人、最近成功时间、最近失败原因。 |
| 采集批次 runs | 新增 | run_id、渠道、起止时间、抓到 / 新增 / 更新 / 跳过 / 失败数、退出码。站点“运行看板”直接读这张表,不用再翻日志。 |
| 发布租约 publish_lock | 新增 | owner、acquired_at、expires_at(15 分钟 TTL)、heartbeat(60 秒续约)、release_id、备注。发布器抢到租约才允许发。 |
| 排重复核 dup_queue | 新增 | pair_id、job_a、job_b、相似度分数、差异摘要、判定(同一 / 不同 / 待定)、处理人。L3 模糊命中的都进这里,不自动合并。 |
渠道:租户或账号:平台职位ID。例如 hunter:wearecgl:7523xxxx、beisen:anker:JOB-8821、moka:murphy:23811。这个字符串是幂等键,也是追溯的锚点,一旦定下不随字段变化。排重分三级:能确定的自动合,拿不准的进队列,绝不猜。追溯同时记三样东西:来源、版本、字段出处。
三级排重:来源内幂等、跨渠道指纹、模糊进队列。合并的是视图,留下的是来源。
| 层级 | 判据 | 动作 | 为什么这样定 |
|---|---|---|---|
| L1 来源内 | source_id 完全相同 | 更新字段,不新增行 | 同渠道重跑必须 0 变更。今天飞书猎头端重跑就是“新增 7、跳过 1,116”,靠的就是这一层。 |
| L2 跨渠道 | 客户归一 + 职位名归一 + 城市 + 发布月份 | 合成一条,保留两条 source_id | 同一岗位挂在两家猎头平台很常见。确定性匹配不需要人判断,也不该弹窗。 |
| L3 模糊 | 标题相似度 ≥ 0.82 或 JD 正文 simhash 距离 < 6 | 只进 dup_queue 给分,不改主表 | 相似不等于同一个岗位,例如同一客户同名的两个 HC。误合并比不合更难查。 |
追溯要能回答四个问题:这条职位最早哪个渠道发现的、后来哪些渠道也抓到了、JD 正文改过几版、HR 联系方式是谁提供的。前三个靠 sources[] 和版本链,最后一个靠字段级标注。
L2 里的「客户归一」原来只是一句话,落到执行要能重复做、能被复查。规则按「先归一化、再分档判定、最后按顺序合并」三步走,判定结果写进备注,不留模糊地带。
| 步骤 | 做什么 | 判据 |
|---|---|---|
| 归一化 | 去括号与【】内容、去“省/市/区”前缀、去“有限责任公司/股份有限公司/集团/科技/技术/控股”等后缀、全半角统一、英文转小写去空格 | 归一化只是把写法差异抹平,不改变主体含义;归一化后仍不同名的,不能直接合并 |
| 第一档 自动合并 | 归一化后字面完全相同 → 直接并,无需人看 | 只差地区前缀、法人后缀、装饰词(如【海底捞】)、中英文别名(如 J&T极兔速递、Pony.ai 小马智行) |
| 第二档 候选待判 | 归一化后成包含关系且短名长度 ≥ 长名 60% → 进候选队列 | 短名是品牌名、长名是法人全称时成立;短名是行业词(如「海底捞投资」对「海底捞」)时不成立 |
| 第三档 不合并 | 关键词拼盘、不同法人共用英文名 → 保持两条,各自备注说明 | 名字里拼了多家公司(如「阿里巴巴 蚂蚁金服 支付宝」)、同英文名对应两个法人(Humanlaya 对原壤 / 宗匠) |
关联客户改挂到保留记录 → 再把需求期改挂 → 回读确认两条关联都为 0 → 在保留记录的客户说明追加 [别名 日期 合并] 原名(来源ID) → 最后删除被并记录。顺序颠倒会留下无主职位和空壳需求期。2026-11-22 按这套规则跑了一遍:客户表 1,402 → 1,356 条,42 组、46 条记录并入,改挂 316 条职位和 99 条需求期,没有留下空关联。剩下唯一一对相似名是「海底捞」与「海底捞投资」,属投资主体,保留不并。
并行的难点不在同时跑,而在同时写和同时发。分开之后,写入可以并行,发布必须串行。
| 时间 | 任务 | 说明 |
|---|---|---|
| 08:00 | 飞书招聘猎头端取数 + 入库 | 约 6–7 分钟,脚本运行,0 token |
| 08:10 | 北森 iTalent 增量 | 多租户串行,单账号退避 |
| 08:20 | Moka 猎头端 | 需要本人拖滑块时改为人工触发 |
| 08:30 | 谷露补口径 | 薪酬、级别、顾问归属 |
| 08:40 | 发布器(主发布) | 抢租约 → 全量重建 → 发布 → 回读校验 |
| 12:30 / 20:30 | 发布器(增量发布) | 当天有渠道补跑才发,没变更就跳过 |
| 白天按需 | 渠道重跑 | 只入库,不发布;等下一个发布窗口 |
站点从“几个页面拼起来”改成“一个库的六个切面”,每个切面都从 DATA.jobs 派生。
| 视图 | 内容 | 回答什么问题 |
|---|---|---|
| 总览 | 总量、四渠道分布、本月新增、各渠道最近同步时间 | 库里现在有多少、哪块是新的、哪块没刷新 |
| 职位库 | 全量职位,带来源徽标、状态、城市、发布月份 | 有哪些岗位在招 |
| JD 库 | 有正文的岗位,按正文长度与完整度分层 | 能直接拿去做寻访的 JD 有多少 |
| 渠道子页 | 飞书猎头端 / 北森 / Moka / 谷露各一页,只读切片 | 某个渠道单独看是什么样 |
| 追溯 | 点开任一职位:来源链、版本链、字段出处、批次号 | 这条数据能不能信、从哪来 |
| 运行看板 | runs 表、发布历史、租约状态、失败原因 | 今天跑没跑、谁在发、哪里出过错 |
页面顶部固定一条新鲜度带:飞书 08:02 · 北森 08:12 · Moka 11-21 · 谷露 11-20。旧数据自己会说话,不用整页当成实时。
六个数,每周看一次。前三个是数据质量,后三个是运行质量。
先止血,再补账,最后改页面。每一步都能独立上线,不需要等全部做完。