---
title: "让小型事件表区分访客、爬虫与内部请求"
canonical: "https://siyuanailab.com/curation/translations/ec62f16eaea1e05dd79c4c3a52b065c6-fef5e432c2b361574801fe8f2f69074d2478ef45a38eb48ede42a6d5d6fe6389/"
dateModified: "2026-11-16"
datePublished: "2026-11-16"
---

[返回日报条目](https://siyuanailab.com/curation/#entry/ec62f16eaea1e05dd79c4c3a52b065c6)

 

资料节译

 

# 让小型事件表区分访客、爬虫与内部请求

 

[阅读原文](https://dev.to/maptosite/who-actually-arrived-telling-a-reader-a-crawler-and-your-own-robot-apart-in-one-event-table-34ke)

 

现有资料无法确认原文完整，本页只翻译已取得的材料。

 

现有原件无法确认图片是否齐全。

 

你发布了一个小页面，加了一个计数器。一周后，计数器显示有十三位访客，你便开始据此做决定——这段文案有效，那个聚合站带来了流量，着陆页值得改进。

 

然后你查看记录，发现十三次访问中有四次根本不是人。两次是你自己部署后的检查，一次是爬虫，还有一次是聊天应用的链接预览机器人：它抓取页面标题，好让陌生人看到预览卡片。你不是失去了这些访客；你从来就没有过他们。这个数字从来不是人数，而是请求数，而请求是由程序发出的。

 

本文介绍一个能解决这个问题的小型事件表、一套让数据站得住脚的分类阶梯，以及即使你正确搭建了它，这些数字仍会说谎的具体方式。本文针对的是大多数独立开发者的实际情况：没有分析服务商，不设同意横幅，只有一张由自己掌控的表，而且需要回答“有人来过吗？他们做了什么吗？”，又不想骗自己。

 

先如实描述数据。每一行记录的是：在某个时间，有*某种东西*抓取了一个 URL，带着它声称的引荐来源、服务器看到的地址，以及它自行提供的用户代理。关于某个人的一切，都是在这些数据之上的推断。

 

因此，表里应该只存放你能据理说明的内容，不能假装知道得更多：

 

| 列 | 含义 | 绝不能变成什么 |
| --- | --- | --- |
| `created_at` | 请求发生时的服务器时间，以 UTC 存储 | 需要以后重新推算的本地时间 |
| `path` | 被访问的路由，经过规范化 | 无法分组的、带查询字符串的完整 URL |
| `event` | 一个小型封闭集合：`view` 、`click` 、`copy` | 自由文本 |
| `referrer` | 请求头中的原始内容，空值也保留 | 猜测出来的来源 |
| `ip_hash` | 客户端地址的加盐哈希 | 地址本身 |
| `meta` | 设备类别、探针标记、原始用户代理 | 塞进五十个字段的地方 |
| `is_internal` | 0/1——这是不是我们自己的流量 | 删除标记 |
| `internal_reason` | 将其归类为内部流量的*原因* | 内部记录中为空 |

 

其中两项值得展开讨论。

 

**不要存储原始地址。**加盐哈希足以去重会话，却无法用于识别住户；对于不想设置 Cookie 同意横幅的页面，这是恰当的取舍。按你选定的周期轮换盐值，因为长期不变的盐值会让化名存续得超过其用途。

 

**不要删除自己的流量；给它加标记。**内部记录是审计轨迹，可以证明你的部署、检查脚本和监控仍在工作。删掉它们后，下次计数器显示为零时，你就无法判断页面运行正常，还是埋点失效了。保留记录，在每个查询中用`is_internal = 0`排除它们，并要求填写原因字符串，这样以后的你还能质疑当初的分类。

 

最容易让人动心的做法是用一个布尔值`is_bot`。但这个布尔值两个方向都会判断错误：它会把一个好奇的读者将链接粘贴到终端的行为标成机器人，也会放过一个完全没有用户代理的无头浏览器。

 

改用有序阶梯，按顺序匹配，命中第一项即停止：

 

-

 

**我们自己。**路径标记、请求头，或我们已知属于自己的地址。原因：`probe` 、`deploy-check` 、`monitor` 。 2. **已知爬虫。**用户代理匹配已知的爬虫类别。原因：`ua:googlebot` 。 3. **未声明的自动化程序。**没有引荐来源、只有一次事件、之后从未出现后续事件、用户代理被截断或缺失，或请求以机器般的节奏突发。原因：`shape:no-referrer-single` 。 4. **链接预览／展开预览。**抓取 HTML 时呈现类似 HEAD 请求的模式，或在分享后几秒发出请求；这类请求常来自数据中心地址，也常由应用的预览服务发起。原因：`shape:unfurl` 。 5. **未分类。**其他所有情况。

 

接下来是比分类阶梯更重要的命名原则：最后一类应该叫**“未识别为机器人”**，而不是“人类”。按这个名称报告。诚实标注的数字仍然有用；一厢情愿地标注数字，后续决策就会建立在错误基础上。

 

原因字符串会在几个月后派上用场。重新分类时，要依据原因重新分类，而不是猜哪些记录属于哪一类：

 

```
SELECT coalesce(nullif(internal_reason,''),'(none)') reason,
       is_internal, count(*) n, count(distinct ip_hash) ppl
FROM traffic_events
WHERE created_at >= ? GROUP BY reason, is_internal ORDER BY n DESC
```

 

每次部署后，你都会打开页面，看看样式表是否加载。接下来一个月里你会写的每个检查脚本（参见关于计划任务和检查的配套文章）也都会访问同一路由。如果不加处理，这些访问就会稳定地增加“访客”数，而且会随着你的工作量增加——这恰恰是反过来的，因为最忙的几周看起来会像最成功的几周。

 

按优先顺序，有三种解决办法：

 

-

 

**使用独立源站。**把部署前预览放到测试主机上。这样生产环境只会收到生产流量和少量你自己的探测请求。 2. **在源头标记探测请求。**在请求处理程序中只检查一次请求头，并将其记录为`is_internal=1`，同时写明原因。这只需改两行，而且之后所有脚本都能沿用，因为未来的脚本都会复制你今天写的脚本。 3. **按地址识别。**如果你无法改动代码路径，就用这个后备办法：记录自己工作器的出口地址，并注明类似`ip:worker`的原因。这是最不可靠的选项：共享出口可能会误吞别人的流量，而出口地址一旦变化，这套办法就会悄无声息地失效。

 

需要预先防范的失效模式是：内部流量排除规则悄悄误伤真实用户。这通常是因为规则范围太宽，比如“用户代理包含`curl`”，而有人确实是从终端访问的。原因字符串能帮你挽回局面：总数看起来不对时，按原因排序并查看记录。

 

用户代理由请求方自行填写，伪造起来轻而易举，所以它只是证据，绝非证明。事件表中的爬虫呈现出某种模式，这种模式比字符串更可靠：

 

- - 没有引荐来源，因为爬虫拿到的是一个 URL，而不是通过页面上的链接跳转到这里；
 
- - 只有一次事件，因为它不会点击；
 
- - 如果你记录所有路径而不只是页面，还会看到它不久前抓取了`/robots.txt`和站点地图；
 
- - 它在许多 URL 上按固定间隔重复请求，这不是读者会有的行为。

 

反向 DNS 也不是答案——它速度慢、常常查不到，而且在关键方向上仍然可以被伪造。如果你需要证明，就验证声称属于某爬虫的地址是否确实位于该爬虫公布的地址范围内，并缓存结果。否则就承认自己是在估算，并保留原因字符串，以便审计这项估算。

 

还有一类爬虫值得单独归类，因为它会干扰漏斗计算：**预览抓取器**。有人在聊天应用里分享你的链接时，应用会抓取页面来生成预览卡片。这是真实的请求，有时也确实来自真实用户的账户，并会产生一个`view`，却没有点击、没有滚动，也没有第二次请求。如果页面的目标是让用户按下按钮，预览抓取就会让漏斗第一步出现假阳性，而且它恰好会在你把链接分享到某处时出现——那正是你最急于查看数据的时候。

 

养成两个习惯，才能把“什么也没发生”从猜测变成有依据的判断。

 

**测两次：在工作开始时和结束时各测一次。**如果某个任务在 06:54 读取数据表后报告“新增为零”，它谈论的时间窗口其实没有定义。07:01 再读一次，此时可以明确地说：两个时间戳之间，记录从第 687 行到第 687 行。九分钟没有新记录。这是事实，而且可以证伪。

 

这不是咬文嚼字。事件会在两次运行之间到达。一个访客在某次运行最后读取之后两分钟到达，又早于下一次运行的计划时间，那么“没有流量”的报告和“有流量”的报告都会漏掉他。你会花一个下午试图解释，为什么某个渠道看起来毫无效果，而总数却一直在增长：

 

```
run start:  SELECT max(id) mx, count(*) n, max(created_at) last FROM events;
  ... work ...
run end:    SELECT max(id) mx, count(*) n, max(created_at) last FROM events;
delta:      n_end - n_start, and every row with id > start.mx
```

 

**用 ID 设置水位线，不要用时间戳。**`WHERE created_at > last_seen`会跳过与水位线处于同一秒的记录——而在流量突发时，同一秒可能有多条记录。单调递增序列中的 ID 能提供精确且没有并列的边界。如果没有这样的 ID，就把时间戳和该时间戳下的最大 ID 一起作为边界。

 

**存储 UTC；显示本地时间。**一个字段，一个时区，在展示时转换。另一种做法会让数据库里的时间含义取决于你正在看的报告，还会埋下一个会在最糟糕时刻被你发现的 bug。

 

你会遇到这样的日子：十三条`view`记录，两条`click`记录。第一反应可能是算出 15.4%，但这个数字不仅没用，甚至有害——它会诱使你根据一个小样本调整文案，而再多一次点击就能让比例变动八个百分点。

 

我的做法是：在样本量 n 足以让比例有意义之前，只报告数量，并且始终说明分母。“24 小时内，十三次到访中有两次点击，其中两次到访发生在不同日期”是诚实的说法。“点击率 15%”则暗示了数据并不具备的稳定性。

 

去重也要同样谨慎。按行计数是在数事件；按不同的`ip_hash`计数，则是在数近似意义上的会话。它们回答的是不同问题，二者之间的差距本身就是信息：十三行来自十三个哈希值，意味着十三次分别到访；十三行来自三个哈希值，意味着一个热心用户加上一个刷新按钮。要有意地选择，并同时报告两种计数。

 

引荐来源请求头是唯一免费的信号，能说明用户如何到达，但浏览器经常会移除它：没有引荐来源策略的跨源导航、从应用打开的链接，以及手动输入或粘贴的内容。因此，引荐来源为空不等于“直接流量”，而是“未知”。在报告中把它标成“直接流量”，就是人们误以为搜索流量毫无价值的原因。

 

引荐来源真正有用之处在于追踪访问链。如果你的链接列在某个聚合站页面上，而那个页面又链接到你的三个路由，你就会看到一种容易辨认的模式：

 

| 路径 | 事件 | 引荐来源 | 解读 |
| --- | --- | --- | --- |
| `/guide` | `view` | `https://aggregator.example/` | 从该列表页面到达 |
| `/guide` | `view` | 空白 | 从消息到达，或是同一个人之后再次访问 |
| `/buy` | `click` | `https://aggregator.example/guide` | 沿着该列表页面上的链接继续访问 |

 

如果某个路径有浏览记录，但漏斗的下一步从未出现过任何引荐来源对应的记录，这本身就是一个发现——尽管不是你想要的那种发现。可能是文案有问题（没人想按按钮），也可能是埋点有问题（按钮事件从未触发）。单靠这张表无法判断是哪一种；你得亲自成为一次到访者，检查自己的点击是否产生了记录。

 

这项检查——自己的事件是否出现，且形态是否符合预期——值得在每次页面变更后执行。如果没人用自己的实际行为验证过事件表，那它记录的只是一厢情愿。

 

人们期望事件表能回答三件事，但它做不到：

 

-

 

## **某人是否完成了转化。**表中的一个`view`和一个`click`，都是发生在你的网站上的事件。点击之后发生的一切都在别人的系统里——商店、应用商店、邀请页面。如果你无法观测，就不要报告。只报告用户是否点击到你的边界，然后到此为止。

 

## **某个页面是否被*读过*。**页面浏览量代表一次抓取。页面停留时间需要第二个事件（可见性变化、滚动），即使如此，它测量的也是标签页，而不是注意力。

 

**某个渠道是否“有效”。**渠道带来访问，访问产生点击，点击之后则发生其他事情。带来访问却没有点击的渠道，问题出在消息表达上；没有带来访问的渠道，问题出在分发上。单个数字无法区分两者，而独立项目中最常见的分析错误，就是遇到转化问题时却去增加分发投入。

 

唯一值得增加的一项是：**对后续事件采用与到访事件相同的分类**，这样漏斗各步骤才基于同一群体计算。如果到访时排除了机器人、点击时却没有，那么转化率会悄悄把机器人的点击也算进去。

 

过早汇总看起来整洁，却会让你无法回头。每日汇总可以回答“星期二有多少”，却无法回答“三周后你真正想知道的问题：来自那个列表页面的访客有没有点击”。

 

保留原始记录，至少要覆盖你目前能想到的问题——个人项目可以保留几个月——然后按路径、事件、引荐来源类别汇总每日数量，并附上不同用户数。除了标记，还要按*原因*汇总，这样之后重新分类时就不必依赖你刚删掉的原始记录。

 

- - 每行记录 UTC 时间、规范化后的路径、小型事件集合中的一种事件、包括空值在内的原始引荐来源、加盐后的地址哈希、设备类别和探针标记。
 
- - 内部流量要标记原因，绝不删除。
 
- - 分类采用有序阶梯，最后一类是“未识别为机器人”，而不是名为`is_bot`的布尔值。
 
- - 用户代理只是提示；形态（没有引荐来源、只有一次事件、没有点击、呈机器般的节奏）才是证据。
 
- - 预览抓取器应单独归类，因为它们会在你正盯着数据看的时候抬高漏斗第一步的数字。
 
- - 任何会生成报告的任务，都要在开始和结束时读取数据表，并在报告中注明时间窗口。
 
- - 水位线用 ID，而不是时间戳。
 
- - 样本量 n 足够之前不报比例；在此之前，报告数量并注明分母。
 
- - 引荐来源为空时，标为“未知”。
 
- - 后续事件采用与到访事件相同的分类。
 
- - 至少有人亲自验证过：自己点击后会产生预期记录。

 

这些做法不能让数据表变得正确，只能让它*可审计*——这才是唯一重要的特性，因为当你相信一个无法解释的数字时，你就不再是在测量，而是在用更多步骤包装猜测。

 

*披露：我开发并撰写关于小型自动化工具的内容，也运营一份面向某款 AI 助手应用的英文指南，并用我自己使用的邀请系统作为本文理念的实际示例：[Pickle 邀请码 SY3LC2——如何输入](https://pickle-invite-code-en.deed.page/)，以及邀请链接[pickle.com/i/RDKXK77G9ZRT](https://pickle.com/i/RDKXK77G9ZRT)。如果有人通过该链接加入，我会获得应用内使用额度；加入者无需支付任何费用。本文内容并不依赖该产品，文中所述的分析设计是通用的。*

 

AI 翻译；具体表述请与原文对照。
