数据采集与爬虫的法律边界

写爬虫这个行为本身不违法，出问题的从来是越界的方式。边界画在哪，从三个层面看。 robots 与授权 robots.txt 是网站声明给爬虫的抓取规则，放在域名根目录，比如 https://example.com/robots.txt。遵守它是基本动作，也是纠纷发生时判断主观意图的参考。比 robots 更硬的边界是授权：需要登录才能看的内容、付费内容、页面明确标注禁止转载的数据，没有授权就不要碰。robots 文件没写，不等于默许，公开可访问只是技术状态，不代表作者放弃权利。搜索引擎蜘蛛是公开采集的例外——它们遵守 robots 还给站点带来流量，站长普遍欢迎；通用爬虫没有这层身份，更要在范围和频率上克制。 频率上的礼貌 技术上能每秒抓 50 次，不代表应该。并发控制在个位数，请求间隔几百毫秒起步，避开对方业务高峰，User-Agent 如实标注。Python 里一个 time.sleep(0.5) 就够表达善意。对小型站点，短时间高频请求可能直接把人家服务器打垮，这不只是合规问题，也是基本的职业操守。抓取时段选对方业务的低峰，声明页或 UA 里留个联系方式，出了误伤对方找得到人。 几条明确的红线 绕过验证机制抓数据，比如破解验证码、伪造登录态，性质完全不同；抓取个人信息再转卖，是刑事风险的区域；采集行为影响目标系统正常运行，同样可能触犯法律。这些场景没有模糊地带，别抱侥幸心理。 还有一层常被忽略：公开数据不等于可以随便商用。页面数据拿来做商业产品、聚合转卖，授权问题依然存在，robots 只解决"能不能抓"，不解决"能不能用"。合规采集的画像其实很简单：只抓公开页面、遵守 robots、频率克制、只存业务必需的字段、数据不二次转卖。真要大规模使用第三方数据，走数据合作或采购的正规渠道，比爬虫省心得多。