kernel.org 运维者谈滥用爬虫：14 个 CPU 核心专为爬虫渲染 git 提交页面

Simon Willison 转述 Konstantin Ryabitsev 的观察：git.kernel.org 为应付滥用爬虫的“背景辐射”，在 5 个地理分布节点上常年有 14 个 CPU 核心专门把 git 提交渲染成 HTML，CPU 开销超过包括 git clone 在内的所有合法访问。Willison 担忧这对提供大量可爬网页的 Datasette 也有影响。