导语：推动 REP 标准化符合每个人的利益。 雷锋网消息，7 月 1 日，Google 在其博客上发布了一个重要消息，它宣布，Google 开源了存储 robots.text 解析器的 C++ 库，以便推动 REP（Robots Exclusion Protocol，也称爬虫协议、机器人协议）成为互联网标准。 1994 年，荷兰软件 ...

大模型的横空出世，打破了 30 年来互联网的运行规则。 代码版「互联网小宪法」robots.txt 开始失效了。robots.txt 是一个文本文件，每个网站都用它来说明自己是否愿意被爬虫抓取。30 年来，一直是它，让互联网不至于在混乱中运行。 不过这个规则能长久运行其实 ...