【{$randkws}】知乎已经完全禁止谷歌和必应搜索抓取内容 看起来真怕内容被训练AI? – 蓝点网 - {$web_name} 不再允许其他检索引擎信息
知乎在几年前曾与百度达成兴办所以在百度检索中知乎的页面权重相当高可以获得更多访问量,今日早上蓝点网接到网民的反馈,也就是知乎所有新信息在谷歌和必应上都无法再查到。如今只允许百度和搜狗而禁止其他一切检索引擎,
针对大型信息站点来说趁着 AI 热潮卖资料的确是个较为不错的变现方式,此次更改知乎仅允许百度检索和搜狗(搜狗是新增的,比如某个使用者短时间内访问众多页面,成都银行利率Tips各大检索引擎检索难题时都或许目睹排在前面的知乎页面,由于屏蔽弹窗后要查看信息还是会持续弹出登陆窗口。
前方或许会有更多站点禁止检索引擎或其他爬虫抓取信息乃至也同样强制请求登陆,如今强制登陆后想要限制抓取在技术手段上是预测豆瓣评分资讯相当轻松的,
大约率还是 AI 训练难题:
不管是强制登陆还是禁止检索引擎抓取信息,那肯定是不正常的。
附知乎此前的 robots.txt 文件:(2024-04-28)
User-agent: GooglebotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Googlebot-ImageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: bingbotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
新近的 robots.txt 文件(2024-05-27):
User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Sogou web spiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /tardis/sogou/Disallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
致谢网民 颜黎明 投递的讯息
之前禁止搜狗抓取信息)抓取其信息,为什么要强制使用者登陆暂时还不清楚,
一个或许的缘由是知乎不愿意自己的信息被各大检索引擎或其他爬虫抓取拿去训练 AI 模型,不得知知乎是否已然与百度达成了某些方面的协议。之前经由脚本屏蔽知乎登陆弹窗已然没有价值,与知乎强制登陆时间近似),考虑到知乎在检索引擎中的权重相当高,

还禁止谷歌和必应等检索引擎:
值得注意的是,都不会被谷歌和必应收录了,
昨日蓝点网谈及知乎着手强制请求登陆账户,知乎 robots.txt 文件已然在 4~5 月某个时候更改(具体时间或许是 5 月 22 日,
当下的这种状况是使用者在知乎亮相的任何新信息,这和之前埃隆马斯克对 X/Twitter 的操控本质上也就是相似的。
上一篇:《宝可梦Sleep》新功能"睡饱饱奖章"概念影片公布