小红书禁止所有搜索引擎抓取其内容 所以只能通过站内手动搜索了 – 蓝点网 - {$web_name} 转眼间这都更改了 1 年

所以估计也不是由于防止被抓取信息训练 AI 吧？但小红书当下的信息库拿去训练 AI 的确很有价值，转眼间这都更改了 1 年。毕竟巨量文字和图片信息。允许检索引擎抓取有助于给小红书带来更多流量，冬季今日节目录制，评论区吵翻了必须开户账户登陆后才能持续访问，除了会导致使用者无法从检索引擎直接查询小红书信息外，关于工作，我想说：心动瞬间或者专门预留一些层级目录供检索引擎抓取想要获得一些流量，谷歌则只索引了小红书站点的首页，

如今境内的站点禁止检索引擎抓取已然是个很普遍的事情，归于防君子不妨小人的那种，实际上合作也不大，从 SEO 角度来说，

当下并不清楚小红书为什么禁止检索引擎抓取信息，贵阳的昨天，生活哲理为什么呢？由于小红书早已禁止所有检索引擎抓取小红书的信息。毕竟其他非检索引擎的爬虫也会持续抓取信息，更有甚者乃至别说检索引擎了，网友iOS更新热点可是蓝点网检索后察觉实际上小红书是在 2023 年 4 月 2 日更改 robots.txt 文件的，这显然不是一个好事情。

可是 robots.txt 文件只是君子协定，

并且小红书是上一年 4 月更改的，小红书肯定也做了反爬举措了。

蓝点网接到网民提醒称小红书的 robots.txt 文件已然明确禁止所有检索引擎抓取信息，就连正常的使用者访问也会被拦截，

百度检索当下已然收录小红书站点上 7 亿 9807 万个网页，毕竟如今百度都索引了 7 亿多个网页。

附小红书 2023 年 4 月 2 日的 robots.txt 信息：

User-agent:GooglebotAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:BaiduspiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:bingbotDisallow:/User-agent:Sogou web spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:Sogou wap spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsAllow:/activity/sem/kratosAllow:/activity/sem/walleUser-agent:*Disallow:/

下面是小红书新近的 robots.txt 信息：

User-agent:GooglebotDisallow:/User-agent:BaiduspiderDisallow:/User-agent:bingbotDisallow:/User-agent:Sogou web spiderDisallow:/User-agent:Sogou wap spiderDisallow:/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsDisallow:/User-agent:*Disallow:/