WordPress之robots.txt设置指南：精准吸引搜索引擎+屏蔽安全风险

一、robots.txt核心设置原则

• 精准放行：开放所有SEO价值内容

• 安全封锁：屏蔽敏感目录和后台路径

• 效率优化：阻止无效爬虫消耗服务器资源

二、必封禁的8大高危目录（安全红线）

三、robots.txt模板

# 放行所有主流搜索引擎ser-agent: *Allow: /wp-content/uploads/Allow: /*.cssAllow: /*.js# 核心安全封锁区域Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-login.phpDisallow: /wp-signup.phpDisallow: /readme.htmlDisallow: /license.txtDisallow: /xmlrpc.phpDisallow: /trackback/Disallow: /feed/Disallow: /?s=Disallow: /*?replytocom# 特殊爬虫策略（按需启用）User-agent: AhrefsBotDisallow: /User-agent: SemrushBotCrawl-delay: 10# 指定Sitemap位置Sitemap: https://你的域名.com/sitemap_index.xml

四、高阶优化技巧

• 动态屏蔽采集器：在.htaccess添加： RewriteCond %{HTTP_USER_AGENT} (MJ12bot|DotBot) [NC] RewriteRule ^ – [F,L]

• 开放AMP页面：添加 Allow: /*/amp/

• 多语言站点：为每种语言开放目录 Allow: /en/blog/

五、三大验证工具

• Google Search Console – robots测试工具

• Ahrefs – Robots.txt检查器

• TechnicalSEO – 实时解析工具

避坑提醒：使用缓存插件时，务必在设置中勾选“更新robots.txt后自动清除缓存”，否则修改可能不生效！ 本文提供的方案已通过Google核心算法更新测试（2024版），兼顾SEO收录效率与服务器安全防护。建议每季度检查一次爬虫访问日志，及时更新屏蔽规则。

原文地址：

https://www.intoep.com/wp/67088.html

本文网址：https://www.peizhuji.com/4289