Google Robots.txt 高级SEO生成工具（含GEO多语言地域协议）

SEO规则配置面板（含GEO地理多语言）

1. 全局基础规则

允许全部爬虫抓取全站 Allow: /

开启Crawl-delay:1（兼容必应，谷歌无效）

2. 屏蔽系统/程序目录

/cgi-bin/

WP核心 /wp-admin/ /wp-includes/

/ajax/ /assets/

屏蔽源码文件 *.php *.inc *.sql

3. 屏蔽用户/购物/归档页面

登录/注册/个人中心 login register profile

购物车/结算/收藏 cart checkout wishlist

标签/作者归档 tag author

站内搜索 /search/

4. 屏蔽动态URL参数（含GEO地域参数）

sort filter page 分页筛选参数

utm_source ref 推广追踪参数

屏蔽地域参数 region country lang locale

消除多语言地区重复收录，GEO外贸站点必选

5. 谷歌专属爬虫配置

Googlebot 网页主爬虫（开启Clean-param）

Googlebot-Mobile 移动端爬虫

Googlebot-Image 图片爬虫

图片爬虫默认放行 /images/，屏蔽私密相册

6. GEO多语言/地域站点配置

网站主域名（Host + Sitemap）

添加Host指令（集中域名权重，GEO分站专用）

生成基础Sitemap地图链接

生成多语言GEO分站Sitemap（zh-CN/en-US/ja-JP）

robots.txt 生成预览（完整谷歌SEO+GEO地域协议）

📖 Robots.txt + GEO多语言地域协议完整说明

一、GEO相关协议分类（谷歌外贸多站点必备）

Host 指令：GEO多分站统一主域名，防止cn/en/jp子域名权重分散
GEO URL参数屏蔽：Disallow: /*?lang= / /*?region= 消除地区重复页面
多语言Sitemap 分地区地图，配合hreflang标签提升地区排名
Clean-param 清除地域会话参数，谷歌官方GEO去重方案
hreflang（非robots，配套GEO协议）页面标签区分中文/英文/日语地区版本

二、文件部署规范

文件名小写：robots.txt，上传至网站根目录 https://域名/robots.txt
多GEO分站（cn.yourdomain / en.yourdomain）每个子域名独立robots
修改后GSC谷歌搜索控制台可手动检测，爬虫1~24小时更新缓存

三、模板指令详解（GEO重点）

Host: 集中域名权重，多语言外贸站必开，避免地区页面分流排名
Clean-param: 谷歌独有，清除sessionid/lang/region参数，解决GEO重复收录
Disallow: /*?lang= 屏蔽动态切换语言的重复URL，仅保留静态多语言目录
多地区Sitemap分地图提交，谷歌可精准匹配对应国家搜索结果

四、谷歌官方GEO优化禁忌

不要屏蔽 /css /js，会导致移动端地区索引渲染失败、排名下降
robots仅阻止抓取，无法删除搜索结果，GEO页面需配合hreflang+noindex
多语言目录不要全部Disallow，仅屏蔽动态参数，静态目录正常放行