跳到正文
搜索引擎优化.中国 SEO KNOWLEDGE & PRACTICE
合作交流
Google 动态 深度解读

Google 10月23日更新URL与robots.txt技术指南:连字符、下划线和百分号编码如何影响外贸独立站抓取?

官方更新日期:2026年10月23日
本站解读日期:2026年10月24日
官方来源:Google Search Central Documentation Updates、Google Crawling Infrastructure Changelog
更新类型:URL结构最佳实践与robots.txt解析规范说明
是否属于新排名算法:否

2026年10月23日,Google在两份官方技术文档更新日志中分别记录了与URL管理相关的调整:一项澄清为什么建议在URL中使用连字符(-)分隔单词,而不是下划线(_);另一项补充建议在robots.txt的Allow和Disallow规则路径中使用百分号编码(Percent-Encoding)。

两项更新均为文档说明调整。Google称更新目的是与《The Non-Canonical Cabinet》视频系列保持一致,而不是宣布新的核心排名算法或新的抓取系统。对外贸独立站而言,更值得关注的是URL如何长期保持清晰、稳定,以及robots.txt规则能否准确匹配真实路径。

核心判断:新页面优先使用连字符;已稳定收录的下划线URL不要为了这次文档更新仓促迁移;对包含非ASCII字符的robots.txt路径可采用正确的百分号编码,但不要因此把robots.txt误当成noindex或访问权限控制工具。

一、Google在10月23日具体更新了什么?

Search Central文档更新日志明确记录“Updated guidance on crawlable URL structures”,说明此次修改是澄清使用连字符与下划线进行单词分隔的指导原则。

同一天,Google Crawling Infrastructure Changelog记录“Updated guidance on robots.txt specifications”,新增对规则路径采用百分号编码的建议。两项更新的“Why”均指向官方视频系列的内容同步。

因此不能据此声称Google开始处罚下划线URL,也不能推断Googlebot从10月23日起改变了对非ASCII规则的解析方式。

二、Google为什么推荐URL使用连字符?

在URL Structure Best Practices中,Google建议在可能的情况下分隔URL中的单词,并明确推荐用连字符(-)而非下划线(_)。理由是连字符更明确地表示单词边界,有助于用户和搜索引擎识别URL中的概念;下划线在一些编程语言中常被用来表示需要连在一起的标识符,例如format_date。

对一个工业产品站,推荐写法可以是:

https://example.com/products/portable-ferris-wheel/

相比之下,以下写法不如前者直观:

https://example.com/products/portable_ferris_wheel/

同一份文档也建议使用简洁、描述性强的URL,尽量减少无意义参数,并采用符合目标用户语言习惯的词语。这是一条可读性与结构治理建议,不是一条“更换分隔符必然涨排名”的承诺。

三、外贸独立站怎样建立一致的Slug规则?

B2B独立站经常同时拥有产品、解决方案、采购指南、案例与多语言栏目。新内容可按实际栏目设计稳定的URL命名体系:

/products/trailer-mounted-carousel/
/guides/ferris-wheel-installation/
/projects/christmas-market-rides/

URL不应为了覆盖关键词而无限延长,也不要把国家名、年份和“best price”等表达机械叠加到所有地址中。产品型号、名称和目录层级应服务于真实内容组织,而不是制造数量庞大的近似页面。

四、已发布的下划线URL需要批量迁移吗?

通常不需要。如果旧页面已经被正常抓取、收录并持续获得询盘,不应仅为了把_换成-而发起全站URL迁移。Google此次没有提出强制迁移要求。

URL变更会使旧地址与新地址同时存在,需要正确处理301/308永久重定向、站内链接、canonical、XML Sitemap以及多语言hreflang关联。处理不当,可能产生404、重定向链、重复URL和不必要的抓取波动。

如果网站本来就有计划重构目录,则可以一并将新地址改为连字符写法,并按Google站点URL迁移指南实施和监测。否则,保留稳定URL往往比一次无明确收益的批量重命名更合理。

五、第二项更新:robots.txt规则路径的百分号编码

Google robots.txt解释规范说明,Allow与Disallow匹配的是URL的路径部分。规则路径既可以写原始UTF-8字符,也可以采用符合RFC 3986的百分号编码形式。Google会将原始UTF-8规则路径规范化用于匹配。

官方给出了日文示例,以下两条规则在Google解析器中等价:

Disallow: /foo/bar/ツ
Disallow: /foo/bar/%E3%83%84

Google指出,它能够正确解析原始UTF-8字符,但在规则路径中使用百分号编码可能更利于第三方工具和服务处理。这里不是“Google不再支持中文、日文路径”,而是跨工具兼容性建议。

六、中文路径、非ASCII字符与重复编码风险

假设网站有一个仅用于演示的中文目录:

/产品资料/

其UTF-8百分号编码形式是:

/%E4%BA%A7%E5%93%81%E8%B5%84%E6%96%99/

如确实需要限制这一目录的抓取,应验证最终robots.txt规则所匹配的URL是否正确,而不是仅凭表面格式判断。尤其要防止把已经编码的百分号再次编码为%25,造成规则与目标路径不符。

对于通过WordPress插件、代理服务器、Cloudflare或自动化脚本生成robots.txt的站点,应检查最终公开文件,不要只看后台配置框。

七、robots.txt的匹配不是模糊关键词匹配

Google基于路径值进行匹配,规则区分大小写。例如/Products/不等同于/products/。当多条规则同时适用时,Google选择更具体的规则;具体程度相同的冲突规则中采用限制较少的规则。

因此一个类似Disallow: /product的前缀规则,可能影响超出运营人员预期的URL。企业应以真实URL样本测试规则,而不是靠规则名称猜测作用范围。

八、robots.txt不是noindex,也不是数据安全工具

robots.txt控制爬虫能否访问资源;noindex则是搜索索引控制。Google无法抓取某个被robots.txt拦截的页面时,也可能无法读取页面内部的noindex。某个被禁止抓取的URL仍可能因为外部链接等渠道被发现。

如果企业希望客户合同、内部报价或尚未公开的技术资料保持机密,必须使用适当的身份认证或访问控制,而不是依赖Disallow。有关区别可参见Google阻止索引指南。

九、WordPress、产品筛选与多语言站的实际检查重点

对使用WordPress、GeneratePress、Rank Math或多语言插件的网站,此次文档更新不需要触发全站配置修改。更值得按风险检查:新文章Slug是否统一使用连字符;是否存在意外大小写URL;分类筛选与排序参数是否生成大量重复地址;robots.txt是否误拦截产品、案例与技术文章;含中文或其他非ASCII路径的规则是否在服务器和第三方工具中保持一致。

对于外贸电商和产品站,URL参数失控造成的大量近似页面,可能比“下划线是否换连字符”更值得优先治理。Google的URL结构文档明确警告,复杂筛选和无关参数可能制造过多URL,降低抓取效率。

十、这与AI搜索及GEO有什么关系?

Google没有在这次文档更新中公布新的AI Overviews或AI Mode排名因素。连字符与百分号编码不会自动带来AI引用。它们属于让Google更稳定地识别、访问和处理页面的基础技术条件,而不是所谓“GEO快速优化技巧”。

对需要海外获客的企业来说,真正优先的仍是可抓取、可索引、内容准确、清晰内链和可靠的产品事实。技术规范应减少信息获取障碍,而不应被包装成没有官方证据的排名捷径。

十一、现在应该执行什么?

第一步:新建页面统一采用可读、简洁的连字符Slug,不为旧URL进行无收益迁移。

第二步:抽查重要产品、案例和技术文章URL,确认返回正常状态、规范地址一致,内部链接没有指向失效版本。

第三步:打开生产站/robots.txt,核对真实的Allow与Disallow规则,重点验证中文、多语言及其他非ASCII路径。

第四步:检查筛选、排序、站内搜索等参数URL是否被不必要地暴露给抓取系统,避免为了阻止无意义URL而意外拦截核心内容。

第五步:涉及URL迁移或robots.txt更改时,先做代表性URL测试,记录变更和回滚方案,再逐步上线并在Search Console持续监测。

十二、结论:清晰和稳定,比追逐所谓新技术红利重要

Google在2026年10月23日分别澄清了URL分隔符选择与robots.txt规则路径的编码建议。两项变化都没有宣告新的排名算法,也没有要求网站立即迁移。

对于外贸独立站和企业网站,真正值得长期坚持的是:URL命名清晰且稳定,robots.txt匹配精确且可验证,重要页面不因错误规则丧失抓取机会。技术SEO的价值在于减少网站与搜索引擎之间的信息损耗,而不是把每一次文档说明都转换为大规模改站任务。

官方来源

来源与适用边界

帮助读者区分原始事实、分析过程与行动建议。

内容类型深度解读
事实核验以文中来源与发布日期为准
适用范围SEO、网站运营与搜索可见性分析

搜索功能、界面和政策可能继续变化。涉及 Google 规则时,请以文中链接的官方文件及其当前版本为准;行业观察不等同于官方排名结论。