通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀，六脑网络义乌做网站,义乌网站建设，

2026-05-31 21:32:42 0

通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下： Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$ 注意前面一个*，后面一个$，代表后缀。参考搜外的robots.txt文件写法，点击这里扩展阅读： robots.txt概念和10条注意事项