你有没有刚搭完新站,查百度收录的时候发现,同一个文章页,居然有三四个不同的网址都能打开?
带www和不带的,带index.html和不带的,还有莫名其妙带一堆参数的。
我最早接第一个本地企业站单子,就踩过这个坑。老板花三个月更内容,收录才二十多条,查半天才发现,一半内容都重复收录,权重直接被拆得七零八落。
为什么你的网站收录总是上不去?多半是URL没做标准化
说实话,很多新手站长根本没把这个当回事,觉得能打开就行。
搜索引擎爬站的时候,同一个内容出现在好几个不同地址,它没办法判断哪一个是你要放的正版页面,只能自己选。选来选去,本来应该集中在一个页面的权重,硬生生分成三四份,排名自然上不去。
那个企业站当时就是,建站的时候没关默认的index入口,首页同时存在「域名.com」和「域名.com/index.html」两个地址,上线半年,首页权重一直拉不起来。

几个普通人就能上手的落地优化要点
先定好你的主域名,选带www还是不带,定了就别乱改。把不做的那个域名做301跳转,全部转到主域名上。
之前帮一个做美食的个人博客调整,博主之前两个都解析,没做跳转,我帮他配置完跳转,不到两个月,整体收录涨了三成多,效果挺明显的。
然后干掉多余的后缀。比如首页的index.html、index.php这类默认文件,能从URL里去掉就去掉,web服务器里花两分钟就能设置好。
我自己早年做站的时候试过,去掉之后,蜘蛛爬站的频率都肉眼可见高了一点。
再就是统一内链的写法。很多人发文章加内链,一会儿写完整域名,一会儿写相对路径,一会儿带www一会儿不带,这不就是给搜索引擎出难题吗?
这个办法笨但管用,所有内链统一写成带主域名的绝对路径,就不会出问题。之前帮一个小电商站整理内链,光统一URL格式就花了两天,之后半个月,产品页的收录率涨了快二十个点。

动态站点别漏了动态URL的处理

做电商、论坛的朋友,URL经常带一大堆参数,比如?id=1&type=2&track=xxx这种,参数越多,搜索引擎越不好爬。
如果平台支持,尽量改成伪静态格式,参数控制在两个以内,多余的追踪参数能删就删掉。
之前帮一个本地团购站调整,把每个商品页多余的推广追踪参数去掉,改完之后,本来没收录的几十款商品,大半都慢慢被收录了。
核心原则就是,一个页面对应唯一的URL,别给搜索引擎出选择题。
因平台规则常变,建议以搜索引擎官方公告为准。
不同行业网站的URL结构差异很大,你遇到了什么具体问题,留言说出来咱们一起交流。
小提示:不要在URL里混用大小写,服务器对大小写是敏感的,About.html和about.html会被当成两个不同页面,统一用小写就能避开这个坑。