什么样的网站结构及URL规则更利于搜索引擎收录

收录是整站SEO优化的前提和基础,没有收录和索引的网站SEO效果都是空谈,那么如何增加网站收录量提升内页收录率?什么样的网站结构更利于百度蜘蛛爬行实现快速收录?如何设计网站URL规则才符合搜索引擎优化的标准?

对于有一定权重或经过一定时间优化后的网站完全可以做到朝发夕收,但对新站SEO优化的第一个阶段就是解决收录问题,直接通过百度搜索资源平台提交资源即可,与其将精力浪费在外链或者蜘蛛池等吸引搜索引擎Spider爬行的方式上,不如集中精力做好重优质内容的产出,原因在于经蜘蛛程序爬行做出初步分析后,才对有意义和价值的页面做建库收录索引处理。

网站更新后都会在第一时间通过搜索引擎站长平台将新产出URL进行提交,而通过第三方网站(搜索引擎蜘蛛经常抓取的网站)发布外链留下新产出的URL链接,都是缩短蜘蛛程序爬行抓取的等待时间,但决定该页面是否被收录索引的关键还是在于页面质量。

网站结构及URL优化

确保网站服务器的稳定性及Robots文件配置正确,通过优化网站层级结构及URL规则,在网站便于搜索引擎蜘蛛程序抓取的基础上,让网页质量更加符合收录标准提高网站内容收录速度,为关键词排名优化打下坚实的SEO基础。

简单明了的树状网站结构

搜索引擎蜘蛛程序(Spider)抓取相当于对整个网站进行遍历,因此一个简单明了、结构层次分明的网站肯定是Spider所喜欢的,而简单明了的树状网站结构有助于提升spider的对网站内容的可读性。

1)树型网站结构即是按照 “首页-栏目/频道/聚合页-文章(内容)详情页”的基本层级规划网站结构

2)扁平即是要求首页到详情页之间的结构层次尽可能的少,尽可能的控制栏目划分减少不必要的栏目层级阿互粉,既满足了对Spider抓取友好度又可以很好的控制权重传递。

3)网状化的内容结构即要求每个页面都至少有一个文本链接指向,可以使网站较深层级的页面更容易被抓取收录,良好的内链优化对排序能够产生积极作用。

4)导航一般会被整个网站中每个页面包含,方便用户对整个网站的内容结构有一个直观的了解,同时也利于搜索引擎爬行不同栏目不同层级的网站内页。

5)对于较小的网站规模及投入资源优先的情况先,优先选择二级目录(子目录)的形式规划站点结构。

简洁美观的url规则

1)URL的唯一性要求网站中同一内容页只有唯一的一个url相对应,指向同一内容页面而不同形式的url存在滤重的风险,从而影响该内容页面的收录

2)一般情况下静态URL更受搜索引擎喜欢,对于动态URL的保证较少参数使得url整体长度尽可能简短即可,并非所有的动态URL站点都需要做伪静态。

3)美观性使得网站URL结构保持一致

https://www.norting.cn/news/19.html(新闻资讯)

https://www.norting.cn/qa/23.html(营销问答)

Tips:URL尽量短且易读,假如栏目没有与之对应的英文或缩写,可使用拼音作为目录名称;在保证URL与网页内容唯一性的情况下,较长的动态URL应去掉无意义的参数;如果无法保证url的唯一性,应将不同形式的URL通过301跳转到目标URL

其他蜘蛛爬行抓取相关注意事项

1)不要忽略倒霉的robots文件,个别情况下系统robots是禁止搜索引擎抓取的,所以当网站即将上线时注意查看robots文件的正确性,网站日常维护过程中也要注意定期检查

User-agent: *

Disallow: /

禁止所有搜索引擎抓取网站

User-agent: Baiduspider

Allow: /

仅允许百度抓取网站

User-agent指示以下规则针对哪个搜索引擎,*代表所有搜索引擎;Disallow和Allow分别代表禁止和允许

2)建立网站sitemap文件、死链文件,并及时通过百度站长平台进行提交

Sitemap: https://www.norting.cn/sitemap.txt

在robot文件中指明sitemap文件位置

3)合理利用站长平台提供的robots、sitemap、索引量、抓取频次、死链提交、网站改版等工具。

整站SEO优化

收录是网站进行SEO操作的基础,通过搜索引擎站长平台的提交工具和sitemap等方式对URL链接进行提交,有助于网站新内容被搜索引擎快速抓取。符合搜索引擎抓取习惯的网站结构及URL规则是在根本上便于搜索引擎蜘蛛爬行抓取分析内容,从而帮助网站实现网页的快速收录。