《谷歌搜索引擎优化初学者指南》- 处理页面的抓取

《谷歌搜索引擎优化初学者指南》是每个SEOer都要必看的。从这个指南里你能学到搜索引擎优化基础、如何优化网站结构、优化内容的思路、如何处理页面的抓取以及网站的推广和分析。

《谷歌搜索引擎优化初学者指南》- 处理页面的抓取
《谷歌搜索引擎优化初学者指南》- 处理页面的抓取

 
1、更加有效地使用 robots.txt 文件
(1) “robots.txt”文件主要用来告知搜索引擎它们是否有权抓取您网站 的特定部分(1)

(2)需要注意的是 , 如果您的网站使 用子域名而您不想被抓取的某些网页恰好在一个特定子域名下 , 您 需要为那个子域名创建一个单独的robots.txt文件

(3)对敏感的内容使用更加安全的方法
请注意避免 :
允许您网站中一些类似搜索结果的页面被抓取到(用户不喜欢刚离开一个搜索结果页面就进入了 另一个搜索结果页面 , 这对他们来说没有什么价值) 允许大量自动生成的、有相同或极为相似内容的网页被抓取到 , 用户会想 : “难道这100000页近 乎相同的网页真的应该在搜索引擎的索引中出现吗?” 允许那些因提供代理服务而生成的URL被抓取

2、谨慎使用 rel="nofollow"
(1)用“nofollow”打击垃圾留言
如果您把某一链接的“rel”属性设置成“nofollow” , 这意味着您是 在向Google传达这样的信息 : 您不希望Google继续跟踪抓取这些 特定链接所指向的页面 , 并且也不希望将自己网页的声誉传给这些 链接指向的网页

(2)自动给留言板“设置为nofollow”
如果您链向了某些被Google认为是垃圾的网站的话 , 那 么您自己网站的声誉也会受到影响

(3)关于为特定的内容或者页面上的所有链 接使用“nofollow”
Nofollow的另一个用途就是 , 当您在写文章并引用某个网站 , 但是 并不想把您的声誉传递给它

 

 

滚动至顶部