SEO要做的分析出了网站情况分析，还有一部分是做日志分析。下面我来讲讲如何通过光年日志分析软件来进行robots改写。
各种登录,注册类的页面不仅要nofollow掉,robots也要屏蔽掉.许多活动类栏目会换成动态链接,在页面上使用nofollow并robots屏蔽掉,即杜绝了蜘蛛抓取,同时又不让其收录该页面.
下面是光年日志分析出来的百度爬虫数据：
因此可以看到那个文件夹访问的多，哪个少。下面是优孕行的robots改写细节：
可以根据目录抓取的次数来写robots, 根据下图，robots禁止访问：
User-agent: *
Disallow: /admux/
Disallow: /hospitals.html
Disallow: /js/
Disallow: /admin/
Disallow: /plus/
Disallow: /weixin_api_test/
Disallow: /includes/
Disallow: /css/
Disallow: /editor/
Disallow: /manage/
Disallow: /system/
Disallow: /qiniu_ueditor/
Disallow: /simditor/
Sitemap: http://www.uyunbaby.com/sitemap.xml
这便是运营科学化通过日志分析来达到SEO优化的效果，把不必要的robots禁止掉，然后爬虫就可以效率飞快的抓我们希望它抓的页面了。
Chinese 
English