想必很多做seo的都知道robots的作用，我也来总结下我这一年来使用robots的经验，可以给初学者以参考。
我现在公司是创业公司，并没有专门负责seo的，所以网站上线前就没有做robots，除了robots还有很多优化点都没做到。错过了不少时间。
我入职后，没发现robots，做了个简单的版本，可以给大家看下
2016-11-07
User-agent: *
Disallow: /admin/
Disallow: /hospitals.html
Sitemap: http://www.uyunbaby.com/sitemap.xml
很简单，具体书写规则可以查看百度百科，我第一行屏蔽的是我们的后台登录页面（哈哈，这个地址是访问不了后天的，我写了个假的，害怕哪个哥们把我站给黑了）。第二行是封了一个专题，因为这个专题是用AngularJS做的，好忧伤，技术费了好大的劲还是没太多流量价值。最后是写了个sitemap的地址。很简单，小的企业站的风格。
后来网站内容越来越多，我的robots也越写越多，具体可以看下面的robots文件，2月份的robots是根据光年日志分析爬虫的数据写出来的。具体可以参考我之前的文章：
这个我就不解释了。
西安seo经验：
最后给大家在补充下robots在新站上线前的重要性，新站绑定域名后由于网站数据没做好，可以先用robots不让百度爬网站，当内容丰富之后再修改robots。我现在新站都是这么做的。
Chinese 
English