转眼过去，我接触SEO已经2个月有余了，在这期间，我学到了许多，明白了许多，但是对于SEO的前辈来说，我只是一个乳臭未干的小子，线面给大家分享一点关于robots.txt的写法，新手学习，如果你是高手，就当时复习下吧。
准备工作

1服务器2网站域名3做好的网站4robots.txtEND

步骤/方法

1选个好的域名，没被搜索引擎K过的；2把网站传到服务器；3写robots.txt文件；4将写好的robots.txt文件穿至网站的根目录；5查看robots.txt文件：域名/robots.txt;6下面是详细的写法：
1. 允许所有的robot访问（也就是网站允许所有搜索引擎收录）
User-agent: *
Disallow:　
2. 禁止搜索引擎访问某些目录(log,admin_images,user_register是站点下不允许搜索的根目录）
User-agent: *
Disallow: /log/
Disallow: /admin_images/
Disallow: /user_register/
3. 禁止某个搜索引擎的访问（比如禁止google收录，按如下的方式写）
User-agent:googlebot
Disallow: /
4. 允许某个搜索引擎的访问（比如允许百度收录，按如下的方式写）
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
END

注意事项一个网站最好写个robots.txt文件，虽然没有也不会有太大的问题，但有一个会有利于搜索引擎检索你的页面；不要把允许蜘蛛爬行的文件和不允许蜘蛛爬行的文件搞混淆了；做好一个网站的优化，选服务器很重要，要没被搜索引擎K过，还要稳定，速度要快；一定要把robots.txt文件传至网站的根目录。