robots文件和Sitemap文件是网站seo优化的重要组成部分，robots文件主要是告诉搜索引擎哪些页面需要抓取哪些页面不许抓取，而是聚集需要搜索引擎去抓取的页面的，作为seo人员来讲，在网站制作完之后准备上线需要做好的工作。下面九江seo就来给大家讲讲robots文件！
一、robots是什么
Robots（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”，网站通过robots告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。简单的来说，网站上有一部分内容允许搜索引擎收录，又有一部分内容不允许搜索引擎收录，于是需要做一个许可文件放入到robots文件，搜索引擎需要通过robots文件才知道哪些页面允许抓取，哪些页面不允许抓取。robots文件具体怎么制作可以去百度资源详细的了解下。
二、制作robots文件的注意事项
1.针对所有搜索引擎则用星号(*)表示，比如：User-agent: *；
2.Allow和Disallow优先级，Allow优先于Disallow
3.至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
3.记得放入Sitemap文件（主要是让搜索引擎更好的抓取网站Sitemap文件）
4.可以陆续放入更多，而不是一次性决定所有
5.网站后台地址/图片地址/下载文件地址/错误链接（发现这些链接记得放入robots文件并做好禁止搜索引擎抓取）
6.一个月生效
以上是至少制作robots文件需要注意的相关事项，robots文件具体怎么制作可以查看百度资源官方，也可以去参考一下一些大型的网站是如何制作robots文件。比如：淘宝、京东等大型内的网站。