在站点根目录下创建robots.txt文件,robots.txt文件是网站的一个文件,搜索引擎抓取网站数据时,首先就是抓取的该文件,根据里面的内容决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制爬虫的抓取路径。
说明:robots协议也叫robots.txt,robots协议不是强制协议,部分搜索引擎或者伪装成搜索引擎的爬虫不会遵守该协议,对于不遵守该协议的情况,以下方法无效。
根据更多信息中的搜索引擎和其对应的User-Agent,Robots.txt代码样例如下所示:
特定三个目录需要分别并列写。
请注意最后需要带斜杠。
禁止所有搜索引擎访问网站的任何位置。
User-agent: Disallow: /
允许所有的搜索引擎访问网站的任何位置。
User-agent: Disallow:
仅禁止Baiduspider搜索引擎访问您的网站。
User-agent: Baiduspider Disallow: /
仅允许Baiduspider访问您的网站。
User-agent: Baiduspider Disallow:
禁止spider搜索引擎访问特定目录。
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /data/
说明:
允许访问特定目录中的部分URL,实现a目录下只有b.htm允许访问。
User-agent: * Allow: /a/b.htm Disallow: /a/
目前搜索引擎和其对应的User-Agent如下所示。
搜索引擎 | User-Agent |
AltaVista | Scooter |
baidu | Baiduspider |
Infoseek | Infoseek |
Hotbot | Slurp |
AOL Search | Slurp |
Excite | ArchitextSpider |
Googlebot | |
Goto | Slurp |
Lycos | Lycos |
MSN | Slurp |
Netscape | Googlebot |
NorthernLight | Gulliver |
WebCrawler | ArchitextSpider |
Iwon | Slurp |
Fast | Fast |
DirectHit | Grabber |
Yahoo Web Pages | Googlebot |
LooksmartWebPages | Slurp |