robots.txt的基础写法

老泰 — Sat, 06 Jun 2009 16:29:17 +0000

众所周知，当搜索引擎找到你的网站的时候第一个要去查看的就是你有没有robots.txt，如果有的话那么搜索引擎的蜘蛛便会根据你所制定的规则去搜索你的网站。那么robots.txt改如何写？

其实最简单的写robots.txt有三个简易方法。一是去百度百科。二是去谷歌网站管理员工具。三嘛..嘿嘿，就是自己学习规则，自己去写咯~

当然了。其实规则也相当简单，我们只要记住三条简单规则。

　• User-Agent: 适用下列规则的漫游器

　• Disallow: 要拦截的网页

　• Allow: 允许搜索的网页

最最简单的写法：

User-Agent: *
Allow: /

含义为允许所有的搜索引擎搜索网站根目录下的所有文件。

范例一：

User-Agent: *
Disallow: /AAA
Allow: /

含义为允许所有的搜索引擎搜索网站根目录下除AAA文件夹以外的所有文件。

范例二：

User-Agent: *
Disallow: /BBB.html
Allow: /

含义为允许所有的搜索引擎搜索网站根目录下除BBB.html文件以外的所有文件。

说白了就是Disallow为不允许，Allow为允许。或者大家多看一下百度百科对于robots.txt的解释即可。

飞鸟@老泰的网赚博客 » robots.txt