thinfo 2008-4-11 09:49
禁止搜索引擎收录的方法
[table=95%][tr][td][table=98%][tr][td=1,1,750] [b][font=Arial][size=3]禁止搜索引擎收录的方法[/size][/font][/b][/td][/tr][tr][td]
[list=1][*][b]什么是robots.txt文件?[/b]
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。
[*][b]robots.txt文件放在哪里? [/b]robots.txt文件应该放在网站根目录下。举例来说，当spider访问一个网站（比如[url]http://www.abc.com[/url]）时，首先会检查该网站中是否存在[url]http://www.abc.com/robots.txt[/url]这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
[table=50%][tr][td=1,1,161][b]网站 URL[/b][/td][td=1,1,271][b]相应的 robots.txt的 URL[/b][/td][/tr][tr][td=1,1,161]http://www.w3.org/[/td][td=1,1,271]http://www.w3.org/robots.txt[/td][/tr][tr][td=1,1,161]http://www.w3.org:80/[/td][td=1,1,271]http://www.w3.org:80/robots.txt[/td][/tr][tr][td=1,1,161]http://www.w3.org:1234/[/td][td=1,1,271]http://www.w3.org:1234/robots.txt[/td][/tr][tr][td=1,1,161]http://w3.org/ [/td][td=1,1,271]http://w3.org/robots.txt[/td][/tr][/table]
[*][b]我放置或者刚刚修改了robots.txt的内容，大约多长时间能生效？[/b]
baiduspider通常每天访问一次网站的robots.txt文件，您对robots所做的修改，会在48小时内生效。需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。
[*][b]我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？[/b]
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
[*][b]禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引[/b]
百度支持通过设置网页的meta，防止搜索引擎显示网站的快照。方法如下：
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 [i]<HEAD>[/i] 部分：
[i]<meta name="robots" c>[/i]
要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
[i]<meta name="baiduspider" c>[/i]
[b]注：[/b]此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。
[align=right][url=http://www.baidu.com/search/robots.html#n][color=#0033cc][/color][/url] [/align][*][b]robots.txt文件的格式[/b]
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
"<field>:<optionalspace><value><optionalspace>"。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：
User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。
Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。
使用"*"和"$"：
baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。
[*][b]URL匹配举例[/b]
[table=50%][tr][td=1,1,40%]Allow或Disallow的值[/td][td=1,1,40%]URL[/td][td=1,1,20%]匹配结果[/td][/tr][tr][td=1,1,40%]/tmp[/td][td=1,1,40%]/tmp[/td][td=1,1,20%]yes[/td][/tr][tr][td=1,1,40%]/tmp[/td][td=1,1,40%]/tmp.html[/td][td=1,1,20%]yes[/td][/tr][tr][td=1,1,40%]/tmp[/td][td=1,1,40%]/tmp/a.html[/td][td=1,1,20%]yes[/td][/tr][tr][td=1,1,40%]/tmp/[/td][td=1,1,40%]/tmp[/td][td=1,1,20%]no[/td][/tr][tr][td=1,1,40%]/tmp/[/td][td=1,1,40%]/tmphoho[/td][td=1,1,20%]no[/td][/tr][tr][td=1,1,40%]/tmp/[/td][td=1,1,40%]/tmp/a.html[/td][td=1,1,20%]yes[/td][/tr][tr][td][/td][/tr][tr][tr][td=1,1,40%]/Hello*[/td][td=1,1,40%]/Hello.html[/td][td=1,1,20%]yes[/td][/tr][tr][td=1,1,40%]/He*lo[/td][td=1,1,40%]/Hello,lolo[/td][td=1,1,20%]yes[/td][/tr][tr][td=1,1,40%]/Heap*lo[/td][td=1,1,40%]/Hello,lolo[/td][td=1,1,20%]no[/td][/tr][tr][td=1,1,40%]html$[/td][td=1,1,40%]/tmpa.html[/td][td=1,1,20%]yes[/td][/tr][tr][td=1,1,40%]/a.html$[/td][td=1,1,40%]/a.html[/td][td=1,1,20%]yes[/td][/tr][tr][tr][td=1,1,40%]htm$[/td][td=1,1,40%]/a.html[/td][td=1,1,20%]no[/td][/tr][/table]
[*][b]robots.txt文件用法举例[/b] [table=85%][tr][td=1,1,76%][b]例1.[/b] [b]禁止所有搜索引擎访问网站的任何部分[/b]
[url=http://bar.baidu.com/robots/robots.txt][color=#0000ff]下载该robots.txt文件[/color][/url][/td][td=1,1,24%][i]User-agent: *
Disallow: /[/i][/td][/tr][tr][td][b]例2.[/b] [b]允许所有的robot访问[/b]
(或者也可以建一个空文件 "/robots.txt")
[/td][td][i]User-agent: *
Disallow: [/i]
或者
[i]User-agent: *
Allow: / [/i][/td][/tr][tr][td][b]例3. 仅禁止baiduspider访问您的网站[/b][/td][td][i]User-agent: baiduspider
Disallow: /[/i][/td][/tr][tr][td][b]例4. 仅允许baiduspider访问您的网站[/b][/td][td][i]User-agent: baiduspider
Disallow:[/i]
[i]User-agent: *
Disallow: /[/i][/td][/tr][tr][td][b]例5.禁止spider访问特定目录[/b]
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。
[/td][td][i]User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/[/i][/td][/tr][tr][td][b]例6. 允许访问特定目录中的部分url[/b]
[/td][td][i]User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/[/i][/td][/tr][tr][td][b]例7. 使用"*"限制访问url[/b]
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
[/td][td][i]User-agent: *
Disallow: /cgi-bin/*.htm
[/i][/td][/tr][tr][td][b]例8. 使用"$"限制访问url[/b]
仅允许访问以".htm"为后缀的URL。[/td][td][i]User-agent: *
Allow: .htm$
Disallow: /[/i][/td][/tr][tr][td][b]例9. 禁止访问网站中所有的动态页面[/b]
[/td][td][i]User-agent: *
Disallow: /*?*[/i][/td][/tr][/table]
[*][b]robots.txt文件参考资料[/b]
robots.txt文件的更具体设置,请参看以下链接：
· [url=http://www.robotstxt.org/wc/exclusion-admin.html][color=#0000ff]Web Server Administrator's Guide to the Robots Exclusion Protocol[/color][/url]
· [url=http://www.robotstxt.org/wc/exclusion-user.html][color=#0000ff]HTML Author's Guide to the Robots Exclusion Protocol[/color][/url]
· [url=http://www.robotstxt.org/wc/norobots.html][color=#0000ff]The original 1994 protocol description, as currently deployed[/color][/url]
· [url=http://www.robotstxt.org/wc/norobots-rfc.html][color=#0000ff]The revised Internet-Draft specification, which is not yet completed or implemented[/color][/url][/list][/td][/tr][/table][/td][/tr][/table]
lkj789 2008-4-29 09:10
支持！
[img]http://photo10.zxip.com/albums10/folder3/1680/20050628180221/200842851424540.gif[/img]
[url=http://www.25452.com/files/article/htm/3/3263/]篡清最新章节[/url]
