站内
QQ客服
自定内容
自定内容
请输入内容
新闻搜索
 
 
新闻动态
抓取软件
成都狮龙书廊科技有限责任公司长春分公司    2016-03-31 19:15:33    文字:【】【】【
么是robots文件

robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。为了避免站长在设置robots文件时出现,百度站长平台特别推出了robots工具,帮助站长正确设置robots。


robots.txt文件的格式

 robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
        "<field>:<optional space><value><optionalspace>"

 在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干DisallowAllow,详细情况如下:
        User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干DisallowAllow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 DisallowAllow行的限制。

        Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html/helpabc.html/help/index.html,而"Disallow:/help/"则允许robot访问/help.html/helpabc.html,不能访问/help/index.html"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

        Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm/hibaiducom.html/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

        使用"*"and"$"
Baiduspider支持使用通配符"*""$"来模糊匹配url
        "*" 匹配0或多个任意字符
         "$" 匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。



robots.txt文件用法举例


浏览 (341) | 评论 (0) | 评分(0) | 支持(0) | 反对(0) | 发布人:毛凌国.中国
将本文加入收藏夹
 
 
自定内容
请输入内容<--狮龙书廊跑马灯文件代码区->
自定内容

 

感谢您注册参加技术达人“秀”—“数字化变革新旗舰5K智能协作终端发布”在线研讨会。

活动日期:2017年6月8日     
北京时间:上午10:00-11:00
活动号:204 914 711
活动密码:170608
 网站编辑@ 2017 年成都狮龙书廊科技有限责任公司。
Cisco、Cisco Systems和Cisco Systems标志是思科系统有限公司和/或其子公司在中国和特定国家和地区的商标或注册商标。
本文中涉及的所有其它商标均属于各自所有者的资产。
自定内容

请输入内容

自定内容

欢迎参加第五届豆瓣阅读征文大赛

详情
豆瓣阅读  发送至 public  
隐藏
发件人:豆瓣阅读  
收件人:
public  
抄 送:
密 送:
时 间:2017-08-11 15:28
时 间:
地 点:
邮件已加密,收件方查看邮件需要密码。 邮件已加密,密码:
  • 回复
  • 转发
查看译文
查看原文
对照显示
正在翻译,请稍候...
自定内容

美橙视频制作中心

独特创意 精妙制作 品质铸造 超高性价比
专业实景影棚
1000平方米实景影棚
超2000平方米外拍基地
一流的影视设备
电影级摄像机、灯光设备、
专业航拍机等
资深制作团队
资深编导、策划、拍摄、
后期制作专业操刀
专业配音
80多位资深配音,支持
普通话、英文、方言等
免费创意提案
免费策划创意,创作文案及
分镜头脚本
项目修改满意为止
影片无理由、无限制修改,
直至满意
 

8月优惠超给力,一降到底,品质不打折,匠心制作!

企业宣传片

片长:60秒

 
专业配音|文案修饰|片头LOGO设计|画面制作|精修剪辑、配乐、调色、特效,后期制作
原价4600元

特惠:2300

企业宣传片(尊享版)

片长:60秒

 
专业配音|文案修饰|片头LOGO设计|视频与画面混编制作|精修剪辑、配乐、调色,特效,后期制作
原价5600元

特惠:2800

产品形象宣传片

片长:60秒-90秒

 
产品360度外观,真实专业拍摄|创意策划、音乐、特效、调色、后期制作
原价6400元

特惠:3200

产品介绍宣传片

片长:60秒-90秒

 
产品360度外观,真实专业拍摄|产品操作演示场景(含模特或主持人)画面拍摄|创意策划、音乐、特效、调色、后期制作
原价8600元

特惠:4800

成都高新区府城大道399号7栋2单元14层1404号

Chengdu Shilong  Pearson  Eucation  Science  and  technology  limited liability company

Chengdu high tech Zone Fucheng  Road  No.399 

Building  7  2  unit  14 floor  No.1404

    邮编(Zip Code):610000   

总机(搜狗认证电话): 028-67876373   

服务器虚拟备案空间服务商 北京息壤科技信息   

机房电话(TEL):0431-85769416

网址(Website)://www.maolg.net   

企业邮箱传真:4008266163-81212

电子邮箱(Email): public@maolg.com 推广链接

网络管理员(administrator): admin@maolg.com      

  ICP备案/许可证编号:蜀 ICP备17015012号-1

工商注册号:510109000979446


Copyright © 2016-2017 All Rights Reserved  

Chengdu  Shilong  Pearson  Education  Science  and technology  limited liability  company   

狮龙画廊

百度统计 


国际证书职业认证网址 http://www.icad.org.cn/

技术支持: 国际商业美术设计师协会高级美术设计师毛凌国.中国微软开发者网路平台

                 商务中国微信微舟央企贝力  PHP_WEB系统提供商