robots.txt写法年夜全和robots.txt语法的感化

　　1假如许可所有搜刮引擎拜访网站的所有部分的话我们可以建立一个空白的文本文档，定名为robots.txt放在网站的根目次下即可。
　　robots.txt写法如下：
　　User-agent: *
　　Disallow:
　　或者
　　User-agent: *
　　Allow: /
　　2假如我们禁制所有搜刮引擎拜访网站的所有部分的话
　　robots.txt写法如下：
　　User-agent: *
　　Disallow: /
　　3假如我们须要某一个搜刮引擎的抓取的话，比如百度，禁制百度索引我们的网站的话
　　robots.txt写法如下：
　　User-agent: Baiduspider
　　Disallow: /
　　4假如我们禁制Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
　　即可
　　robots.txt写法如下：
　　User-agent: Googlebot
　　Disallow: /
　　5假如我们禁制除Google外的一切搜刮引擎索引我们的网站话
　　robots.txt写法如下：
　　User-agent: Googlebot
　　Disallow:
　　User-agent: *
　　Disallow: /
　　6假如我们禁制除百度外的一切搜刮引擎索引我们的网站的话
　　robots.txt写法如下：
　　User-agent: Baiduspider
　　Disallow:
　　User-agent: *
　　Disallow: /
　　7假如我们须要禁制蜘蛛拜访某个目次，比如禁制admin、css、images等目次被索引的话
　　robots.txt写法如下：
　　User-agent: *
　　Disallow: /css/
　　Disallow: /admin/
　　Disallow: /images/
　　8假如我们许可蜘蛛拜访我们网站的某个目次中的某些特定网址的话
　　robots.txt写法如下：
　　User-agent: *
　　Allow: /css/my
　　Allow: /admin/html
　　Allow: /images/index
　　Disallow: /css/
　　Disallow: /admin/
　　Disallow: /images/
　　9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，假如应用“*”，主如果限制拜访某个后缀的域名，禁制拜访/html/目次下的所有以".htm"为后缀的URL(包含子目次)。
　　robots.txt写法如下：
　　User-agent: *
　　Disallow: /html/*.htm
　　10假如我们应用“$”的话是仅许可拜访某目次下某个后缀的文件
　　robots.txt写法如下：
　　User-agent: *
　　Allow: .asp$
　　Disallow: /
　　11假如我们禁制索引网站中所有的动态页面(这里限制的是有“?”的域名，例如index.asp?id=1)
　　robots.txt写法如下：
　　User-agent: *
　　Disallow: /*?*
　　有些时刻，我们为了节俭办事器资本，须要禁制各类搜刮引擎来索引我们网站上的图片，这里的办法除了应用“Disallow: /images/”如许的直接樊篱文件夹的方法之外，还可以采取直接樊篱图片后缀名的方法。
　　示例12
　　假如我们禁制Google搜刮引擎抓取我们网站上的所有图片(假如你的网站应用其他后缀的图片名称，在这里也可以直接添加)
　　robots.txt写法如下：
　　User-agent: Googlebot
　　Disallow: .jpg$
　　Disallow: .jpeg$
　　Disallow: .gif$
　　Disallow: .png$
　　Disallow: .bmp$
　　13假如我们禁制百度搜刮引擎抓取我们网站上的所有图片的话
　　robots.txt写法如下：
　　User-agent: Baiduspider
　　Disallow: .jpg$
　　Disallow: .jpeg$
　　Disallow: .gif$
　　Disallow: .png$
　　Disallow: .bmp$
　　14除了百度之外和Google之外，seo公司培养了一支专业的SEO团队,做到让您的每一分投入都将获取最大的效益，禁制其他搜刮引擎抓取你网站的图片
　　(留意，在这里为了让各位看的更明白，是以应用一个比较笨的办法——对于单个搜刮引擎零丁定义。)
　　robots.txt写法如下：
　　User-agent: Baiduspider
　　Allow: .jpeg$
　　Allow: .gif$
　　Allow: .png$
　　Allow: .bmp$
　　User-agent: Googlebot
　　Allow: .jpeg$
　　Allow: .gif$
　　Allow: .png$
　　Allow: ，郑州网站建设通过一系列设计、建模、和执行的过程将电子格式的信息通过互联网传输，最终以图形用户界面（GUI）的形式被用户所浏览.bmp$
　　User-agent: *
　　Disallow: .jpg$
　　Disallow: .jpeg$
　　Disallow: .gif$
　　Disallow: .png$
　　Disallow: .bmp$
　　15仅仅许可百度抓取网站上的“JPG”格局文件
　　(其他搜刮引擎的办法也和这个一样，只是修改一下搜刮引擎的蜘蛛名称即可)
　　robots.txt写法如下：
　　User-agent: Baiduspider
　　Allow: .jpg$
　　Disallow: .jpeg$
　　Disallow: .gif$
　　Disallow: .png$
　　Disallow: .bmp$
　　16仅仅禁制百度抓取网站上的“JPG&rdquo，郑州网站优化是目前站长圈中最为热门的话题,对于一个网站来说,不仅内部连接和外部链接很重要;格局文件
　　robots.txt写法如下：
　　User-agent: Baiduspider
　　Disallow: .jpg$
　　17假如 ? 表示一个会话 ID，您可清除所有包含该 ID 的网址，确保 Googlebot 不会抓取反复的网页。然则，以 ? 结尾的网址可能是您要包含的网页版本。在此情况下，沃恩可将与 Allow 指令合营应用。
　　robots.txt写法如下：
　　User-agent:*
　　Allow:/*?$
　　Disallow:/*?
　　Disallow:/ *?
　　一行将拦截包含 ? 的网址(具体而言，它将拦截所有以您的域名开首、后接随便率性字符串，然后是问号 (?)，而后又是随便率性字符串的网址)。Allow: /*?$ 一行将许可包含任何故 ? 结尾的网址(具体而言，它将许可包含所有以您的域名开首、后接随便率性字符串，然后是问号 (?)，问号之后没有任何字符的网址)。
　　18假如我们想禁制搜刮引擎对一些目次或者某些URL拜访的话，可以截取部分的名字