經典案例
  • 江西省日威服裝有限公司
  • 北京后羿射日酒業
  • 天浪網絡
  • 贛州芒果小公館
  • 贛州中信旅游網
  • 江西益康紙塑工貿有限公司
  • 贛州天合移門
  • 贛州元吉裝飾工程有限公司
  • 贛州市登峰農業開發有限公司

各種搜索引擎蜘蛛名稱

發布于:2014-10-09 22:50來源:贛州網站優化專欄 作者:tinaweb 點擊:
分享到:

下面列出來的是比較出名的搜索引擎蜘蛛名稱:
Google的蜘蛛: Googlebot
百度的蜘蛛:baiduspider
Yahoo的蜘蛛:Yahoo Slurp
MSN的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛: FAST-WebCrawler/ 
INKTOMI的蜘蛛: Slurp
SOGOU的蜘蛛:Sogou web spider/4.0和Sogou inst spider/4.0

按照以上的說明,我們可以給大案一個示例,以Sogou的來說,禁止抓取的robots.txt代碼寫法如下:
User-agent: Sogou web spider/4.0
Disallow: /goods.php 
Disallow: /category.php

tag標簽:
------分隔線----------------------------
------分隔線----------------------------
湖北快三开奖结果查询 456棋牌下载安装 50可以提现的棋牌游戏 皇冠炸金花 黄大仙精准码最全资料 欢乐麻将四人怎么玩 天津时时彩走势图开奖 快乐10分钟技巧计算法 欢乐麻将怎么玩详解 大乐透游戏规则和中奖规则 青海快3猜测技巧 21點五小龙最大么 大圣捕鱼下载 精品福彩论坛 彩金捕鱼掉落红包 快乐10分钟开奖结果陕西 老版欢乐真人麻将下