幾個主流搜索引擎蜘蛛的名稱
搜索引擎蜘蛛(又叫爬蟲、Crawler、Spider等)是搜索引擎的一個自動程序。它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁,建立索引數(shù)據(jù)庫,使用戶能在搜索引擎中搜索到你網(wǎng)站的網(wǎng)頁。每個搜索引擎的蜘蛛名字都是不一樣的,接下來小編為你介紹國內幾個主流搜索引擎蜘蛛的名稱。
1. Google蜘蛛名稱
1) Googlebot:從Google的網(wǎng)站索引和新聞索引中抓取網(wǎng)頁
2) Googlebot-Mobile針對Google的移動索引抓取網(wǎng)頁
3) Googlebot-Image:針對Google的`圖片索引抓取網(wǎng)頁
4) Mediapartners-Google:抓取網(wǎng)頁確定 AdSense 的內容。只有在你的網(wǎng)站上展示 AdSense 廣告的情況下,Google才會使用此漫游器來抓取您的網(wǎng)站。
5) Adsbot-Google:抓取網(wǎng)頁來衡量 AdWords 目標網(wǎng)頁的質量。只有在你使用 Google AdWords 為你的網(wǎng)站做廣告的情況下,Google才會使用此漫游器。
2. 百度蜘蛛名稱:Baiduspider 首字母B大寫,其余為小寫
3. 雅虎(Yahoo!)蜘蛛名稱:
1)Yahoo!搜索蜘蛛名稱:Yahoo! Slurp。
2)Yahoo!搜索引擎廣告蜘蛛:Yahoo!-AdCrawler。 用來抓取Yahoo!搜索引擎廣告登陸頁網(wǎng)頁
4. 有道蜘蛛名稱:YodaoBot
5. 騰訊搜搜soso蜘蛛名稱:Sosospider 首字母S大寫,其余為小寫
6. 搜狗(sogou)蜘蛛名稱:sogou spider
7. Live蜘蛛名稱
1)MSNBot:Main web crawler (www.live.com)
2)MSNBot-Media:Images & all other media (images.live.com)
3)MSNBot-NewsBlogs:News and blogs (search.live.com/news)
4)MSNBot-Products:Products & shopping (products.live.com)
5)MSNBot-Academic:Academic search (academic.live.com)
【幾個主流搜索引擎蜘蛛的名稱】相關文章:
5.搜索引擎營銷方法
6.搜索引擎抓取原理