ロボット

日本ではGoogleなどに代表されるようなロボット系(自動収集系)と呼ばれるサイトがこの方式でURLの調査を行なっている。

しかし中にはWebサイト中にあるメールアドレスを収集してスパム向けダイレクトメール業者に売りつけたりするような悪質な輩もおり、こういったメールアドレス収集機もロボットと呼ばれる。

検索エンジン用のロボットとして、名前が知られるものに次のようなものがある。

記したUser-Agentは、これを著した時点で確認されたものである。

• Yahoo! (旧Inktomi系)
  • User-Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
• Google: Googlebot
  • User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • User-Agent: DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
• MSN
  • User-Agent: msnbot/1.0 (+http://search.msn.com/msnbot.htm)
• livedoor
  • User-Agent: livedoorCheckers/0.11
  • User-Agent: DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://m.livedoor.com/)
  • User-Agent: KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://m.livedoor.com/)
  • User-Agent: J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://m.livedoor.com/)
• 有道(Yadao)
  • User-Agent: Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
• Gigablast
  • User-Agent: Gigabot/2.0 (http://www.gigablast.com/spider.html)
• naverbot系
  • User-Agent: Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)

最近はあまり見ないもの、または廃止されたもの。

• Infoseek: InfoSeek Sidewinder
• goo: Slurp
• AltaVista: Scooter
• eXcite: ArchitextSpider (現在はGoogleを使用)