robots.txt

Webサーバーのルートディレクトリに "robot.txt" または "robots.txt" という名のファイルを設置することにより、検索ロボットのアクセスを制御できる。

検索ロボットが自動巡回する時には、このrobot(s).txtが参照され、索引化が許可されているか否かを自動で判断する。

大手の検索エンジンサイトが使っているロボットは、この一般的な規則に従って作られたものだと考えられるが、中には、当然(?) "A Standard for Robot Exclusion" に基づいて作られていない、行儀の悪いロボットも存在する。スパム用にメールアドレスを収集してまわるようなタイプのロボットは、当然行儀など考えていないであろう。

例えば、一行めに "User-Agent: *"、二行めに "Disallow: /" と書いておけば、サイト内の全ての索引化を拒否することになる。

主な記述例は、次の通り。

• サイト全ての索引化を拒否する場合

  User-Agent: *

  Disallow: /

• 一部のディレクトリの索引化を拒否する場合

  User-Agent: *

  Disallow: /cgi-bin/

  Disallow: /image/

• 特定の検索ロボットのみの索引化を許可する場合

  User-Agent: *

  Disallow: /

  User-Agent: Lycos

  Allow: /