"A Standard for Robot Exclusion" に基づいて作られた、検索エンジン用ロボット(クローラー、スパイダーなど呼び方は様々)に対する設定ファイル。

目次 概要 特徴

概要

Webサーバーのルートディレクトリに "robot.txt" または "robots.txt" という名のファイルを設置することにより、検索ロボットのアクセスを制御できる。

検索ロボットが自動巡回する時には、このrobot(s).txtが参照され、索引化が許可されているか否かを自動で判断する。

大手の検索エンジンサイトが使っているロボットは、この一般的な規則に従って作られたものだと考えられるが、中には、当然(?) "A Standard for Robot Exclusion" に基づいて作られていない、行儀の悪いロボットも存在する。スパム用にメールアドレスを収集してまわるようなタイプのロボットは、当然行儀など考えていないであろう。

特徴

例えば、一行めに "User-Agent: *"、二行めに "Disallow: /" と書いておけば、サイト内の全ての索引化を拒否することになる。

主な記述例は、次の通り。

• サイト全ての索引化を拒否する場合

  User-Agent: *

  Disallow: /

• 一部のディレクトリの索引化を拒否する場合

  User-Agent: *

  Disallow: /cgi-bin/

  Disallow: /image/

• 特定の検索ロボットのみの索引化を許可する場合

  User-Agent: *

  Disallow: /

  User-Agent: Lycos

  Allow: /

リンク

関連するリンク
A Standard for Robot Exclusion
関連する用語
検索エンジン
ロボット
スパム
スパムボット

[再検索] [戻る]