用語集

AIクローラー（エーアイクローラー）

AIサービスがウェブ上の情報を取得するために使うボットです。学習用、検索用、ユーザーの操作に応じた取得では、目的やアクセス制御の方法が異なります。

解説

GPTBotはモデルの学習に使われる可能性のある情報を収集し、OAI-SearchBotはChatGPTの検索に使われます。robots.txtではそれぞれを個別に設定でき、検索用の取得を許可しながら学習用の取得を拒否できます。

ChatGPT-Userは、ユーザーの操作に応じてページを取得します。自動で巡回する検索用クローラーではなく、robots.txtの指定が適用されない場合があります。

アクセスを許可しても、引用は保証されません。robots.txtに加えて、CDNやファイアウォールの制限も確認してください。JavaScriptの処理能力もボットごとに異なります。Googlebotはレンダリングできますが、ほかのボットでは対応できない場合があるため、重要な本文を初期HTMLに含めておくと、取得時の処理への依存を減らせます。

最終更新: 2026/10/01