AIクローラーのrobots.txt制御—主要ボットのユーザーエージェント一覧と書き方

AI企業のクローラーはそれぞれ固有のユーザーエージェントを持ち、robots.txtで個別に許可・拒否を制御できる。主要ボットの名称と記述例をまとめる。

本ページは https://varnkit.net/robots-txt-ai-crawlers/ に関する構造化データを提供します。