【クロール】
現在、多くの検索サイトはロボット型といわれるタイプで、ロボットと呼ばれるプログラムが世界中のウェブページの情報を自動的に集めている。
この、世界中のウェブページを巡回するロボットのことを、クローラーと呼んでいる。または、巡回ロボットということもある。そして、データを収集することをクロールまたはクローリングという。
クローラーによって収集された情報は、検索サイトのコンピュータに保存され、そのデータが検索の対象になる。逆にいうと、クローラーによってデータが収集されるまで、そのウェブページは検索対象にならない。

-