クローラー

インターネット上にある無数のWebページを定期的に巡回（クローリング）し、情報を収集してくるプログラムのことですな。
収集した情報はデータベースに保管（インデックス）され、検索エンジンの検索結果表示に利用されますぞ。