クローラーIP分散の方法やIP分散サーバーの紹介サイトクローラーとは、検索ロボット、サーチボットとも呼ばれます。リンク構造を辿りWebサイトを巡回し、データを収集するプログラム。クローラーはインターネット上において、できるだけ早く正確な収集しようとします。