ホームページ制作ならナレックにお任せ下さい！

クローラー【くろーらー】

ウェブで公開されているホームページなどを定期的に巡回し、そこで見つけた文章や画像などを自動的にデータベース化するプログラム。

検索ロボット、スパイダー、サーチボットなどとも呼ぶほか、単にロボットと呼ぶことも多い。収集したWebページは検索エンジンのインデックスに登録される。

Yahoo!やGoogleもこのプログラムを使いデータを収集、検索結果に反映させている。