robots.txt

robots.txtとは検索エンジンのクローラーや、スパイダーと呼ばれるプログラムに対して、クローリングされたくないWebページを記述する事でクローリングを制限する事が出来る命令文のことをいいます。
Webサイト中に、検索エンジンに収集されたくないフォルダがある場合、そのWebサイトのルートディレクトリに robots.txtを設置し、適切な命令を記述する事でそのフォルダを検索エンジンに収集させないことができます。