Как составить robots.txt для оптимизации сайта в поисковой системе

Как создать robots.txt для сайта. Drogin.ru

Для тех кто заботится о своём сайте и тщательно следит за своим контентом обязательно должен знать о файле robots.txt. Практически все новички до одного, да и матёрые веб-мастера, порой допускают серьёзную ошибку: просто напросто забывают про существование такого важного для продвижения сайта файла.

Так что это за файл и для чего он?