Что же такое robots.txt?

[SERPO]

Файл robots.txt - текстовый файл ( документ ), который находится в корне сайта. Поисковики при входе на сайт сразу обращают внимание на этот файл, без данного файла нельзя даже попасть в известный поисковик yandex. В robots.txt записывают инструкции для поисковых роботов. В инструкции можно запретить доступ поисковым роботам к каким то разделам, страницам.
Как создать robots.txt смотрите ниже видео
[Вы должны быть зарегистрированы и подключены, чтобы видеть эту ссылку]
Если у вас все плохо получается или вы не хотите ничего составлять, то просто посмотрите на нашем сайту готовые файлы robots.txt