Что такое robots.txt это текстовый файл в кодировке UTF-8 который можно легко создать в программе блокнот в формате текстового файла .txt в операционной системы Windows или в любой другой, и загрузить на Ваш хостинг.
Для чего нужен robots.txt - robots позволяет управлять сканированием веб-страниц или интернет магазина для поисковых роботов таких как Googlebot, Yandex, Bingbot и другие, для мобильных версии и для версий ПК.
Что дает robots.txt - ускоряет идентификацию вашего сайта и страниц при добавление товара, информации или добавления дополнительных расширений.
Где находится текстовый файл robots.txt? - Robots.txt находится в корневом каталоге вашего сайта, также можно проверить наличие robots.txt файла вот таким простым способом https://ваш ваб-сайт/robots.txt
Robots.txt - это не просто текстовый файл, это инструмент и для SEO продвижения и ускорения идентификации поисковыми системами вашего сайта или интернет магазина.
