Создание или настройка robots.txt и sitemap.xml
Описание

Robots.txt — это текстовый файл, предназначенный для ограничения доступа поисковых роботов к разделам и страницам сайта, которые нужно исключить из обхода и результатов выдачи.

Зачем нужен файл robots.txt

Например, иногда роботам не стоит посещать:

1) страницы с личной информацией пользователей на сайте;
2) страницы с разнообразными формами отправки информации;
3) сайты-зеркала;
4) страницы с результатами поиска;
5) другие служебные информации

Файл Sitemap выполняет роль карты сайта. После загрузки файла robots.txt поисковый бот загружает карту сайта, если таковая имеется.

Карта сайта XML позволяет роботу найти все необходимые страницы для последующей индексации. Файл Sitemap имеет расширение XML и представляет собой документ, который содержит дерево XML-тегов.

Объявление
2169862
Похожие объявления
Plus size модель
4
400 грн
Харьков
Kabanchik
Модель
0
400 грн
Киев
Kabanchik

Также часто ищут