- Главная
- Примеры Robots.txt

Примеров robots.txt можно найти в интренете миллионы (миллиарды?). Достаточно выбрать любой сайт (my-site.ru) и добавить к нему путь robots.txt (my-site.ru/robots.txt).
Дело в том, что файл robots.txt должен быть открыт для проверки роботам поисковых систем (в этом смысл его существования). Поэтому скрыть содержимое этого файла просто невозможно. Вы сами можете проверить содержимое этого файла у любого сайта.
Вот, например, содержимое файла robots.txt газеты vz.ru:
User-agent: *
Disallow: /forum/
Disallow: /print.html
Disallow: /send.html
Disallow: /welcome.php
Disallow: /search
Disallow: /subscribe
Disallow: /agregator
Disallow: /articles
Disallow: /preview
Host: https://vz.ru
Sitemap: https://vz.ru/google_sitemap.xml
А вот что есть в этом файле у сайта https://voprosmarketing.ru/
User-agent: *
Disallow: /search/
Disallow: /admin/
Disallow: /sigin/
Disallow: /signup/
Disallow: /logout/
Disallow: /profile/
Disallow: /user/password/reset/*
Disallow: /user/password/reset/done/
Disallow: /contact/
Disallow: /add-answer/
Disallow: /add-comment/
В новостном сайте, который я разрабатывала сама, есть вот такие строки:
User-Agent: *
Allow: /
Disallow: /searchnews
Disallow: /pastnews
Host: https://my-site.info
Sitemap: https://my-site.info/sitemap.xml
Вот что означают эти команды: Allow: / – открывает весь сайт для индексации любым роботам (User-Agent: *). Некоторые каталоги закрыты (searchnews – это поиск, pastnews – это архив). Разрешен доступ к подпапке pastnews/empty.
Host: https://site.info – определяет главное зеркало сайта. Командой Sitemap указывается файл с картой сайта.
Итак, я, кажется, привела достаточно примеров файла robots.txt. Вы можете проверить этот файл у любого сайта самостоятельно.
Комментарии к ответу0

albinausupova
Ответов: 2

albinausupova
Ответов: 2

albinausupova
Ответов: 2
Ответов: 2
Ответов: 3
Авторитетные ответы от специалистов интернет-рынка
© 2021 voprosmarketing.ru
Илья Жилевич
Пример robots.txt для WordPress
Пример robots.txt для тестового сайта https://website.ru
Комментарии к ответу0