Примеры Robots.txt

Пример robots.txt для WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: ИМЯ_САЙТА
Sitemap: http://ИМЯ_САЙТА/sitemap.xml.gz
Sitemap: http://ИМЯ_САЙТА/sitemap.xml

Пример robots.txt для тестового сайта https://website.ru

User-agent: *
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Crawl-Delay: 5
User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Clean-Param: utm_source&utm_medium&utm_campaign
Crawl-Delay: 0.5
Sitemap: https://website.ru/sitemap.xml
Host: https://website.ru

Примеров robots.txt можно найти в интренете миллионы (миллиарды?). Достаточно выбрать любой сайт (my-site.ru) и добавить к нему путь robots.txt (my-site.ru/robots.txt).

Дело в том, что файл robots.txt должен быть открыт для проверки роботам поисковых систем (в этом смысл его существования). Поэтому скрыть содержимое этого файла просто невозможно. Вы сами можете проверить содержимое этого файла у любого сайта.

Вот, например, содержимое файла robots.txt газеты vz.ru:

User-agent: *

Disallow: /forum/

Disallow: /print.html

Disallow: /send.html

Disallow: /welcome.php

Disallow: /search

Disallow: /subscribe

Disallow: /agregator

Disallow: /articles

Disallow: /preview

Host: https://vz.ru

Sitemap: https://vz.ru/google_sitemap.xml

А вот что есть в этом файле у сайта https://voprosmarketing.ru/

User-agent: *

Disallow: /search/

Disallow: /admin/

Disallow: /sigin/

Disallow: /signup/

Disallow: /logout/

Disallow: /profile/

Disallow: /user/password/reset/*

Disallow: /user/password/reset/done/

Disallow: /contact/

Disallow: /add-answer/

Disallow: /add-comment/

В новостном сайте, который я разрабатывала сама, есть вот такие строки:

User-Agent: *

Allow: /

Disallow: /searchnews

Disallow: /pastnews

Host: https://my-site.info

Sitemap: https://my-site.info/sitemap.xml

Вот что означают эти команды: Allow: / – открывает весь сайт для индексации любым роботам (User-Agent: *). Некоторые каталоги закрыты (searchnews – это поиск, pastnews – это архив). Разрешен доступ к подпапке pastnews/empty.

Host: https://site.info – определяет главное зеркало сайта. Командой Sitemap указывается файл с картой сайта.

Итак, я, кажется, привела достаточно примеров файла robots.txt. Вы можете проверить этот файл у любого сайта самостоятельно.