Последнее слово

Еще совсем недавно, я даже не догадывался, как создается сайт. Оказывается за простой страничкой в вашем браузере, скрываются тысячи строк программного кода. Есть строчки, помогающие вам общаться с сайтом, они делают сайт динамическим и написаны на языке программирования JavaScript. Есть просто Html разметка, создающая статический каркас страницы. Есть CSS стили, которые делают сайт красивым и неповторимым. А есть файлы на сайте, который нам не видны, вроде robots.txt, но играют не менее важную роль – они взаимодействуют с поисковым роботом, помогая ему правильно индексировать страничку, что очень важно для любого сайта.

Сегодня не обязательно писать с самого начала всю разметку, css-стили и скрипты. При желании завести простой сайт, в виде новостного блога, вы можете скачать систему управления контентом WordPress. Все стандартные решения в коде уже сделаны за вас, вам остается только запустить его, а дальше вы сможете управлять его содержимым: наполнять картинками, текстами, полезными ссылками, редактировать текст. Несмотря на простоту систему управления контентом правильный robots.txt для сайта на wordpress по-прежнему важен. Причем в этом текстовом файле указаны не только пути, по которым направляются поисковые боты, но и некоторый набор ограничений для них.

Не все страницы должны быть доступны для пользователей сети Интернет. Вы спросите почему? Ответ простой, вы вряд ли обрадуетесь, если поисковой робот захочет проиндексировать файлы администрирования сайта, дело в том, что в них хранятся важные пароли, а также другая секретная информация. Стоит отметить, что Google и Yandex по разному относятся к этому файлу. Если Yandex следует прописанным правилам безоговорочно, тo Google может и проиндексировать запрещенные вами страницы.