Недавно один из наших читателей попросил нас дать совет о том, как оптимизировать файл robots.txt для улучшения SEO. Файл Robots.txt сообщает поисковым системам, как сканировать ваш сайт, что делает его невероятно мощным инструментом SEO. В этой статье мы покажем вам, как создать идеальный файл robots.txt для SEO.
Что такое файл robots.txt?
Robots.txt — это текстовый файл, который владельцы веб-сайтов могут создавать, чтобы сообщать роботам поисковых систем, как сканировать и индексировать страницы на своем сайте.
Обычно он хранится в корневом каталоге, также известном как основная папка вашего веб-сайта. Базовый формат файла robots.txt выглядит следующим образом:
User-agent: [имя пользователя-агента] Disallow: [строка URL-адреса, которую нельзя сканировать] User-agent: [user-agent имя] Разрешить: [строка URL для сканирования] Карта сайта: [URL вашего XML-файла Sitemap]
У вас может быть несколько строк инструкций, чтобы разрешить или запретить определенные URL и добавить несколько карт сайта. Если вы не запрещаете URL-адрес, роботы поисковых систем предполагают, что им разрешено сканировать его.
Вот как может выглядеть пример файла robots.txt:
User-Agent: * Allow:/wp-content/uploads/Disallow:/wp- content/plugins/Disallow:/wp-admin/Sitemap: https://example.com/sitemap_index.xml
В приведенном выше примере robots.txt мы разрешили поисковым системам сканировать и индексировать файлы в нашей папке загрузки WordPress.
После этого мы запретили поисковым роботам сканировать и индексировать плагины и папки администратора WordPress.
Наконец, мы предоставили URL-адрес нашей XML-карты сайта.
Нужен ли вам файл Robots.txt для вашего сайта WordPress?
Если у вас нет файла robots.txt, поисковые системы все равно будут сканировать и проиндексируйте ваш сайт. Однако вы не сможете указать поисковым системам, какие страницы или папки им не следует сканировать.
Это не окажет большого влияния, если вы только начинаете вести блог и у вас мало контента.
Однако по мере того, как ваш сайт растет и у вас появляется много контента, вы, вероятно, захотите лучше контролировать то, как ваш сайт сканируется и индексируется.
Вот почему.
У поисковых роботов есть квота сканирования для каждого веб-сайта.
Это означает, что они сканируют определенное количество страниц во время сеанса сканирования. Если они не завершат сканирование всех страниц вашего сайта, они вернутся и возобновят сканирование в следующем сеансе.
Это может замедлить индексирование вашего сайта.
Вы можете исправить это, запретив поисковым роботам пытаться сканировать ненужные страницы, такие как ваши административные страницы WordPress, файлы плагинов и т. д. и папку тем.
Запрещая ненужные страницы, вы сохраняете свою квоту сканирования. Это помогает поисковым системам сканировать еще больше страниц на вашем сайте и как можно быстрее их индексировать.
Еще одна веская причина использовать файл robots.txt — это когда вы хотите, чтобы поисковые системы не индексировали сообщение или страницу на вашем веб-сайте..
Это не самый безопасный способ скрыть контент от широкой публики, но он поможет вам предотвратить их появление в результатах поиска.
Как должен выглядеть идеальный файл robots.txt?
Многие популярные блоги используют очень простой файл robots.txt. Их содержание может различаться в зависимости от потребностей конкретного сайта:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http: //www.example.com/page-sitemap.xml
Этот файл robots.txt позволяет всем ботам индексировать весь контент и предоставляет им ссылку на XML-карту сайта веб-сайта.
Для сайтов WordPress мы рекомендуем следующие правила в файле robots.txt:
User-Agent: * Allow:/wp-content/uploads/Disallow:/wp-content/ plugins/Disallow:/wp-admin/Disallow:/readme.htmlDisallow:/refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap .xml
Указывает поисковым роботам индексировать все изображения и файлы WordPress. Он запрещает поисковым роботам индексировать файлы плагинов WordPress, админку WordPress, файл readme WordPress и партнерские ссылки.
Добавляя карты сайта в файл robots.txt, вы упрощаете поиск роботами Google все страницы вашего сайта.
Теперь, когда вы знаете, как выглядит идеальный файл robots.txt, давайте посмотрим, как можно создать файл robots.txt в WordPress.
Как создать файл robots.txt в WordPress?
Есть два способа создать файл robots.txt в WordPress. Вы можете выбрать наиболее подходящий для вас метод.
Метод 1. Редактирование файла Robots.txt с помощью Yoast SEO
Если вы используете плагин Yoast SEO, то он приходит с генератором файлов robots.txt.
Вы можете использовать его для создания и редактирования файла robots.txt прямо из админки WordPress.
Просто перейдите на страницу SEO »Tools в админке WordPress и щелкните ссылку« Редактор файлов ».
На следующей странице Yoast SEO-страница покажет ваш существующий файл robots.txt.
Если у вас нет файла robots.txt, Yoast SEO сгенерирует для вас файл robots.txt.
По умолчанию генератор файлов robots.txt Yoast SEO добавьте следующие правила в свой файл robots.txt:
User-agent: * Disallow:/
Важно , чтобы вы удаляете этот текст, потому что он блокирует сканирование вашего сайта всеми поисковыми системами.
После удаления текста по умолчанию вы можете продолжить и добавить свои собственные правила robots.txt. Мы рекомендуем использовать идеальный формат robots.txt, о котором говорилось выше.
Когда вы закончите, не забудьте нажать кнопку «Сохранить файл robots.txt», чтобы сохранить изменения.
Метод 2. Отредактируйте файл Robots.txt вручную с помощью FTP
Для этого метода вам понадобится FTP-клиент. для редактирования файла robots.txt.
Просто подключитесь к своей учетной записи хостинга WordPress с помощью FTP-клиента.
Попав внутрь, вы сможете увидеть файл robots.txt в корневой папке вашего сайта.
Если вы его не видите, скорее всего, вы нет файла robots.txt. В этом случае вы можете просто создать его.
Robots.txt — это простой текстовый файл, что означает вы можете загрузить его на свой компьютер и отредактировать с помощью любого текстового редактора, такого как Блокнот или TextEdit.
После сохранения изменений вы можете загрузить их обратно в корневую папку своего сайта.
Как проверить файл robots.txt?
После создания файла robots.txt всегда рекомендуется протестировать его с помощью файла robots.txt. инструмент для тестирования.
Существует множество инструментов для тестирования robots.txt, но мы рекомендуем использовать тот, который находится в консоли поиска Google.
Просто войдите в свою консоль поиска Google учетной записи, а затем переключитесь на старый веб-сайт поисковой консоли Google.
Откроется старый интерфейс консоли поиска Google. . Отсюда вам нужно запустить тестер robots.txt, расположенный в меню «Сканирование».
Инструмент автоматически загрузит файл robots.txt с вашего сайта. и выделите ошибки и предупреждения, если они были обнаружены.
Последние мысли
Целью оптимизации файла robots.txt является предотвращение сканирования поисковыми системами страниц, которые не являются общедоступными. Например, страницы в папке wp-plugins или страницы в папке администратора WordPress.
Среди экспертов по SEO распространен миф о том, что блокировка категорий, тегов и архивных страниц WordPress улучшит скорость сканирования и приведет к более быстрой индексации и более высокому рейтингу.
Это неправда. Это также противоречит рекомендациям Google для веб-мастеров.
Мы рекомендуем вам следовать указанному выше формату robots.txt, чтобы создать файл robots.txt для своего веб-сайта.
Мы надеемся, что эта статья помогла вам узнать, как оптимизировать ваш файл robots.txt WordPress для SEO. Вы также можете ознакомиться с нашим полным руководством по SEO для WordPress и лучшими инструментами WordPress для SEO для развития вашего сайта.
Если вам понравилась эта статья, подпишитесь на наш канал YouTube с видеоуроками по WordPress. Вы также можете найти нас в Twitter и Facebook.
