Как оптимизировать ваш WordPress Robots.txt для SEO

Недавно один из наших читателей попросил нас дать совет о том, как оптимизировать файл robots.txt для улучшения SEO. Файл Robots.txt сообщает поисковым системам, как сканировать ваш сайт, что делает его невероятно мощным инструментом SEO. В этой статье мы покажем вам, как создать идеальный файл robots.txt для SEO.

Что такое файл robots.txt?

Robots.txt — это текстовый файл, который владельцы веб-сайтов могут создавать, чтобы сообщать роботам поисковых систем, как сканировать и индексировать страницы на своем сайте.

Обычно он хранится в корневом каталоге, также известном как основная папка вашего веб-сайта. Базовый формат файла robots.txt выглядит следующим образом:

 User-agent: [имя пользователя-агента] Disallow: [строка URL-адреса, которую нельзя сканировать] User-agent: [user-agent  имя] Разрешить: [строка URL для сканирования] Карта сайта: [URL вашего XML-файла Sitemap] 

У вас может быть несколько строк инструкций, чтобы разрешить или запретить определенные URL и добавить несколько карт сайта. Если вы не запрещаете URL-адрес, роботы поисковых систем предполагают, что им разрешено сканировать его.

Вот как может выглядеть пример файла robots.txt:

 User-Agent: * Allow:/wp-content/uploads/Disallow:/wp-  content/plugins/Disallow:/wp-admin/Sitemap: https://example.com/sitemap_index.xml

В приведенном выше примере robots.txt мы разрешили поисковым системам сканировать и индексировать файлы в нашей папке загрузки WordPress.

После этого мы запретили поисковым роботам сканировать и индексировать плагины и папки администратора WordPress.

Наконец, мы предоставили URL-адрес нашей XML-карты сайта.

Нужен ли вам файл Robots.txt для вашего сайта WordPress?

Если у вас нет файла robots.txt, поисковые системы все равно будут сканировать и проиндексируйте ваш сайт. Однако вы не сможете указать поисковым системам, какие страницы или папки им не следует сканировать.

Это не окажет большого влияния, если вы только начинаете вести блог и у вас мало контента.

Однако по мере того, как ваш сайт растет и у вас появляется много контента, вы, вероятно, захотите лучше контролировать то, как ваш сайт сканируется и индексируется.

Вот почему.

У поисковых роботов есть квота сканирования для каждого веб-сайта.

Это означает, что они сканируют определенное количество страниц во время сеанса сканирования. Если они не завершат сканирование всех страниц вашего сайта, они вернутся и возобновят сканирование в следующем сеансе.

Это может замедлить индексирование вашего сайта.

Вы можете исправить это, запретив поисковым роботам пытаться сканировать ненужные страницы, такие как ваши административные страницы WordPress, файлы плагинов и т. д. и папку тем.

Запрещая ненужные страницы, вы сохраняете свою квоту сканирования. Это помогает поисковым системам сканировать еще больше страниц на вашем сайте и как можно быстрее их индексировать.

Еще одна веская причина использовать файл robots.txt — это когда вы хотите, чтобы поисковые системы не индексировали сообщение или страницу на вашем веб-сайте..

Это не самый безопасный способ скрыть контент от широкой публики, но он поможет вам предотвратить их появление в результатах поиска.

Как должен выглядеть идеальный файл robots.txt?

Многие популярные блоги используют очень простой файл robots.txt. Их содержание может различаться в зависимости от потребностей конкретного сайта:

 User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http: //www.example.com/page-sitemap.xml

Этот файл robots.txt позволяет всем ботам индексировать весь контент и предоставляет им ссылку на XML-карту сайта веб-сайта.

Для сайтов WordPress мы рекомендуем следующие правила в файле robots.txt:

 User-Agent: * Allow:/wp-content/uploads/Disallow:/wp-content/ plugins/Disallow:/wp-admin/Disallow:/readme.htmlDisallow:/refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap  .xml 

Указывает поисковым роботам индексировать все изображения и файлы WordPress. Он запрещает поисковым роботам индексировать файлы плагинов WordPress, админку WordPress, файл readme WordPress и партнерские ссылки.

Добавляя карты сайта в файл robots.txt, вы упрощаете поиск роботами Google все страницы вашего сайта.

Теперь, когда вы знаете, как выглядит идеальный файл robots.txt, давайте посмотрим, как можно создать файл robots.txt в WordPress.

Как создать файл robots.txt в WordPress?

Есть два способа создать файл robots.txt в WordPress. Вы можете выбрать наиболее подходящий для вас метод.

Метод 1. Редактирование файла Robots.txt с помощью Yoast SEO

Если вы используете плагин Yoast SEO, то он приходит с генератором файлов robots.txt.

Вы можете использовать его для создания и редактирования файла robots.txt прямо из админки WordPress.

Просто перейдите на страницу SEO »Tools в админке WordPress и щелкните ссылку« Редактор файлов ».

На следующей странице Yoast SEO-страница покажет ваш существующий файл robots.txt.

Если у вас нет файла robots.txt, Yoast SEO сгенерирует для вас файл robots.txt.

По умолчанию генератор файлов robots.txt Yoast SEO добавьте следующие правила в свой файл robots.txt:

 User-agent: * Disallow:/

Важно , чтобы вы удаляете этот текст, потому что он блокирует сканирование вашего сайта всеми поисковыми системами.

После удаления текста по умолчанию вы можете продолжить и добавить свои собственные правила robots.txt. Мы рекомендуем использовать идеальный формат robots.txt, о котором говорилось выше.

Когда вы закончите, не забудьте нажать кнопку «Сохранить файл robots.txt», чтобы сохранить изменения.

Метод 2. Отредактируйте файл Robots.txt вручную с помощью FTP

Для этого метода вам понадобится FTP-клиент. для редактирования файла robots.txt.

Просто подключитесь к своей учетной записи хостинга WordPress с помощью FTP-клиента.

Попав внутрь, вы сможете увидеть файл robots.txt в корневой папке вашего сайта.

Если вы его не видите, скорее всего, вы нет файла robots.txt. В этом случае вы можете просто создать его.

Robots.txt — это простой текстовый файл, что означает вы можете загрузить его на свой компьютер и отредактировать с помощью любого текстового редактора, такого как Блокнот или TextEdit.

После сохранения изменений вы можете загрузить их обратно в корневую папку своего сайта.

Как проверить файл robots.txt?

После создания файла robots.txt всегда рекомендуется протестировать его с помощью файла robots.txt. инструмент для тестирования.

Существует множество инструментов для тестирования robots.txt, но мы рекомендуем использовать тот, который находится в консоли поиска Google.

Просто войдите в свою консоль поиска Google учетной записи, а затем переключитесь на старый веб-сайт поисковой консоли Google.

Откроется старый интерфейс консоли поиска Google. . Отсюда вам нужно запустить тестер robots.txt, расположенный в меню «Сканирование».

Инструмент автоматически загрузит файл robots.txt с вашего сайта. и выделите ошибки и предупреждения, если они были обнаружены.

Последние мысли

Целью оптимизации файла robots.txt является предотвращение сканирования поисковыми системами страниц, которые не являются общедоступными. Например, страницы в папке wp-plugins или страницы в папке администратора WordPress.

Среди экспертов по SEO распространен миф о том, что блокировка категорий, тегов и архивных страниц WordPress улучшит скорость сканирования и приведет к более быстрой индексации и более высокому рейтингу.

Это неправда. Это также противоречит рекомендациям Google для веб-мастеров.

Мы рекомендуем вам следовать указанному выше формату robots.txt, чтобы создать файл robots.txt для своего веб-сайта.

Мы надеемся, что эта статья помогла вам узнать, как оптимизировать ваш файл robots.txt WordPress для SEO. Вы также можете ознакомиться с нашим полным руководством по SEO для WordPress и лучшими инструментами WordPress для SEO для развития вашего сайта.

Если вам понравилась эта статья, подпишитесь на наш канал YouTube с видеоуроками по WordPress. Вы также можете найти нас в Twitter и Facebook.

Оцените статью
Botgadget.ru
Добавить комментарий