На данный момент WordPress является самой популярной CMS не только для ведения блога, но и для сайтов различных типов. Для успешного развития сайта на нем необходимо правильно настроить файлы robots.txt и .htaccess. Об этом и будет речь.По большей части этот материал предназначен мне «на память». Возможно он поможет еще кому-то.
Итак, файл robots.txt для WordPress может выглядеть примерно так:
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Host: site.ru Sitemap: http://site.ru/sitemap.xml
Одним словом — данный файл закрывает от индексации поисковиками все то, что индексировать не нужно. Плюс указывает на xml карту сайта, а директива host определяет главное зеркало сайта (с www или без www).
Склейка доменов в .htaccess WordPress
Если вам необходимо склеить домены (с www и без), то воспользуйтесь одним из нужных вам способов.
Главный домен без www (301 редирект с www на без www):
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]
Обратный вариант — главный домен с www
RewriteEngine On
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule (.*) http://www.site.ru/$1 [R=301,L]