Как сделать отдельные robots.txt для каждого сайта при использовании компонента MightySites?
Итак у нас есть 3 сайта сделанные с помощью компонента MightySites, а точнее один сайт и 3 домена с разным содержимым и мы хотим сказать поисковикам что это разные сайты.
1.Обязательно в панели управления хостингом ставим галочку в каждом домене "вкл Apache вместо Nginx для обработки статических файлов .jpg .gif .js .css .rar .exe .mp3 и т.д."
2.В корне основного нашего сайта например "сайт1.ru" где лежат все файлы создаём папку "sites" в ней же создаём 3 папки которые называем точно так же как домены наших 3-х сайтов -"сайт1.ru""сайт2.ru""сайт3.ru"
3.В каждой из этих папок создаём "robots.txt" ну и настраиваем в каждой папке по разному в зависимости от домена.
4.В корневой папке основного сайта "сайт1.ru" создаём файл "robots.php" и пишем тут этот код:
header('Content-type: text/plain');
$robotstxt = "sites/" . $_SERVER['HTTP_HOST'] . "/robots.txt";
echo file_get_contents($robotstxt);
?>
5.В фаил ".htaccess" пишем этот код:
RewriteRule ^(robots\.txt)$ robots.php [L]
6.Готово проверяем каждый домен в яндексе тут -https://webmaster.yandex.ru/robots.xmlесли сделали всё правильно Вы увидите разные настройки robots.txt при сканирование разных доменов, если ошибки значит что-то сделали не правильно.
По ссылкам несколько других вариантов, я не проверял их, но может кому нибудь будет полезно.