ISPManager Lite 5 - создавать для нового домена robots.txt

[funnywheel]

Есть задача - при создании нового домена - ложить в директорию домена robots. Каким образом можно решить такую задачу? Или, если есть мысли, предложите, как закрыть от индексации все домены на сервере с возможностью включить нужным доменам индексацию в случае необходимости.

 

[winsdor]

По поводу создания файла при добавлении домена, в этой Для просмотра ссылки Войди или Зарегистрируйся искал похожее решение для весты, посмотри возможно тебе подойдет.

 

[denverkurt]

ISPManager в отличие от весты предоставляется в виде скомпилированных бинарников
команды добавлять там некуда

правда в 4 версии была система плагинов, расширяющих функционал, может и в 5 что-то подобное есть?

 

[efs]

может и в 5 что-то подобное есть?

Для просмотра ссылки Войди или Зарегистрируйся

 

[antonixus]

Для просмотра ссылки Войди или Зарегистрируйся, вот Для просмотра ссылки Войди или Зарегистрируйсянаписано как решить твою проблему с помощью Nginx.
Я у себя на тестовых использую вот такую директиву, подключенную через глобальный файл настроек

location /robots.txt {return 200 "User-agent: *\nDisallow: /\n";}

 

[antonixus]

robots.txt кстати - это только рекомендация для ботов ПС, так что лучше огородиться от ботов по юзер-агенту,
например в .htaccess, вот так:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Google.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Yahoo.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*bingbot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Mail\.RU_Bot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Rambler.*$
RewriteRule .*$ - [F]

тоже самое можно изобразить в nginx.

 

[denverkurt]

robots.txt кстати - это только рекомендация для ботов ПС, так что лучше огородиться от ботов по юзер-агенту,
например в .htaccess, вот так:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Google.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Yahoo.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*bingbot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Mail\.RU_Bot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Rambler.*$
RewriteRule .*$ - [F]

тоже самое можно изобразить в nginx.

т.е. предлагаете совсем заблокировать даже добропорядочные поисковики?
может быть вы не до конца понимаете смысл robots.txt ?
он предназначен не только для отключения индексирования, но еще и для гибкой настройки, какие урлы индексировать а какие нет

 

[funnywheel]

т.е. предлагаете совсем заблокировать даже добропорядочные поисковики?
может быть вы не до конца понимаете смысл robots.txt ?
он предназначен не только для отключения индексирования, но еще и для гибкой настройки, какие урлы индексировать а какие нет

В принципе, это не самая плохая идея, мы ее сейчас обдумываем с коллегой. Задача - не индексировать домены на dev-серваке. Опционально, возможность вернуть индексацию для определенного домена, было-бы неплохо, но все-таки не критично.

Пока у нас лучшим решением является написать скрипт, который будет стартовать по крону, чекать virtualhosts, обходить document_root всех созданных сайтов, чекать наличие robots, в случае отсутствия - копировать заранее подготовленный файл.

В идеале - если бы кто подкинул мысль, есть-ли какие-либо конфиг файлы, которые отвечают за создание www-домена. Посмотреть, можно ли туда вклиниться.

 

[efs]

есть-ли какие-либо конфиг файлы

Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

 

[antonixus]

т.е. предлагаете совсем заблокировать даже добропорядочные поисковики?
может быть вы не до конца понимаете смысл robots.txt ?
он предназначен не только для отключения индексирования, но еще и для гибкой настройки, какие урлы индексировать а какие нет

А постановка задачи какая была, не напомните?

... как закрыть от индексации все домены на сервере с возможностью включить нужным доменам индексацию в случае необходимости.