robots.txt

Друзья приветствую, нужна ваша помощь.... никак не могу настроить Robots.txt - не индексирует новые страницы, а также всб версию сайта UK.... копался - но ничего не нашел, а гугл ругается что индекс заблокировано

Камрады, поделитесь рабочими файлами robots.txt для Magento. Заранее всем благодарен.

Ищу хак/модуль/решение Необходимо спрятать блок #product-details От Гошы и Яши, так чтобы не индексировали и не видели его. Конечно от яндекса спрятать просто тегом <noindex>, а вот от гугла посложнее будет. Нашел решение для 1.5, но додумать как это реализовать на 1.7 не могу. Спасибо.

Есть задача - при создании нового домена - ложить в директорию домена robots. Каким образом можно решить такую задачу? Или, если есть мысли, предложите, как закрыть от индексации все домены на сервере с возможностью включить нужным доменам индексацию в случае необходимости.

Есть куча страниц, которые надо закрыть в роботсе, например: http://site.ru/component/jshopping/1.html http://site.ru/component/jshopping/2.html http://site.ru/component/jshopping/catalog10/1.html http://site.ru/component/jshopping/catalog1/catalog2/catalog3/1.html Мне нужно закрыть все страницы...