Помощь robots.txt помогите настроить

[NaviCross]

Итак, наконец доделал второй сайт , я совершенно не знаток этого дела, поэтому для меня это достижение.

Стал вопрос что-бы правильно настроить робота.

Какие сейчас актуальные настройки ? Что-бы гугл с яндексом не ругалсиь.

Как я знаю , гуглу нужно открыть стили, а где их искать?

Все гениальное просто, гугл ругался, гугл показал где проблема, следуя его сообщениям и исправил свой робот.

 

[inturned]

Итак, наконец доделал второй сайт , я совершенно не знаток этого дела, поэтому для меня это достижение.

Стал вопрос что-бы правильно настроить робота.

Какие сейчас актуальные настройки ? Что-бы гугл с яндексом не ругалсиь.

robots.txt - по большому счету делает лишь доступ к каким-то страницам, а к каким-то нет. А как впринципе чтобы не ругался? открываешь ссылки и сайт на индексацию, вообще в опенкарте изначально настроенный robots.txt

P.S. Может не правильно понял вопроса

 

[derbass]

Для просмотра ссылки Войди или Зарегистрируйся.yandex.ru/robots.xml - самый толковый справочник по этому вопросу, решает любые вопросы.

 

[animal_x]

Сначала пойдет и стандартный роботс, потом сдели в вебмастерс, если появляются дубли (смотри по дублям метатегов) то закрывай их. Для гугла, да, нужно открывать и стили и скрипты, т.к он стал видеть страницы как мы в браузере.

 

[Siberex]

Подскажите, пожалуйста, как закрыть от сканирования /catalog и в тоже время разрешить в нём сканирование картинок, стилей и скриптов?

 

[wenberis]

Мой пример

Подскажите, пожалуйста, как закрыть от сканирования /catalog и в тоже время разрешить в нём сканирование картинок, стилей и скриптов?

Disallow: /*catalog

 

[Bank911]

Кажется это не совсем корректное решение.
По сути вопроса:
Disallow: /catalog
Allow: /catalog/view/jawascript (остальные папки по аналогии).

Я полностью открыл каталог, там ничего секретного нет. Для уверенности можно проверить на яндексе по указанной выше ссылке.

 

[Jay-Black]

Чтобы открыть стили и скрипты роботам можно просто добавить
Allow: *.css
Allow: *.js
после всех Disallow

 

[Nikolays]

Robots.txt для opencart. Да уж там есть с чем поломать голову. А если еще проверять потом на то как гугл на него реагирует и яша то вообще полный абзац. Очень долго подбирал разные варианты для своих 3 х сайтов. Сейчас остановился на таком:

Главное нет дублей на сайте и все страницы с товаром и категории в индексе. В общем все что нужно !
Надеюсь помог =)