robots.txt и Googlebot

[BebOp]

В связи с новым алгоритмом поиска решил посмотреть как видит Googlebot мой сайт.
И был в шоке.

Не смотря на это сайт прекрасно отображается на всех мобильных устройствах и планшетах.
После недолгих размышление удаляю содержимое robots.txt и запускаю проверку еще раз.
И вуаля

Добавляю свой robots.txt может вы подскажете что тут не так

 

[v0ff]

Так у тебя же бутстрап находится в /catalog/view/theme/lexus_yourstyle/stylesheet/stylesheet.css
И ты его рубиш: Disallow: /catalog

 

[BebOp]

Я понял.
Поправил спс тебе

А то что он открыт для индекса ничего страшного?

 

[v0ff]

даядумаю роботам в твоей папке /catalog мало что интерестно для роботов, да и шаблон для кеша будет более подходящим !