Поэтому эти заморочки были внедрены прямо в коробку и задокументированы в базе знаний!
ну есть же canonical, есть robots.txt, зачем страницу в ноиндекс еще
<meta name="robots" content="noindex"/>
Текст страницы, с таким метатегом в заголовке –
Яндекс совершенно не индексирует, но при этом он –
проиндексирует все ссылки на ней.
можно еще так <meta name="robots" content="none"/> не переходить по ссылкам и не индексировать
Что-же касается поисковика Google, то он никак не реагирует на присутствие выражения noindex, ни в заголовке, ни в теле веб-страницы. Google остаётся верен своему валидному «
Для просмотра ссылки Войди или Зарегистрируйся», который он понимает и выполняет – и для отдельной ссылки, и для всей страницы сразу (в зависимости от того, как прописан запрет).
Если уж и закрывать и для Яндекса и для Гугла то юзать надо такой тег
<meta name="robots" content="noindex, nofollow"/>
– запрещено индексировать текст и переходить по ссылкам на странице
для всех поисковых роботов Яндекса и Google
что у вас может быть создан каталог со сложной топологией, с достаточно большой глубиной вложенности категорий
на этот счет в битриксе есть давно инструменты позволяющие указать элементу каталога родительский раздел и независимо от того привязан товар к одному разделу или к 10 при переходе в карточку товара путь всегда будет один - родительский, делается это так
в настройках инфоблока
Для просмотра ссылки Войди или Зарегистрируйся
в карточке товара
Для просмотра ссылки Войди или Зарегистрируйся
Бывают моменты когда в поисковый индекс не попадают нужные страницы годами
сейчас вроде эта проблема не актуальна уже, с недавнего времени апдейты в яндексе регулярно раз в 2-4 дня, стал заметно лучше новые странички есть и ссылки индексировать
причем в новом вебмастере появился функционал где можно скармливать страницы боту, он ест их менее чем за сутки, правда пока лимит 10 страниц в день
насчет фильтра
А если еще и учесть некоторые урлы ,типо (filter/color-is-%25D0%25BA%25D1%2580%25D0%25B0%25D1%2581%25D0%25BD%25D1%258B%25D0%25B9/apply/)
такое происходит когда символьный код у свойства на кирилице, если поменять на red то и строка получится вполне вменяемая filter/color-is-red/apply/
и насчет фильтров я лично немного по другому делаю, стараюсь оптимизировать страницы под запрос, в зависимости от адреса подставляем тайтл, метатеги и текст из инфоблока отдельного