Обсуждение SEO оптимизация Magento

Здравствуйте, помогите пожалуйста, что хочет от меня google, ему видетеле не нравится мой robots.txt
Он говорит то что главная страницу тут разблокирована.Скажите пожалуйста где что исправить.
Код: 
User-agent: *
Sitemap: http://tkanidom.ru/sitemap.xml
Disallow: /checkout/
Disallow: /review/
Disallow: /quickview/
Disallow: /catalogsearch/
Disallow: /catalog/product/view/
Disallow: /catalog/category/view/
Disallow: /filter/
Disallow: /tag/list/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalog/
Disallow: /CVS
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /var/
Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*
Disallow: /onestepcheckout/
Disallow: /customer/account/
Disallow: /customer/account/login/
Disallow: /catalog/product_compare/
Disallow: /cgi-bin/
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
Disallow: /phpinfo.php
Disallow: /admin/
Disallow: /index.php/
Disallow: /*?SID=
Disallow: /?___store=canada&___from_store=english
Disallow: /?___store=italia&___from_store=english
Disallow: /?___store=german&___from_store=english
Disallow: /?___store=australia&___from_store=english
Disallow: /?___store=english&___from_store=australia
Disallow: /1
Disallow: /myadmin/
Disallow: /checkout/cart/
Disallow: /404/
Disallow: /js/
Disallow: /magento/
Disallow: /media/
Disallow: /report/
Disallow: /scripts/
Disallow: /stats/
Disallow: /control/
Disallow: /contacts/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /catalog/product/gallery/
Disallow: /STATUS.txt
Disallow: /*.php$
Disallow: /*?
Disallow: /blog/
Disallow: /404/*
Disallow: /app/*
Disallow: /cgi-bin/*
Disallow: /downloader/*
Disallow: /isolux_js/*
Disallow: /includes/*
Disallow: /js/*
Disallow: /lib/*
Disallow: /magento/*
Disallow: /pkginfo/*
Disallow: /report/*
Disallow: /stats/*
Disallow: /var/*
Disallow: /index.php
Disallow: /catalog/product_compare
Disallow: /catalog/category/view
Disallow: /catalog/product/view
Disallow: /catalogsearch
Disallow: /checkout
Disallow: /control
Disallow: /customer
Disallow: /customize
Disallow: /newsletter
Disallow: /poll
Disallow: /review
Disallow: /sendfriend
Disallow: /tag
Disallow: /wishlist
Disallow: /addToCart
Disallow: /job
Disallow: /about/*
Disallow: /bannercontrol*
Disallow: /bannerslider*
Disallow: /predprosmotr*
Disallow: /productInfo/index/delivery/
Disallow: /oneClickOrder
Disallow: *?limit=*
Disallow: *?dir=*
Disallow: *?cat=*
Disallow: *?___SID=*
Disallow: *?color=*
Disallow: *?product_id=*
Disallow: *?price=*
Disallow: *?manufacturer=*
Disallow: *?product_size=*
Disallow: *?p=*
Disallow: /priceslider/slider/view/?*
Disallow: *?admitad_uid=*
Disallow: /home
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /ajax/
Disallow: /?*
Disallow: /admin
Disallow: /shopper_home
Disallow: /catalogsearch/advanced/
Disallow: *dir=*
Disallow: *order=*
Disallow: *limit=*
Disallow: *?mode=*
Disallow: */wishlist/*
Disallow: */result/*
Disallow: */productalert/*
Disallow: */add/*
Disallow: */price/*
Disallow: */setRegion/*
Disallow: /*/filter/*$
Disallow: */visitor_region/*
Disallow: *?p=1*
Disallow: *reset_filter=*
Disallow: /action_secret
Disallow: /?a$
Disallow: *=
Disallow: *actionpay
Disallow: */sales_rules/
Disallow: *sales_rules
Disallow: *html
Disallow: *onclick
Disallow: *page=
Disallow: *token
Disallow: *feed=
Disallow: *cpa
Disallow: *lid=
Disallow: *rr_mailid
Disallow: /allgoods.php
Disallow: /allgoods.cgi
Disallow: /delivery_content/
Disallow: /*openstat
Disallow: *utm
Disallow: /*gclid
Disallow: /*utm_content
Disallow: /*utm_campaign
Disallow: *x5_page
Disallow: *xdn_page
Disallow: *xup_page
Disallow: *main.php
Disallow: *logout
Disallow: */0-0-
Disallow: *mnogoru
Disallow: *ns-zoom
Disallow: *retgid
Disallow: *winzoom.cgi
Disallow: *login.cgi
Disallow: *brch.php
Disallow: *iframe
Disallow: *void
Disallow: *index.php
Disallow: *manufacturer
Disallow: *price_from
Disallow: *price_to
Disallow: *sortField
Disallow: *sortDirection
Disallow: /checkout/*
Disallow: /sales/*
Disallow: /monkey/customer_account/index/
Disallow: *amp;
Disallow: *nbsp;
Disallow: *fb_xd_fragment
Disallow: *like.php
Disallow: *q=
Disallow: *p=
Disallow: *catalogsearch
Disallow: /*media/catalog/product/
Disallow: *fc=
Disallow: *fm=
Disallow: *color=
Disallow: *fashion=
Disallow: */mid_season/
Disallow: *position
Disallow: *recom
Disallow: /new/
Disallow: /actual/
Disallow: *actual=
Disallow: *prx=
Disallow: *sales_rules=
Disallow: *fb_action_types=
Disallow: *admitaduid
Disallow: *add-to-cart
Disallow: *source_data=
Disallow: *source=
Disallow: *MailTrackingId=
Disallow: *rr_productId=
Disallow: *rr_content=
Disallow: *adid=
Disallow: *tabSimilar
Disallow: *nooveride=
Disallow: */product/index/
Disallow: */product/view/id/
Disallow: *global_sale=
Disallow: *ql=
Disallow: *channel=
Disallow: *origin=
Disallow: *subid=
Disallow: *driveback_test_mode=
Disallow: *type=
Disallow: *count=
Disallow: *num=
Disallow: */new/
Disallow: */actual/
Disallow: *subid1=
Disallow: *stat-id=
Disallow: *int_size=
Disallow: *denim_size=
Disallow: *ved=
Disallow: *undefined
Disallow: *?a$
Disallow: /*utm
Disallow: *utm_content
Disallow: *utm_campaign
Disallow: /.js$
Disallow: /?___from_store=
Disallow: *___from_store=
Disallow: /?mode=
Disallow: /?limit=
Disallow: /?dir=
Disallow: /.css$
Disallow: /.php$
Disallow: /?p=*&
Disallow: /?SID=
Disallow: /rss*
Disallow: /#yt_tab_reviewform
Disallow: /#yt_tab_custom
Disallow: /#ytitem_6
Disallow: /#
Disallow: /#ytitem_1
Disallow: /nizkie-ceny
Disallow: /bistroy-dostavka
Disallow: /bistroe-oformlenie
Disallow: /zashita-pokupately
Disallow: /#sm_megamenu_menu576499dced897
Disallow: /#sm_megamenu_menu576495a2022dd
Disallow: /#sm_megamenu_menu576495a1f35ce
Disallow: /russkij-stil
Disallow: /suveniry-i-podarki
Disallow: /odezhda
 
Последнее редактирование модератором:
zhenya83 написал(а):
Добрый день, Использую Amasty Improved Layered Navigation, который позволяет создать ЧПУ для страниц фильтрации, добавить H1, мета-теги, описание и т.д. Что хорошо в плане SEO, Однако при большом количестве атрибутов получится огромное количество страниц, подлежащих индексированию и поисковики будут тратить много времени на обход всех страниц.
Буду благодарен есть кто-то поделиться мнением как поступить в этой ситуации?
Оставить как есть или что-то закрывать от индексации. Например можно использовать параметр Query param for URLs with multiple attribut в модуле или версия 2.9.5 обладает функционалом Noindex когда выбрано несколько фильтров.
Нажмите для раскрытия...

На старой версии фильтров дописывал код, что если будет выбрано больше одного фильтра, то страница делается как noindex, nofollow. Новую версию фильтров еще не ставил, но что то похожее там вроде есть.

А вообще хотел бы посмотреть на пример сайта где есть фильтры амасти, и страницы фильтров находятся в топе по запросом.
SEO оптимизированные фильтры это хорошо, но увы поисковики, например Google, считает такие страницы однотипными и не сильно любят, даже если запрос супер низко частотный. Что бы как то исправить ситуацию, даже специально для страниц фильтров дописывал код что бы можно было Сео текст под товаром размещать и убрать эту однотипность. Результат был заметный и позиции выросли, но это все долгий и упорный труд.

После небольших экспериментов, фильтры амасти рассматриваю скорее как механизм устранения ошибок дублирования, нежели инструмент вывода запросов в топ. Т.е. если есть раздел платья и выбран фильтр красный, то эта страница фильтрации не выйдет топ по запросу красные платья. А если выбран фильтр размера 48 или цвет желтый в горошек, то такие запросы не ищут, и эти фильтры для поисковиков открывать вообще не нужно.

Вывод - что бы был толк, нужно дописывать код для фильтров и не плодить однотипные страницы. Как вариант возможно имеет смысл закрыть все фильтры в роботсе и коде и создавать посадочные страницы через модуль Landing Pages от амасти. Или опять же дописывать код что бы можно было настраивать страницы фильтров - добавлять сео текст и тогда открывать некоторые самые нужные страницы фильтрации, а все остальные которые не нужны - закрывать.

на своем пример скажу в у меня в индексе 7550 страниц фильтров, трафик идет только на не большое кол-во страниц фильтрации, остальные только мусор. Поэтому имеет смысл закрыть все эти фильтры от индексации и сделать 100 хороших посадочных страниц, толк от этого будет намного больше.
 
Diopak написал(а):
На старой версии фильтров дописывал код, что если будет выбрано больше одного фильтра, то страница делается как noindex, nofollow. Новую версию фильтров еще не ставил, но что то похожее там вроде есть.

А вообще хотел бы посмотреть на пример сайта где есть фильтры амасти, и страницы фильтров находятся в топе по запросом.
SEO оптимизированные фильтры это хорошо, но увы поисковики, например Google, считает такие страницы однотипными и не сильно любят, даже если запрос супер низко частотный. Что бы как то исправить ситуацию, даже специально для страниц фильтров дописывал код что бы можно было Сео текст под товаром размещать и убрать эту однотипность. Результат был заметный и позиции выросли, но это все долгий и упорный труд.

После небольших экспериментов, фильтры амасти рассматриваю скорее как механизм устранения ошибок дублирования, нежели инструмент вывода запросов в топ. Т.е. если есть раздел платья и выбран фильтр красный, то эта страница фильтрации не выйдет топ по запросу красные платья. А если выбран фильтр размера 48 или цвет желтый в горошек, то такие запросы не ищут, и эти фильтры для поисковиков открывать вообще не нужно.

Вывод - что бы был толк, нужно дописывать код для фильтров и не плодить однотипные страницы. Как вариант возможно имеет смысл закрыть все фильтры в роботсе и коде и создавать посадочные страницы через модуль Landing Pages от амасти. Или опять же дописывать код что бы можно было настраивать страницы фильтров - добавлять сео текст и тогда открывать некоторые самые нужные страницы фильтрации, а все остальные которые не нужны - закрывать.

на своем пример скажу в у меня в индексе 7550 страниц фильтров, трафик идет только на не большое кол-во страниц фильтрации, остальные только мусор. Поэтому имеет смысл закрыть все эти фильтры от индексации и сделать 100 хороших посадочных страниц, толк от этого будет намного больше.
Нажмите для раскрытия...
Видимо вы плохо смотрели документацию по фильтру от амасти. Как раз можно делать очень просто посадочные странички под любой ваш критерий, а касательно ноиндекс нофолов в фильтрах - по люому условию - прописывается код в пару строк, без вмешательства в код модуля
 
Спасибо за ответы) Как раз так и делаю в настоящий момент - использую посадочные страницы, а все остальное закрыто в noindex, nofollow. Как только появляется необходимость в продвижении еще одного запроса - делаю еще одну страницу и т .д. Но что если открыть все фильтры для индексации и оставить все на усмотрение яндекса и гугла. Если посчитать всевозможные сочетания атрибутов, то станиц будет сотни тысяч. Как это может сказаться на продвижении сайта? Или все же так делать не стоит)
 
zhenya83 написал(а):
Спасибо за ответы) Как раз так и делаю в настоящий момент - использую посадочные страницы, а все остальное закрыто в noindex, nofollow. Как только появляется необходимость в продвижении еще одного запроса - делаю еще одну страницу и т .д. Но что если открыть все фильтры для индексации и оставить все на усмотрение яндекса и гугла. Если посчитать всевозможные сочетания атрибутов, то станиц будет сотни тысяч. Как это может сказаться на продвижении сайта? Или все же так делать не стоит)
Нажмите для раскрытия...

недостаток один: у гугла есть квота на количество индексируемых старниц. эта информация из видео встреч гугла с вэбмастерами. соответственно чем больше страниц, тем реже они будут обновляться в поиске.
рекомендую начать с покупки программы кейколлектор и собрать семантическое ядро (ядро запросов по вашей тематике). Если в ядре есть запрос, который соответствует атрибуту, хотя бы низкочастотный, то добавлять его. Если нет, то зачем добавлять? Ведь трафика не будет. Для перелинковки внутренней? Бесполезно, бо на страницу не будет трафика, а значит не будет переходов. Значит ссылка бесполезная. Например. Запрос по/для атрибута: купить красную кожаную женскую сумку. Где атрибут вероятнее всего цвет. 40 запросов в месяц. На мой взгляд можно делать. Человека 4 зайдет на сайт и вероятнее всего уйдет с покупкой, если большой ассортимент.

UPD и еще. Могу ошибаться, бо сам не пользуюсь Amasty Improved Layered Navigation. При формировании url для страниц фильтров используются знаки типа : | ! вообщем те, которые по рекомендациям гугля не надо использовать при формировании url
 
Последнее редактирование:
Kodzhesyan написал(а):
Да, действительно Гугл стал требовать точку, вместо запятой.
Как глобально изменить разделитель? Подскажите в каком файле, что нужно заменить?
Нажмите для раскрытия...

app/code/local/Mirasvit/Seo/Model/Snippets/Observer.php

строка ~138 = $price= number_format($simpleProduct->getPrice(), '2', '.', '');

allmoll написал(а):
а без мирасвит?
Нажмите для раскрытия...
через какой плагин осуществляется вывод снипетов?
 
Последнее редактирование модератором:
iluwka написал(а):
app/code/local/Mirasvit/Seo/Model/Snippets/Observer.php

строка ~138 = $price= number_format($simpleProduct->getPrice(), '2', '.', '');
Нажмите для раскрытия...

а без мирасвит?

iluwka написал(а):
через какой плагин осуществляется вывод снипетов?
Нажмите для раскрытия...

никакой. вопрос был: Как глобально изменить разделитель? Он где-то, в каком-то файле отмечен, как запятая.
 
Последнее редактирование модератором:
allmoll написал(а):
никакой. вопрос был: Как глобально изменить разделитель? Он где-то, в каком-то файле отмечен, как запятая.
Нажмите для раскрытия...
Насколько я помню, магента не выводит из коробки снипеты. По этому глобально никак. Ищите в коде где осуществляется вывод и добавьте Для просмотра ссылки Войди или Зарегистрируйся.
 
Nick7777777 написал(а):
Это вывод, но нужно для микроданных по их стандарту, будет и там и там одинаково, мне допустим нужно чтоб в карточке товары было, если тысяча то вот так 1 000 а не слитно.
Нажмите для раскрытия...
Я руками правил, стоит Mirasvit SEO.
 
borchik26 написал(а):
Здравствуйте, помогите пожалуйста, что хочет от меня google, ему видетеле не нравится мой robots.txt
Он говорит то что главная страницу тут разблокирована.Скажите пожалуйста где что исправить.
Код: 
User-agent: *
Sitemap: http://tkanidom.ru/sitemap.xml
Disallow: /checkout/
Disallow: /review/
Disallow: /quickview/
Disallow: /catalogsearch/
Disallow: /catalog/product/view/
Disallow: /catalog/category/view/
Disallow: /filter/
...
Нажмите для раскрытия...

Убрать весь этот ад, использовать дефолтный роботс.тхт
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху