Помощь Настройка Robots

artfull · 28 Дек 2023

Друзья приветствую, нужна ваша помощь.... никак не могу настроить Robots.txt - не индексирует новые страницы, а также всб версию сайта UK.... копался - но ничего не нашел, а гугл ругается что индекс заблокировано

neok2012 · 28 Дек 2023

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# Для просмотра ссылки Войди или Зарегистрируйся - Для просмотра ссылки Войди или Зарегистрируйся
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# Для просмотра ссылки Войди или Зарегистрируйся
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: /js/jquery/*

# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking

# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
Disallow: /app/
Disallow: /cache/

# Files
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-follow
Disallow: /*ru/quick-order
Disallow: /*ru/order-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search
Disallow: /*uk/address
Disallow: /*uk/addresses
Disallow: /*uk/authentication
Disallow: /*uk/cart
Disallow: /*uk/discount
Disallow: /*uk/guest-tracking
Disallow: /*uk/order-history
Disallow: /*uk/identity
Disallow: /*uk/my-account
Disallow: /*uk/order
Disallow: /*uk/order-follow
Disallow: /*uk/quick-order
Disallow: /*uk/order-slip
Disallow: /*uk/password-recovery
Disallow: /*uk/search
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/authentication
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-follow
Disallow: /*en/quick-order
Disallow: /*en/order-slip
Disallow: /*en/password-recovery
Disallow: /*en/search

# Sitemap

krdma · 29 Дек 2023

artfull написал(а):
Друзья приветствую, нужна ваша помощь.... никак не могу настроить Robots.txt - не индексирует новые страницы, а также всб версию сайта UK.... копался - но ничего не нашел, а гугл ругается что индекс заблокировано

покажите сайт, тогда можно о чем-то рассуждать, может и не в robots дело, может еще теги повылазили в коде.

_sashok · 30 Дек 2023

artfull написал(а):
Друзья приветствую, нужна ваша помощь.... никак не могу настроить Robots.txt - не индексирует новые страницы, а также всб версию сайта UK.... копался - но ничего не нашел, а гугл ругается что индекс заблокировано

Загоняю у індекс сторінки за допомогою
Для просмотра ссылки Войди или Зарегистрируйся
через 12 -24 години - вже у видачі буде, якщо з сайтом все ОК

Для просмотра ссылки Войди или Зарегистрируйся

artfull · 2 Янв 2024

я так понимаю что это правильно настроеный роботс?

ось мій роботс

Код:

# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# https://www.prestashop.com - https://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# https://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: /js/jquery/*
# Private pages
Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for graver.tools
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
Disallow: /uk/app/
Disallow: /uk/cache/
Disallow: /uk/classes/
Disallow: /uk/config/
Disallow: /uk/controllers/
Disallow: /uk/download/
Disallow: /uk/js/
Disallow: /uk/localization/
Disallow: /uk/log/
Disallow: /uk/mails/
Disallow: /uk/modules/
Disallow: /uk/override/
Disallow: /uk/pdf/
Disallow: /uk/src/
Disallow: /uk/tools/
Disallow: /uk/translations/
Disallow: /uk/upload/
Disallow: /uk/var/
Disallow: /uk/vendor/
Disallow: /uk/webservice/
Disallow: /ru/app/
Disallow: /ru/cache/
Disallow: /ru/classes/
Disallow: /ru/config/
Disallow: /ru/controllers/
Disallow: /ru/download/
Disallow: /ru/js/
Disallow: /ru/localization/
Disallow: /ru/log/
Disallow: /ru/mails/
Disallow: /ru/modules/
Disallow: /ru/override/
Disallow: /ru/pdf/
Disallow: /ru/src/
Disallow: /ru/tools/
Disallow: /ru/translations/
Disallow: /ru/upload/
Disallow: /ru/var/
Disallow: /ru/vendor/
Disallow: /ru/webservice/
# Files
Allow: /*uk/
Disallow: /*uk/login
Disallow: /*uk/account
Disallow: /*uk/pass-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/login
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-confirmation
Disallow: /*ru/order-follow
Disallow: /*ru/credit-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search

_sashok · 4 Янв 2024

artfull написал(а):

я так понимаю что это правильно настроеный роботс?

ось мій роботс

Код:

# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# https://www.prestashop.com - https://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# https://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: /js/jquery/*
# Private pages
Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for graver.tools
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
Disallow: /uk/app/
Disallow: /uk/cache/
Disallow: /uk/classes/
Disallow: /uk/config/
Disallow: /uk/controllers/
Disallow: /uk/download/
Disallow: /uk/js/
Disallow: /uk/localization/
Disallow: /uk/log/
Disallow: /uk/mails/
Disallow: /uk/modules/
Disallow: /uk/override/
Disallow: /uk/pdf/
Disallow: /uk/src/
Disallow: /uk/tools/
Disallow: /uk/translations/
Disallow: /uk/upload/
Disallow: /uk/var/
Disallow: /uk/vendor/
Disallow: /uk/webservice/
Disallow: /ru/app/
Disallow: /ru/cache/
Disallow: /ru/classes/
Disallow: /ru/config/
Disallow: /ru/controllers/
Disallow: /ru/download/
Disallow: /ru/js/
Disallow: /ru/localization/
Disallow: /ru/log/
Disallow: /ru/mails/
Disallow: /ru/modules/
Disallow: /ru/override/
Disallow: /ru/pdf/
Disallow: /ru/src/
Disallow: /ru/tools/
Disallow: /ru/translations/
Disallow: /ru/upload/
Disallow: /ru/var/
Disallow: /ru/vendor/
Disallow: /ru/webservice/
# Files
Allow: /*uk/
Disallow: /*uk/login
Disallow: /*uk/account
Disallow: /*uk/pass-recovery
Disallow: /*ru/address
Disallow: /*ru/addresses
Disallow: /*ru/login
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/guest-tracking
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order
Disallow: /*ru/order-confirmation
Disallow: /*ru/order-follow
Disallow: /*ru/credit-slip
Disallow: /*ru/password-recovery
Disallow: /*ru/search

- оновіть ядро прести
- встановіть модуль sitemap
- у адмінці на SEO сторінці натискніть кнопку перегенерації robots.txt
- перевірте, щоб сторінки відкривалися з кодом 200

і цього, як правило, достатньо

byura · 6 Янв 2024

artfull написал(а):
Друзья приветствую, нужна ваша помощь.... никак не могу настроить Robots.txt - не индексирует новые страницы, а также всб версию сайта UK.... копался - но ничего не нашел, а гугл ругается что индекс заблокировано

я вооще не понял причем здесь robots? там только правила
там только одна строчка для индексации языковых страниц
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
индексация идет с sitemap
пример

artfull · 10 Янв 2024

byura написал(а):
я вооще не понял причем здесь robots? там только правила
там только одна строчка для индексации языковых страниц
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
индексация идет с sitemap
пример

мне пишет вот... скрин прикрепил

byura · 10 Янв 2024

artfull написал(а):
мне пишет вот... скрин прикрепил

сайт и страницу не видно, непонятно
проверьте владельца и права на файл
и в валидаторах прогоните(например _websiteplanet.com/webtools/robots-txt/)
или Лягушкой можно проверить(Для просмотра ссылки Войди или Зарегистрируйся)
если все норм, попробуйте удалить из google console robots и потом по новой добавить

neok2012 · 15 Янв 2024

artfull написал(а):
мне пишет вот... скрин прикрепил

Там есть страницы полный урл по нему можешь узнать раздел через который блочит robots например адрес страницы а далее &search_query=1

Помощь Настройка Robots

artfull

Профессор

neok2012

Создатель

krdma

Гуру форума

_sashok

PrestaShop Expert

artfull

Профессор

_sashok

PrestaShop Expert

byura

Хранитель порядка

artfull

Профессор

Вложения

byura

Хранитель порядка

neok2012

Создатель