Обход блокировки при парсинге

[Nei]

Стоит задача создания парсера для similarweb.com (популярный сайт, выдающий кучу довольно полезной информации о домене...к примеру Для просмотра ссылки Войди или Зарегистрируйся )

Итого имеется следующий код:

     $cookie_filename = dirname(__FILE__).'\cookie.txt';
     $ch = curl_init();
     curl_setopt($ch, CURLOPT_HEADER, FALSE);
     curl_setopt($ch, CURLOPT_URL, 'https://www.similarweb.com/website/nulled.cc');
     curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0');
     curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE);
     curl_setopt($ch, CURLOPT_VERBOSE, true);
     curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
     curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_filename);
     curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_filename);
     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
     $out = curl_exec($ch);
     curl_close($ch);

Он работает но всего раз 5 для одного IP :/ Пробовал несколько десятков разных бесплатных прокси - ни один не заработал ни разу, с ходу же выдаётся сообщение о блокировке Для просмотра ссылки Войди или Зарегистрируйся
Также ставил разные юзерагенты - тоже толку ноль.

Собственно, может есть у кого идеи хотя бы в какую стороны копать

Нагуглил вот такое видео

т.е. похоже, что в принципе возможен обход блокировки.

 

[Q_BASIC]

Ну дак так сколько запросов:

Это чтобы 1 раз получить страницу. Обязательны все, скорее всего (кроме, data:image)

Куки тоже:

Начинающиеся с _ga - это гугл аналитика, а остальные тоже нужны

Запросы надо самому отправлять, так как там много javascript'ом отправляется.

С отключенным js открывается страница о том, что у Вас отключен js и всё, никакого контента

 

[Nei]

Куки вроде ставятся. А вот эмуляция скриптом js-запросов - это мысль. Спасибо, буду пробовать. Странно, что до блокировки несколько страниц успешно обрабатываются даже без такой эмуляции.

 

[VituSkz]

Скорее всего по ip блокирует. попробуй прокси взять на fineproxy. там в течении 24 часов можно манибэк сделать. так что для теста подойдет.

 

[Nei]

Прокси само-собой пробовал (как бесплатные, так и платные). Вопрос скорее всего в защите посредством js-запросов со страницы на similarweb. К сожалению из-за возникших сложностей заказ был отменён - не захотел заказчик нести дополнительные расходы на эмуляцию этих запросов (тем более, что неизвестно что там у них еще припасено в защите от парсинга...всё-таки для них это наивысший приоритет, специфика бизнеса така).

 

[Soru]

в свое время сталкивался с подобной задачей. только ручками отслеживать все js запросы и ломиться туда за инфой, а потом составлять из кусочков целое. долго, муторно и совсем без гарантий. если делать подобным способом то сразу предупреждать клиента, что может отвалиться в любой момент.

 

[VituSkz]

Парсил яндекс водрстат. тоже куча защит. отследил что и куда js шлет. воспроизвел и ура! за 1 день думаю можно и с этим сайтом разобраться. если сильно захотеть

 

[Soru]

Парсил яндекс водрстат. тоже куча защит. отследил что и куда js шлет. воспроизвел и ура! за 1 день думаю можно и с этим сайтом разобраться. если сильно захотеть

способ хороший, но, как я уже уже говорил, не надежный. любое изменение запросов на стороне сервера все крашит. в итоге имеем недовольного клиента.

 

[insk]

CURLOPT_PROXY?

$txt = file('freeproxy.txt');
$str = $txt[ array_rand($txt) ];
unset($txt);
$proxy_list = explode(":", $str);
$proxy_ip = $proxy_list[0];
$proxy_port = $proxy_list[1];

curl_setopt($ch, CURLOPT_PROXY, $proxy);

 

[RORC]

способ хороший, но, как я уже уже говорил, не надежный. любое изменение запросов на стороне сервера все крашит. в итоге имеем недовольного клиента.

Даже использование полноценного браузера не дает гарантии, например при изменении верстки. Поэтому подходит любой способ который работает, в стоимость включается поддержка в течении времени.