JS парсер/эмулятор браузера

[Raccoon]

Есть ли какой-нибудь эмулятор бразуера, который сможет зайти на сайт и спарсить http headers. Мне надо знать куда стучаться JS скрипты после выполнения, сейчас делаю это с обычного браузера со своего компьютера, хотелось бы это запихнуть на сервер и автоматизировать.

Т.е. грубо говоря, сейчас я делаю ручной отлов исполнения js и смотрю куда они стучаться, потом парсю объявления оттуда, есть ли какое-нибудь решение в 2017 году, которое может это делать самостоятельно без участия человека по шаблонам?

В целом большинство сайтов я парсю с помощью обычного curl-а и регекспов, но структура некоторых отмороженных сайтов бывает такой, что когда дело касается сжатых javascript-ов и ajax-запросов, расшифровать их и извлечь информацию с помощью обычного curl-а и регекспов становится дороже самой информации.

 

[Q_BASIC]

Т.е. грубо говоря, сейчас я делаю ручной отлов исполнения js и смотрю куда они стучаться, потом парсю объявления оттуда, есть ли какое-нибудь решение в 2017 году, которое может это делать самостоятельно без участия человека по шаблонам?

А там такой сложный JS? Обычно прямо на странице всё указано, типа:

<a onclick="request('123', 'dwd91d81dsaokd912uwd')">Send</a>

<input type="hidden" name="token" value="ad01wd" />

Или массивы JS:

<script>
var code = ['dhqasd81shdhssad', '1wd3dasdwd231dwsd'];
</script>

А первая часть всегда одинаковая, например: site.ru/order/wahjd197dhuduwi1d

Сделать простой запрос к странице, с помощью preg_match найти нужный код, сохранить куки и отправить запрос дальше

 

[Raccoon]

Наткнулся на один сайт, он генерит шифр на JS и добавляет его к запросу site.ru/json.php?id=123&hash=nfkdsnfksjnfsdnjfndksjnfkdsj и чтобы мне этот шифр вскрыть надо перелопатить 3 листа JS кода. И такое встречается частенько, по крайней мере к этому идет, сайты пытаются защититься и парсинг становится трудозатратней. Мне бы какой-нибудь эмулятор, было бы побыстрее и полегче. Пойду гуглить дальше.

 

[latteo]

Гугли phantomJS или Selenium, они позволяют имитрировать работу браузера или запустить браузер и управлять им из своего ЯП.

 

[Raccoon]

Да уже нашел эти варианты, буду разбираться.