komyak
Постоялец
- Регистрация
- 4 Фев 2009
- Сообщения
- 483
- Реакции
- 194
- Автор темы
- #1
Нужно написать парсер ссылок из Яндекс, Гугл и Яху с возможностью задать парсинг определённого поисковика. Реализация только на PHP. Внешний вид не нужен. Как за основу можно взять парсер сниплетов от [ZCFD], но для ссылок. Только на CURLe, многопоточность приветствуется. Каждый запрос должен сохраняться в отдельный файл.
Желательно вынести настройки в отдельный файл: кэшировать ли результаты, какие поисковики парсить, использовать ли прокси.
Функционал:
Ручной парсинг : в поле ввода вбиваете кей, получаете текст
Автоматический ( для крона на запуск ставить /адрес_скрипта?auto скрипт за каждый запуск берет по одному запросу из key.txt и парсит по нему ссылки, а пройденные переносит в файл out_key.txt
Работа с прокси:в файле proxy.txt находятся прокси, вида прокси:порт, по одному в строке.
Предпологаемые запросы: несколько слов, латиница, кирилица и спец.функции типа- inurl:"" intitle:"" и т.д. Поэтому смотрим где нужно rawurlencode, а где нет.
Расставить комментарии действий скрипта.
Оплата: 15WMZ или WMR по курсу.
Желательно вынести настройки в отдельный файл: кэшировать ли результаты, какие поисковики парсить, использовать ли прокси.
Функционал:
Ручной парсинг : в поле ввода вбиваете кей, получаете текст
Автоматический ( для крона на запуск ставить /адрес_скрипта?auto скрипт за каждый запуск берет по одному запросу из key.txt и парсит по нему ссылки, а пройденные переносит в файл out_key.txt
Работа с прокси:в файле proxy.txt находятся прокси, вида прокси:порт, по одному в строке.
Предпологаемые запросы: несколько слов, латиница, кирилица и спец.функции типа- inurl:"" intitle:"" и т.д. Поэтому смотрим где нужно rawurlencode, а где нет.
Расставить комментарии действий скрипта.
Оплата: 15WMZ или WMR по курсу.