Ускоряем индексацию многопоточной php пинговалкой.

[akigleo]

В общем есть скрипт в который вбил список URL на карты сайтов, например, и он трудолюбиво пропингует страницы этих сайтов в поисковиках. Ускоряет индексацию.
Функционал можно оценить из описания вкладок.

Спойлер

1. Текущие задания. На данной вкладке прописываются ссылки на RSS каналы сайтов, XML карты сайтов, HTML карты сайтов или ссылки на карты текстового формата URL пробел Title. Все вписанные источники будут парситься при запуске крон файла cron-parser.php и все новые, ранее не пропингованные страницы добавяться в очередь на пинг.

2. Добавить вручную (*без проверки на дубли в базе). Данная форма добавляет вручную список URL адресов для последующего пинга. Если есть возможность, то в формате URL|||Title, что бы не парсить Title через крон.

3. Выпарсить URL адреса (* с проверкой на дубли в базе.). Выводит список URL адресов (и Title если позволяет формат) из указанного источника (которые такие же как в 1 пункте). Далее полученный список можно ввести в форму «Добавить вручную».

4. Настройки. Различные настройки скрипта, такие как список пинг сервисов, проксей, кол-во потоков и их таймаут, и т.п.
[/spoil]
Настройки скрипта.
[spoil]

• Список адресов для пинга, - без комментариев
• Список пинг сервисов, - без комментариев
• HTTP прокси, если требует авторизации, каждая новая прокси с новой строки. Выборка скриптом прокси для каждого сайта (не потока) происходит рандомно (случайно).
• Потоки, - количество потоков
• Таймаут, - таймаут для 1 потока.
• Парсить Title, - при указании парсить Title, скрипт пройдет по всем сайтам и соберет значения между тегами title (<title></title>), если значение не будет получено, в качестве него будет указан URL сайта. Если же флажок не установлен, то в качестве Title используется URL адрес который будет пинговаться. Сбор Title происходит так же многопоточно и без использования проксей (для укорения работы).

Результат работы скрипта можно смотреть в реальном времени.

Пример работы и более детальное описание можно посмотреть на Для просмотра ссылки Войди или Зарегистрируйся разраба.
Автор просит джентльменские 300р. Скрипт развивается, мое впечатление благоприятное, хотя все, как известно, на любителя.

 

[ReBeL]

Давно уже есть и php скрипты и десктопные программы для пинга по RPC каталогам...
Но если кому то не жалко подарить 300 рублей, то ..... можете подарить их мне =)

 

[stooper]

похоже на скрытую рекламу. перенесем ка в мегафлуд. если есть скрипт - можно выложить. а не нет - и суда нет.