Плагин WPGrabber Плагин граббинга для WordPress

[Sawa111]

WPGrabber - плагин граббинга контента для CMS WordPress

С помощью плагина WPGrabber Вы сможете быстро наполнить свой блог на WordPress информацией с любых других сайтов!
Основные возможности плагина WPGrabber

• импорт контента в блог с любых HTML-сайтов
• импорта контента в блог с любых RSS-потоков
• импорт контента в блог со стен групп и сообществ соц. сети Вконтакте.ру
• возможность сохранения изображений из импортируемого текста у вас на сервере
• возможность перевода импортируемого контента на лету (поддержка более чем 20 языковых пар, функция двойного перевода для получения уникальных текстов)
• фильтрация сохраняемого у вас в блоге контента по словам, а также по наличию изображений в тексте.
• гибкие настройки обработки импортируемого текста (удаление из получаемого текста ненужных блоков информации, ссылок, картинок и т.д.)
• поддержка режима автоматической работы обновления информации с других сайтов
• интеграция с WordPress (поддержка Custom Post Types, поддержка Post Status, генерация алиасов для URL'ов записей в режиме ЧПУ)

Зачем мне нужен этот плагин?
Основная функция плагина конечно же наполнять ваш блог информацией с других сайтов. Однако учитывая весь функционал плагина можно предложить его использование для:

• наполнения СПЛОГОВ, ГС и любых других сайтов информацией с других сайтов, блогов, rss-потоков, стен вконтакте.
• ведения полнотекстовых новостных колонок у себя в блоге используя информацию с других сайтов
• создания локализованных версий сайтов при помощи встроенной системы перевода контента "на лету"
• создание информационных копий других сайтов

 

[gemz111]

Благодарю.

P.S.
Почему граббер при определении адреса картинки дублирует адрес сайта? В целом адрес определяется корректно, но дублирует домен. Если убрать лишний домен, то адрес становится корректным. Почему так получается?

<img src="http://fb.ru/fb.ru/media/i/2/9/7/1/3/9/i/297139_700x467.jpg">

потому ч то приформировании ссылки в скрипте вылетает ошибка

 

[DimDimov]

Добрых дней! Кстати, про ошибки. У всех нормально с VK? Числа с 10-го парсинг прекратился. В логе ошибок не выводится, просто при нажатии "тест импорта" или "импорт" пишется, что найдено постов: 0. При том пробовались разные версии плагина, разные хостинги, сайты, группы, откаты ВП... и никаких изменений - 0. Может кто в курсе из-за чего это и как исправить?..

 

[itservice]

Добрых дней! Кстати, про ошибки. У всех нормально с VK? Числа с 10-го парсинг прекратился. В логе ошибок не выводится, просто при нажатии "тест импорта" или "импорт" пишется, что найдено постов: 0. При том пробовались разные версии плагина, разные хостинги, сайты, группы, откаты ВП... и никаких изменений - 0. Может кто в курсе из-за чего это и как исправить?..

vk изменил верстку

 

[DimDimov]

vk изменил верстку

Спасибо! Но правда не очень понятно что с этим делать... нашёл такую строчку в файле TGrabberCore.php, исправил...
было так: preg_match_all('|<div class="post_date"><a class="post_link" href="/(wall-\d+_\d+)".*?<div class="wall_text">(.*?)<div class="post_full_like_wrap clear_fix">|is', $index, $matches);

стало так: preg_match_all('|<div class="post_date"><a class="post_link" href="/(wall-\d+_\d+)".*?<div class="wall_text">(.*?)<div class="like_wrap_like_wall-\d_\d+ ">|is', $index, $matches);

Ничего не изменилось. Или это как-то в шаблонах обработки нужно прописать?..
Готов даже заплатить за инфу...

 

[itservice]

Спасибо! Но правда не очень понятно что с этим делать... нашёл такую строчку в файле TGrabberCore.php, исправил...

стало так: preg_match_all('|<div class="post_date"><a class="post_link" href="/(wall-\d+_\d+)".*?<div class="wall_text">(.*?)<div class="like_wrap_like_wall-\d_\d+ ">|is', $index, $matches);

Ничего не изменилось. Или это как-то в шаблонах обработки нужно прописать?..
Готов даже заплатить за инфу...

<a  class="post_link"  href="

по два пробела между a и class, post_link" и href

 

[DimDimov]

<a  class="post_link"  href="

по два пробела между a и class, post_link" и href

А там и было по два пробела изначально, просто тут так отразилось почему-то... Не помогает это. Всё равно "найдено постов: 0". Уж и не знаю куда ещё глядеть...

 

[itservice]

А там и было по два пробела изначально, просто тут так отразилось почему-то... Не помогает это. Всё равно "найдено постов: 0". Уж и не знаю куда ещё глядеть...

в function getContent
есть ?

            curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
            curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

 

[DimDimov]

в function getContent
есть ?

            curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
            curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

Такие строки есть... В настройках "Включить обработку редиректов" стоит "Да"... Раньше ведь всё работало прекрасно... Понять бы в каком месте у ВК вёрстка изменилась... почему сейчас не находит плагин посты... И чтобы такое ещё изменить или купить чтобы наверняка заработало...

 

[gooldbee]

Люди, подскажите пожалуйста, парсит дубли, поставил галочку "Сохранять записи только уникальными (не повторяющимися) заголовками" не помогает

 

[TsarOFFzt]

Люди, подскажите пожалуйста, парсит дубли, поставил галочку "Сохранять записи только уникальными (не повторяющимися) заголовками" не помогает

Присоединяюсь к вопросу, думаю актуально для многих. За инициативу проработать плагин и выложить на гитхаб отдельное огромное спасибо!