Как собрать урл и титл страниц?

Статус
В этой теме нельзя размещать новые ответы.

danneo

Честный
Регистрация
13 Ноя 2007
Сообщения
1.527
Реакции
121
Нужно с сайта собрать все урл всех страниц, при этом взять их титлы, желательно несколько первых слов. А далее сделать анкоры.
Как это можно все устроить?
 
Если имеется доступ к базе данных, то можно через нее. К примеру на вордпресс все это делается за один запрос.
Если доступа нет, то урлы можно получить при помощи программ для построения карты сайта. Тайтлы - легким путем никак.
 
Вот хорошая прога для создания карт сайтов:


А чтобы вытянуть тайтлы нужен какой-нибудь парсер контента, чтобы в нем можно было подобрать свое регулярное выражение.

Урлов много?
 
можешь попробовать скриптом sibir textmaker, им можно такое замутить.
 
Если я правельно понял сабж...
Собрать урлы всех страниц можно через проги или сервисы для создания карты сайта, а тайтлы по этим урлам аллсабом получить.
Далее как я понял требуется получитб список вида: <а href="урл">тайтл</а> ?
Если так, то из аллсаба экспортируем в Excel и там через "сцепить" получаем результат.
Если для одного или нескольких сайтов требуется, то можно так. Если больше то это достаточно геморно будет.
 
Если это надо для анализа или чего-то похожего, то ТС нужен спайдер на PHP+Curl например, те немного доработанный парсер
 
Нужно с сайта собрать все урл всех страниц, при этом взять их титлы, желательно несколько первых слов. А далее сделать анкоры.
Как это можно все устроить?

Сначала создай карту сайта а потом со списком урл пройдись прогой Title Checker и собери тайтлы этих страниц. Отсечь и соместить урлы и тайтлы сможешь далее в Text Pipe Pro.

Собрался двигать товары по НЧ? :)
 
Есть хорошая десктопная прога для таких целей WDE 6.1 (Web Data Extractor ) работает быстро много чего может... URL + все метатеги... на форуме тут даже была.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху