ZebroidФорумПубличный разделВопросыПортатор или парсер сайтов

Портатор или парсер сайтов

07 декабря 2010, 10:38
Зарегистрирован: 29 марта 2010, 20:27
Предлагаю сделать такую функцию импорта, как Портатор или парсер сайтов.

Можно сделать либо отдельно либо объединить с RSS импортом.

Лучший пример - это плагин для WP FeedMaster

Выбираешь сайт, выставляешь глубину захода (Например 0-главная, 1-главная и страницы второго уровня и т. д.)

Настраиваешь регулярки для Заголовка, Контентной части и т. д.

Функционал можно расширять правилами для урлов, чисткой от мусора, обработкой картинок и т. д.

Сделать также поддержку правил для страниц, например парсить контент только со страниц где встречается "Похожие статьи", таким образом можно вытянуть именно стати сайта, исключив при этом технические страницы.

Для примера могу предоставить исходный код плагина FeedMaster 1.5

Думаю такой функционал многим пригодится, ведь RSS многим ограничен, а с такими возможностями можно было бы компоновать информацию с любых сайтов



07 декабря 2010, 11:19
Зарегистрирован: 10 апреля 2012, 00:00
Обсуждалось много раз - парсеров в программе не будет, используйте сторонние приложения.