Darkniger

Преимущества программы:
– Универсальность: подходит под 90% сайтов в сети, может парсить не только статьи, но и картинки, ссылки (соответствующие заданным фильтрам), видео, файлы. Позволяет парсить несколько указанных частей web-страницы;
– Парсер контента имеет большое количество методов добавления ссылок;
– Позволяет скачивать чистый контент, только текст статьи, ничего лишнего;
– Content Downloader может забирать как определенные части документа, так и найти текст статьи автоматически (вероятность корректного определения ~ 85%);
– многопоточная загрузка контента;
– Парсер контента позволяет сохранять изображения с заменой их имен;
– Сохранение контента в формате txt, htm и csv (для WebAssist и других магазинов);
– Возможность добавлять в загружаемые документы строки из указанных файлов с диска (при парсинге контента), добавлять в документы любой произвольный код/текст, изменять порядок вывода границ парсинга;
– Импорт в популярные CMS + предпубликационная обработка (автокартинки, автометки и прочее);
– Автоматическая чистка web-документов от скриптов, классов, стилей и лишних тегов (с возможностью задания списка тегов, которые не следует удалять);
– Возможность создавать автонаполняемые сайты (отложенная публикация);
– Гибкая настройка парсинга.

Способы добавления ссылок в парсер контента:
1) Загрузка ссылок из файла;
2) Вставка ссылок из буфера (можно загрузить любой список ссылок в программу);
3) Загрузка ссылок из XML карты сайта;
4) Создание списка ссылок по шаблону;
5) Парсер контента имеет встроенный многопоточный сканер сайтов (с помощью него можно собрать все ссылки на статьи с сайта среднего размера за несколько минут);
6) Имеется функция парсинга ссылок со списка страниц;
7) Возможность парсинга ссылок с определенных частей страниц (методом визуального выделения + фильтрация), с помощью встроенного браузера.

Некоторые функции массовой обработки файлов:
– Автозаполнение полей заголовка, описания, меток (анализ частотности слов);
– Преобразование html кода в текст;
– Удаление заданных тегов, добавление атрибутов к указанным тегам, форматирование тегов;
– Изменение src, вставка произвольных атрибутов, вставка title и alt из заголовка для всех изображений в добавленных документах;
– Удаление тегов изображений, которых не существует на диске;
– Автокартинки;
– Вырезание частей документов по заданным границам, вырезание определенных строк документов, удаление пустых строк;
– Вставка строк из файла или указанного текста в различные части документов проекта;
– Поиск-замена;
– Автопростановка тега more;
– Синонимизация контента.