Сообщений в теме: 17

[kai]

Кто юзает парсер Datacol 5 ? кому не сложно поделится своими компаниями по парсингу?

 

Думаю не только у меня возникают проблемы с настройками

[akir]

Компания для сайта rusprofile.ru как пример.

Что именно не получается настроить?

Сообщение отредактировал akir: 20 Октябрь 2014 - 10:43

[Dynka]

Тоже лежит купленная прога мертвым грузом )

Встроенные кампании - не подходят,

а настроить свои - мозгов не хватает

[vitam1n]

Ребята! У меня просьба! Давайте разберем на примере парсинга пользователей ВКонтакте. Допустим мы по критериям отбираем 30-40 человек из поиска ВК и у каждого нужно спарсить нужное число фото, допустим 5-7. Есть у кого-то такой шаблон?

Сообщение отредактировал vitam1n: 20 Октябрь 2014 - 10:55

[akir]

Ребята! У меня просьба! Давайте разберем на примере парсинга пользователей ВКонтакте. Допустим мы по критериям отбираем 30-40 человек из поиска ВК и у каждого нужно спарсить нужное число фото, допустим 5-7. Есть у кого-то такой шаблон?

 

У разрабов закажи. Они мудаки, но за деньги сделают.

 

Или делай в 2 прохода.

В первом собирай ссылки на страницы, во втором парси данные.

Как парсить по 5 картинок я не знаю т.к. не было такой задачи, ссылки на них спарсить можно, если они есть в коде.

Сообщение отредактировал akir: 20 Октябрь 2014 - 11:40

[kai]

Компания для сайта rusprofile.ru как пример.

Что именно не получается настроить?

Простой вопрос, па парсингу Яндекс выдачи(тайт снипет ссылка). Яндекс выдает капчу и ничего , как обойти?

[akir]

Простой вопрос, па парсингу Яндекс выдачи(тайт снипет ссылка). Яндекс выдает капчу и ничего , как обойти?

 

1) многопрокси(например с местного проксичекера)

2) Антикапча вроде как-то прикручивается... что-то про это вроде читал. точно не помню

Сообщение отредактировал akir: 20 Октябрь 2014 - 11:56

[RusZarj]

Описанная задача со сбором фоток реалезуема одним проектом, но геморно, несколько часов точно займёт настройка тонкая

[kai]

1) многопрокси(например с местного проксичекера)
2) Антикапча вроде как-то прикручивается... что-то про это вроде читал. точно не помню

 
Еще вопрос по парсингу Youtube.
 
Например идем на Youtube и вводим запрос "выбор автомобиля"  видим Результатов: 26 700
В запускаем Datacol 5 и он парсит всего 578 видео из 26 700.
 
В чем проблема?

 

Скрины

http://joxi.ru/XEA4NlBnFzP9mb

http://joxi.ru/4DmBX9B1IOdkAP

 

Сообщение отредактировал kai: 20 Октябрь 2014 - 15:31

[akir]

Описанная задача со сбором фоток реалезуема одним проектом, но геморно, несколько часов точно займёт настройка тонкая

 

Скинь любую компанию где используется такой метод.

 
Еще вопрос по парсингу Youtube.
 
Например идем на Youtube и вводим запрос "выбор автомобиля"  видим Результатов: 26 700
В запускаем Datacol 5 и он парсит всего 578 видео из 26 700.
 
В чем проблема?

 

Скрины

http://joxi.ru/XEA4NlBnFzP9mb

http://joxi.ru/4DmBX9B1IOdkAP

 

 

Убери галочку "Использовать переменные", поставь "Генерировать url", в список начальных url вставь это - https://www.youtube....я&page={1,1335}

 

И самое главное - напиши разработчикам на форум что компания по парсингу ютуба не корректно ссылки собирает. Пусть правят.

[kai]

Скинь любую компанию где используется такой метод.

 

 

Убери галочку "Использовать переменные", поставь "Генерировать url", в список начальных url вставь это - https://www.youtube....я&page={1,1335}

 

И самое главное - напиши разработчикам на форум что компания по парсингу ютуба не корректно ссылки собирает. Пусть правят.

Сделал как написано, увеличилось до 1300 ссылок, но никак не 26 700 ((((

[akir]

Сделал как написано, увеличилось до 1300 ссылок, но никак не 26 700 ((((

 

 

 

Тогда только менять фильтры.

Используешь много ссылок с разными критериями(качество,длительность и прочие), в конце ссылки ставишь парсинг 50 страниц выдачи(1к результатов).  {1,50}

 

Через сео анкор генератор можешь легко получить все возможные варианты ссылок, датакол вроде не умеет комбинировать слова в ссылках...

Сообщение отредактировал akir: 20 Октябрь 2014 - 17:54

[svitlo]

Особенно интересует парсинг товаров с магазинов и конверт этих товаров в опенкарт там есть один образец и вроде понятно на сайте программы написано но всеравно было бы не плохо один примерчик более углубленный заиметь для детального разбора! Особенно интересует опции и атрибуты!!!

[konon]

Ребята помогите настроить датакул. ну ни хо хо не выходит.Сохраняет только ссылки на данные в эксель и все.самой инфы нет.

[Укротитель Рулетки]

Ребята помогите настроить датакул. ну ни хо хо не выходит.Сохраняет только ссылки на данные в эксель и все.самой инфы нет.

С какого сайта парсите, по какому URL и какие данные нужны.