Новая тема   Ответить

 Modul
Привет!

Начал делать свою небольшую сетку адалт-тюбов, по русский траф пока что. Естественно, первый вопрос - где брать видео. Посмотрел по форумам, понял что все парсят или покупают готовые базы. Дал задачу программерам тоже парсер писать, уже заканчиваем. Думаю, что можно было и скачать готовый или купить, но почему-то решил делать свое, а не брать готовое. Вроде бы довольно неплохо получается, добавляем разные функции (парсинг по критериям, например, таким как длительность роликов или проверка смены ссылок и т.д.).

Что скажете? Парсер - это вообще нужная вещь? Или пустая трата времени?

 Черный Корсар
Нужная. Главное что бы не 1 туб умел парсить.

 idk2045
Modul писал:
если тебе он нужен - то нужная, иначе - ненужная)
а так вообще свои парсеры есть у очень многих, так что не парься, доделывайте.

 Modul
Отлично. Спасибо. Тогда делаем дальше.

Если кому-то будет актуально - пишите в личку, можем сделать под ваши задачи. На данный момент парсим redtube и youjizz.com, с авто-переводом или транслитерацией. Ручное добавление категорий, тегов, фильтрация по длительности видео, фейковый рейтинг. Есть ручное добавление, есть авто, как обычно, наверное.

 idk2045
Modul писал:
что-то мало, если надо парсер под десяточек-другой тубов, обращайтесь)

 Modul
grozny писал:

ну пока что мало, позже будет больше.
хотя, честно говоря, я пока не очень представляю себе насколько это необходимо. мы парсим не просто автоматом массово, а в полурочном режиме, добавляя описания, проставляя категории и теги, поэтому одного даже redtube пока что хватит с головой, чтобы месяц добавлять )

 Modul
Слушайте, а как обстоят дела с обходом удаляющихся ссылок? Вот на redtube, например, ролик с утра парсишь, а к вечеру уже нерабочая ссылка на него. Мы эту проблему обошли, но интересно - так везде? Существующие парсеры с этим как-то справляются?

 Square.Guy
Я написал несметное количество всех этих парсеров. Для каждого источника индивидуальный подход: какие-то сайты дают фиды с удалёнными линками, какие-то - нет, нужно проверять линки постоянно. Если говорить про redtube, то создатели позаботились о вебмастерах и предоставили API для доступа к инфе ( http://api.redtube.com/docs/#getDeletedVideos ).