Новая тема   Ответить

 TGPtraffic_biz_inSect
Столкнулся с проблемой при граббинге видео на основе embed-кодов с XVideos.
Пример : по тагу anime имеем anime 3776 видео
что и отражено на их странице http://www.xvideos.com/tags/
Однако же при переходе на страницу с соответствующим видео их всегда 2500 !
http://www.xvideos.com/tags/anime
Где остальные ?![*]

 shar
Видимо, при поиске стоит лимит 2500 т.к. подсчитывать все результаты накладно для производительности. Поэтому правильнее будет скачать их файл со всеми видео и выбрать нужные.

 TGPtraffic_biz_inSect
Вопрос может показаться глупым, но где у них этот файл находится ? Я чет не нашел ничего кроме rss[*]

 Sven
http://info.xvideos.com/db/

 toolly
Я свою базу веду. Граблю названия,тэги,галерею.

 Stek
там у них еще и рсс с удаленными видео надо грабить, что бы у себя их так же удалять из базы. А то траф в никуда.

 toolly
Я пока до рсс не дошел. делаю генератор тубов на основе ключевых слов. в плеер file=скрипт который генерит линк с хэшем.

 shar
Рсс с удаленными неактуальный у них, тут свой чекер нужен

 toolly
Я в курсе,но посмотрел. там и база что дается тоже не в лучшем виде. Я чекаю все автоматом. Там есть например страница с видео,а видюхи самой нет. я проверяю.