Master-X
Регистрация
|
Вход
Форум
|
Новости
|
Статьи
Главная
»
Форум
»
Tube сайты
»
Тема:
База тюб клипов на 200к записей. Какие данные нужны?
Новая тема
Ответить
цитата
22/02/12 в 15:31
MrDeiz
Поскольку
база
пользуется большим спросом - продолжаем развивать сервис.
Не все спонсоры предоставляют длительность клипов, таким образом будем делать это самостоятельно. Но чтобы это осуществить надо выкачать все клипы к себе на хостинг. Это не быстрая процедура, потому решил перед тем как делать спросить - какие ещё данные нужны, чтобы заодно и их получить.
Из других нововведений появится информация о клипах, которые можно стримить с хостинга партнёрки.
Пример базы можно посмотреть на сайте в любой нише:
http://www.signbucks.com/tube-clips/list
(экспорт справа)
Выскажитесь какие опции нужны и какие есть вопросы
цитата
22/02/12 в 16:19
Swimmer24
Оффтопик:
у вас там на некоторых партнерках платники неправильно обозваны почему-то, подправили бы
цитата
22/02/12 в 16:44
MrDeiz
Swimmer24 писал:
Оффтопик:
у вас там на некоторых партнерках платники неправильно обозваны почему-то, подправили бы
большая просьба сразу нажимать на кнопку FeedBack и отписывать. Сейчас работают надо сайтом редактора, не всегда есть возможность отследить
цитата
22/02/12 в 20:17
shar
высоту/ширину видео и 5-10 тумб
цитата
24/02/12 в 13:05
MrDeiz
высоту/ширину добавили
тумбы не получится, т.к. придётся их нам и хостить
цитата
24/02/12 в 13:39
FXIX
так это. парсильщики. а если спон сменит урл, ваша база по пизде?
часть урла в картинке.
часть урла в мувике.
или это так сказать "сырец" для скачивания? или для хотлинка?
они в ембед вставляются?
сам flv это пустое. в примерах сразу в ембед вставляйте. чтобы проигрывало. или не проигрывало.
я таких парсеров написал до жопы. им время жизни 2 недели...
потом надо лезть в код и править. и перепарсивать.
цитата
24/02/12 в 19:11
MrDeiz
ты о чём вообще?
цитата
24/02/12 в 21:15
Emperor
добавьте в rss фид тэг <total> !
цитата
24/02/12 в 21:54
MrDeiz
готово
цитата
24/02/12 в 23:34
Emperor
это кому ответ? не вижу <total> в выдаче. на всякий случай уточню - это к-во клипов в запросе.
цитата
25/02/12 в 14:13
Emperor
появился какой-то странный <sb:total>182984</sb:total> при запросе 10 клипов. что это?
total должен быть равен maximum results в запросе для xml и rss!
цитата
25/02/12 в 15:21
Vyacheslav
А реально долго живут эти урлы?
Вы же перепарсиваете базу. Споны могут часто лломать свои линки.
цитата
25/02/12 в 20:38
MrDeiz
текущий показатель Total является достаточным для решения требуемых задач
как ни странно ссылки не меняются. бывает партнёрка накрывается и только. сейчас закачиваем себе все ссылки - всё рабочее
цитата
25/02/12 в 21:57
Emperor
MrDeiz писал:
текущий показатель Total является достаточным для решения требуемых задач
зачем тогда создавать топик и спрашивать какие данные нужны?
для моих задач ваша выдача вообще не подходит, приходится руками править структуру тэгов.
цитата
28/02/12 в 20:43
CyberSEO
removed by moderator
Последний раз редактировалось: CyberSEO (
20/06/19 в 12:04
), всего редактировалось 3 раз(а)
цитата
29/02/12 в 01:06
Моторокер
MrDeiz писал:
Не все спонсоры предоставляют длительность клипов, таким образом будем делать это самостоятельно. Но чтобы это осуществить надо выкачать все клипы к себе на хостинг. Это не быстрая процедура, потому решил перед тем как делать спросить - какие ещё данные нужны, чтобы заодно и их получить.
Размеры и длина ведь в заголовке должны храниться, разве нет? Необязательно ведь выкачивать всё.
цитата
29/02/12 в 10:17
MrDeiz
CyberSEO ты вообще к чему?
мы предоставляем базу клипов, не просто список спонсоров, а ссылки на сами клипы.
плюс у них гораздо меньше спонсоров в списке и неактуальных.
цитата
29/02/12 в 10:18
MrDeiz
Моторокер писал:
Размеры и длина ведь в заголовке должны храниться, разве нет? Необязательно ведь выкачивать всё.
дык, нам по любому ведь выкачивать приходилось. тем более раньше просто предоставляли базу как есть, а сейчас идёт обработка
цитата
28/03/12 в 08:56
MrDeiz
обработка закончена. можете забирать)
цитата
04/08/12 в 06:43
abc000
MrDeiz:
не подскажите от куда можно парсить ролики с jpg и flv? Мне просто нужно наполнить свой туб и видео перекачать на собственный сервер. Не хотелось бы ваши сервера нагружать
цитата
04/08/12 в 08:07
MrDeiz
ну дык... покупаешь базу и выкачиваешь всё по прямым сслыкам
цитата
04/08/12 в 08:22
abc000
Цитата:
ну дык... покупаешь базу и выкачиваешь всё по прямым сслыкам
Я работаю спец.софтом. Он ходит по страницам тубов, сам выкачивает картинки и видео по ссылкам из документов и создаёт файлы импорта (WP, DLE). Поэтому мне нужна как-бы html постраничная версия всего этого
Поделитесь источникам(и) в ЛС?
цитата
04/08/12 в 15:51
MrDeiz
ну это уже извращение. проще ведь выкачать по прямой ссылке чем по хтмл или я что-то не пойму
цитата
04/08/12 в 15:59
abc000
MrDeiz:
скрипт на серваке лежит и моего трафика при этом тратится нуль. Т.е. сервер сам качает на себя видео.
Новая тема
Ответить
Эта страница в полной версии