Master-X
Форум | Новости | Статьи
Главная » Форум » Tube сайты » 
Тема: База тюб клипов на 200к записей. Какие данные нужны?
цитата
22/02/12 в 15:31
 MrDeiz
Поскольку база пользуется большим спросом - продолжаем развивать сервис.

Не все спонсоры предоставляют длительность клипов, таким образом будем делать это самостоятельно. Но чтобы это осуществить надо выкачать все клипы к себе на хостинг. Это не быстрая процедура, потому решил перед тем как делать спросить - какие ещё данные нужны, чтобы заодно и их получить.

Из других нововведений появится информация о клипах, которые можно стримить с хостинга партнёрки.

Пример базы можно посмотреть на сайте в любой нише: http://www.signbucks.com/tube-clips/list (экспорт справа)

Выскажитесь какие опции нужны и какие есть вопросы
цитата
22/02/12 в 16:19
 Swimmer24
Оффтопик: у вас там на некоторых партнерках платники неправильно обозваны почему-то, подправили бы
цитата
22/02/12 в 16:44
 MrDeiz
Swimmer24 писал:
Оффтопик: у вас там на некоторых партнерках платники неправильно обозваны почему-то, подправили бы


большая просьба сразу нажимать на кнопку FeedBack и отписывать. Сейчас работают надо сайтом редактора, не всегда есть возможность отследить
цитата
22/02/12 в 20:17
 shar
высоту/ширину видео и 5-10 тумб
цитата
24/02/12 в 13:05
 MrDeiz
высоту/ширину добавили
тумбы не получится, т.к. придётся их нам и хостить smail101.gif
цитата
24/02/12 в 13:39
 FXIX
так это. парсильщики. а если спон сменит урл, ваша база по пизде?
часть урла в картинке.
часть урла в мувике.

или это так сказать "сырец" для скачивания? или для хотлинка?

они в ембед вставляются?

сам flv это пустое. в примерах сразу в ембед вставляйте. чтобы проигрывало. или не проигрывало.

я таких парсеров написал до жопы. им время жизни 2 недели...

потом надо лезть в код и править. и перепарсивать.
цитата
24/02/12 в 19:11
 MrDeiz
ты о чём вообще? icon_mrgreen.gif
цитата
24/02/12 в 21:15
 Emperor
добавьте в rss фид тэг <total> !
цитата
24/02/12 в 21:54
 MrDeiz
готово
цитата
24/02/12 в 23:34
 Emperor


это кому ответ? не вижу <total> в выдаче. на всякий случай уточню - это к-во клипов в запросе.
цитата
25/02/12 в 14:13
 Emperor
появился какой-то странный <sb:total>182984</sb:total> при запросе 10 клипов. что это? facepalm.gif

total должен быть равен maximum results в запросе для xml и rss!
цитата
25/02/12 в 15:21
 Vyacheslav
А реально долго живут эти урлы?
Вы же перепарсиваете базу. Споны могут часто лломать свои линки.
цитата
25/02/12 в 20:38
 MrDeiz
текущий показатель Total является достаточным для решения требуемых задач

как ни странно ссылки не меняются. бывает партнёрка накрывается и только. сейчас закачиваем себе все ссылки - всё рабочее smail54.gif
цитата
25/02/12 в 21:57
 Emperor
MrDeiz писал:
текущий показатель Total является достаточным для решения требуемых задач


зачем тогда создавать топик и спрашивать какие данные нужны? trollface.png

для моих задач ваша выдача вообще не подходит, приходится руками править структуру тэгов. facepalm.gif
цитата
28/02/12 в 20:43
 CyberSEO
removed by moderator

Последний раз редактировалось: CyberSEO (20/06/19 в 12:04), всего редактировалось 3 раз(а)
цитата
29/02/12 в 01:06
 Моторокер
MrDeiz писал:
Не все спонсоры предоставляют длительность клипов, таким образом будем делать это самостоятельно. Но чтобы это осуществить надо выкачать все клипы к себе на хостинг. Это не быстрая процедура, потому решил перед тем как делать спросить - какие ещё данные нужны, чтобы заодно и их получить.

Размеры и длина ведь в заголовке должны храниться, разве нет? Необязательно ведь выкачивать всё.
цитата
29/02/12 в 10:17
 MrDeiz
CyberSEO ты вообще к чему?
мы предоставляем базу клипов, не просто список спонсоров, а ссылки на сами клипы.

плюс у них гораздо меньше спонсоров в списке и неактуальных.
цитата
29/02/12 в 10:18
 MrDeiz
Моторокер писал:
Размеры и длина ведь в заголовке должны храниться, разве нет? Необязательно ведь выкачивать всё.


дык, нам по любому ведь выкачивать приходилось. тем более раньше просто предоставляли базу как есть, а сейчас идёт обработка
цитата
28/03/12 в 08:56
 MrDeiz
обработка закончена. можете забирать)
цитата
04/08/12 в 06:43
 abc000
MrDeiz: не подскажите от куда можно парсить ролики с jpg и flv? Мне просто нужно наполнить свой туб и видео перекачать на собственный сервер. Не хотелось бы ваши сервера нагружать icon_neutral.gif
цитата
04/08/12 в 08:07
 MrDeiz
ну дык... покупаешь базу и выкачиваешь всё по прямым сслыкам
цитата
04/08/12 в 08:22
 abc000
Цитата:
ну дык... покупаешь базу и выкачиваешь всё по прямым сслыкам


Я работаю спец.софтом. Он ходит по страницам тубов, сам выкачивает картинки и видео по ссылкам из документов и создаёт файлы импорта (WP, DLE). Поэтому мне нужна как-бы html постраничная версия всего этого icon_smile.gif

Поделитесь источникам(и) в ЛС?
цитата
04/08/12 в 15:51
 MrDeiz
ну это уже извращение. проще ведь выкачать по прямой ссылке чем по хтмл или я что-то не пойму
цитата
04/08/12 в 15:59
 abc000
MrDeiz: скрипт на серваке лежит и моего трафика при этом тратится нуль. Т.е. сервер сам качает на себя видео.


Эта страница в полной версии