Новая тема   Ответить

 btpy
Здравствуйте!
Хочу посоветоваться. Мне надо спарсить несколько тубов, показать ембед и ссылку для загрузки. с ембедом проблем нет, он доступен на странице. на большинстве тубов download link я тоже взял без особых проблем.
Но осталось несколько сайтов, с которыми дружба не вяжется - они отправляют параметрами несколько хэшей которые я не могу опознать:

h2porn, hardsextube, pornhub - вот они.
Еще есть xhamster, там другой результат - линк есть. И если его запихнуть в локальный файл и просто открыть браузером то все будет прекрасно, загрузка пойдет. Но стоит его положить даже на локальный сервер (или remote), как вместо видео загрузится заглушка.
Я нашел ресурс tubeoffline, который парсит все эти 4 нужные мне туба и многие другие, но у них там своя тусовка
xhamster - requires java
hardsextube - requires java
pornhub - requires java
h2porn - java не нужна, линк я так и не нашел
И вот с java на выходе ресурс дает ссылку вида: 127.0.0.1: 432434/FFF.FLV
Я яву сосвем не знаю, поэтому даже приблизительно не представляю работу механизма.
Буду рад если кто-то наведет на умную мысль.
Спасибо.
p. s. Конечно, можно зарегистрироваться на ресурсе, и тогда все ссылки будут доступны, но я не уверен что это правильный вариант, т. к. загрузок будет много, а банхаммеры не дремлют

 rx
ты удивишься, но большая часть этих сайтов дает аж рсс и дампы своих баз

потыкайся по форуму в поисках аналогичной темы

 Ailk
порнохаб 100% парсится и тянется с помощью курла. (имею в виду загрузку себе на серв). Как с хотлинком временной ссылки - хуй его знает. Как вариант, убирай http_referer, имено по нему можно закрыться от хотлинка, по сути больше никак.
Ну и еще, посмотреть че там заголовках передается, и предварительно примерно такойже заголовок отправлять.

 btpy
почти совсем я разобрался кроме h2porn.com
его не распарсить курлом, потому что он те триггерит яваскрипт или флэш,
А видео там запускается именно кликом по flash player.
Вот например:
http://h2porn.com/videos/russian-brunette-finger-fucked-her-tight-pussy/

по клику выдаст нам ссылку:
http://h2porn.com/get_file/16/2a234a1115c685ee2e88b0b847a34aac/3050…d22a87867c

Соответственно параметры запроса:
time:20140925162555
ahv:2a6e023b4d8b58fb392015a96955c152
cv:68801d64aefa7b70580af1d22a87867c

Хоть кто-то сталкивался с таким?
на том же tubeoffline они получают ссылку, но я дупля не отобью - как =/
Спасибо.

 rx
Предупреждение

Этот сайт был замечен в мошенничестве. Обмен критичными или конфиденциальными данными с этим сайтом сопряжен с риском кражи личных данных и/или финансового мошенничества.

 Ailk
там плеер квс, наших ребят.
я бы делал так:
тащим курлом страницу, грузим ее в дом. потом вытаскиваем тег <param name="flashvars"> при помощи этого. затем вытаскиваем атрибут и уже регулярочкой достаем $video_url=http%3A%2F%2Fh2porn.com%2Fget_file%2F16%2F2a234a1115c685ee2e88b0b847a34aac%2F305000%2F305543%2F305543.flv которое в последствии декодим в нормальный вид.

 btpy
Alik, кагбе не очень-то работает метод твой.
Впрочем, вопрос с h2porn я решил, видео забираю нормально, могу сбросить код. Там параметры гет запроса к видео - хэши вроде (data+videoId) и прочая хрень.

А вот с pornhub ну вообще никак.
Да, он парсится и тянется нормально - с локальной машины.
А если залить на (тестовый) сервер, чтобы посмотреть, как парсер работает,
то ссылка, которую отдаст сервер, уже не будет валидна.
Получается так:
http://cdn2b.embed.pornhub.phncdn.com/videos/201408/26/31221152/480…56c6828081

В ссылке несложно увидеть параметр IP. Когда на локальном сервере я запускаю парсер, он отдает мне ссылку, сформированную на основе IP моего локального сервера. Соответственно, когда я по ней потом качаю, я захожу тоже с моего IP (сервер ведь и браузер физически в одном месте).
А когда я запускаю на тестовом - получаю ссылку с ip тестового. Открываю на локальной машине - pornhub смотрит, что ip не совпадают, и видео не дает. Поменять ip не получится, потому что там еще и хэши на основе его формируются

Если кто-то может помочь, буду благодарен

 Mika
btpy писал:
Джаву знать и не обязательно, чтобы представлять работу механизма.

btpy писал:
Джава нужна как раз, чтобы вот эту защиту обойти. Скорее всего на сайте предлагается установить java-applet, задача которого состоит лишь в том, чтобы сграбить страницу тюба с IP юзера и отправить эту страницу на распарсивание на сервер.

 btpy
Цитата:

Вот тут-то я и зависаю. Потому что средствами, которые у меня есть (насколько я их знаю), я так сделать не могу.
Могу отправить header x-forwarded-for - но поможет это не сильно.
Если бы нужно было файл загрузить - сделал бы потоково с сервера (да или даже просто - на сервере-то все работает)
Но проблема в том, что на сервере мне нельзя ничего хранить.
Вот и ищу помощи.

 Ailk
Выключаю флеш в хроме, лезу на порнохаб. Открываю страницу с видосом, смотрю сорцы. Ага, вот он урл, чистенький:
http://ic.b0d1d7ce.133aa9.6.c3605.d.rncdn3.com/videos/201408/06/304…d9986946cb

ок, копирую, запускаю в отдельном окне - хуй не работает. Ладно, удаляю реферера (при помощи расширения, т.е. редактирую посылаемый заголовок) и вуаля - пашет

П.С.
Стрим видео работает только для одного клиента, т.е. если на сайте будет идти, то в окне не отдаст, ну и если остановить просмотр, то в отдельном окне пашет.
Надеюсь поможет.

Смотри что в заголовках передается.