Master-X
Регистрация
|
Вход
Форум
|
Новости
|
Статьи
Главная
»
Форум
»
Программинг, Скрипты, Софт, Сервисы
»
Тема:
Парсинг
Новая тема
Ответить
цитата
28/03/13 в 17:10
Lexikon
стал разбираться в сущности кодировки
nvb=20130328135423&nva=20130328145523&speed=752&hash=014b63ccd3a6835036c98
nvb=20130328135440&nva=20130328145540&speed=752&hash=0e281e7a35cb4eac050e9
nvb=20130328135459&nva=20130328145559&speed=752&hash=0b833bf7f482a7b9b0d15
nvb=20130328135518&nva=20130328145618&speed=752&hash=0e1a7112f6acf66d71270
все вроде понятно
nvb - это дата открытия страницы 2013 03 28 13:55:23 по серверному времени
nva - 2013 03 28 14:55:23
Видео активно всего 1 час
что то типа [begin] и [active] я это так расшифровал для себя.
все конечно заебись, но тут появляется одно НО, хэш, ебучий хеш
шифровка явно не MD5 и не SHA-1 и там и там длина больше этих ибо тут соответственно 33 и 41 знать бы чем это закодировали, хтя могли что то свое захерачить
при каждом новом парсинге меняются даты и хэш, так что смею предположить что закодировано там что то связаное с датой
Кстати нашел на некоторых сайтах есть видео которые воспроизводятся и похоже что на этих ресах парсится актуальный код при запросе видео.
цитата
28/03/13 в 21:02
Дартаньян
Lexikon:
не забывай про IP.
цитата
28/03/13 в 21:33
Stek
Дартаньян писал:
не забывай про IP.
судя по тому, что его ссылка открывается для других, в данном случае нет защиты по ип.
цитата
28/03/13 в 22:46
Дартаньян
Stek:
ссылка на что уточним, во вторых чаще и надежней хешь по IP.
цитата
28/03/13 в 23:00
Stek
Дартаньян писал:
Stek: ссылка на что уточним, во вторых чаще и надежней хешь по IP.
Я х.з. про что ты, а я про ссылки ТС, которые он парсит
цитата
29/03/13 в 08:06
Lexikon
Дартаньян писал:
Stek:
ссылка на что уточним, во вторых чаще и надежней хешь по IP.
Я про хеш который вконце URL, речь о нем.
Ну думаю это нах ненужная затея, пытаться расшифровать что там скрыто ибо покавырявшись вчера понял что там могли свою херню шифрования ввести.
Другой вопрос, который был ранее, но потом отброшен.
Почему при парсинге актуальной ссылки будет жраться много бендвича?
Страница которую парсят 37Кб, и ролик будет тянуться не с моего сервера, а с сервера тьюба.
цитата
29/03/13 в 13:30
Дартаньян
Lexikon:
потому что из опыта тюбов которые дают уникальный хешь по IP.
цитата
29/03/13 в 13:42
Lexikon
а чей IP ?
если каждую загрузку хеш в данном случе меняется. У меня и у реса IP ведь не менялся.
цитата
29/03/13 в 13:46
Дартаньян
Lexikon:
если ты подсунешь хешь клиенту то у него будет 0, а бендвичь сгорит если ты будешь транслировать видео с тюба клиенту.
цитата
29/03/13 в 13:52
Lexikon
Дартаньян писал:
Lexikon:
а бендвичь сгорит если ты будешь транслировать видео с тюба клиенту.
Т.е. если у меня будет мой эмбед в котором будет актуальная ссылка на ролик с тьюба и это будет влспроизводиться через мой плеер то сожрется мой бендвичь? И сожрется он в размере просмотра видео?
Я тогда непойму ситуацию когда спонсоры дают ссылки на видео, бендвичь то не мой жрется, а спонсорский.
Как то я не пойму ситуацию.
цитата
29/03/13 в 13:59
Дартаньян
Lexikon:
работает через них если код который они тебе дают, без привязки к IP.
Последний раз редактировалось: Дартаньян (
29/03/13 в 14:07
), всего редактировалось 1 раз
цитата
29/03/13 в 14:02
Lexikon
т.е. на тьюбах этот хэш как бы защита от хотлинка, но с условием что смотреть можно но вот бенвичь будет ждаться того кто воспроизводит видео, вернее тот через кого воспроизводят
так я понял?
цитата
29/03/13 в 14:09
Дартаньян
Lexikon:
не совсем, есть код который дают для вставки там реклама и т.д. он работает везде, а есть код который привязан к IP и видео можно транслировать с тюба через себя(скачка-передача). Я тебя запутал, в общем если вставить html код и оно работает то бендвичь твой не страдает.
цитата
29/03/13 в 14:13
Lexikon
ок
спасибо!
цитата
31/03/13 в 15:21
Lexikon
потерто
цитата
01/04/13 в 12:12
Lexikon
доделал код, проверил, работает со вчерашнего дня, парсит тьюб и выдает дамп по форме
ID | TITLE | IMG | CAT | TAG | CTR
Изображение скачиваются на сервер с размерами 240х180, CTR высчитываю из данных по видео
за сутки обработалось 56к рабочих URLs
цитата
01/04/13 в 12:16
Yacc
Ну, выкладывай сюда или на гитхаб, порадуем тебя.
цитата
01/04/13 в 12:43
Lexikon
чем порадуете???
меня радует когда отвечаете на вопросы, за это спасибо!
А выкладывать думаю смысла нет
растянут или продадут за мульён
цитата
01/04/13 в 13:28
Stek
А какой тюб то парсил ?
цитата
01/04/13 в 13:38
Yacc
Lexikon писал:
А выкладывать думаю смысла нет
Смысл такой же как у домашней работы в школе: не двойку тебе поставить, а показать правильное решение, в котором от твоего останется только тег <?php.
цитата
01/04/13 в 13:47
Дартаньян
Lexikon:
на питоне за 4 часа спрашивает 200к
цитата
01/04/13 в 18:33
Lexikon
Дартаньян писал:
Lexikon:
на питоне за 4 часа спрашивает 200к
так еще же зависит от скорости подключения к нету
Сообщения прочел, завтра сделаю.
Stek писал:
А какой тюб то парсил ?
который RED
цитата
02/04/13 в 00:12
Stek
Lexikon:
а зачем ты его парсил, если там есть готовое api
http://api.redtube.com/docs/
цитата
02/04/13 в 10:02
Lexikon
Stek писал:
Lexikon:
а зачем ты его парсил, если там есть готовое api
http://api.redtube.com/docs/
Изучаю пхп, просто решил себя чем то занять
Стр.
« первая
<
1
,
2
Новая тема
Ответить
Эта страница в полной версии