Master-X
Регистрация
|
Вход
Форум
|
Новости
|
Статьи
Главная
»
Форум
»
Программинг, Скрипты, Софт, Сервисы
»
Тема:
Заблокировали IP при парсинге
Новая тема
Ответить
цитата
12/08/14 в 21:02
Lexikon
скрипт был у меня написан на PHP без подключения CURLб как мне сказали
Цитата:
Когда php скрипт конектится к другому серверу, то по умолчанию используется основной ip сервера
и чтоб выйти из положения, нужно в скрипте указывать исходящий IP для соединения.
Но я чет нифига не пойму как это делается
Подскажите пожалуйста, о чем речь.
Спасибо!
цитата
12/08/14 в 21:20
Evial
http://php.net/manual/ru/function.curl-setopt.php
использовать CURLOPT_INTERFACE
Пример типа такой
Код:
$html = curl_get("http://САЙТ");
echo $html;
// Функция cURL
function curl_get($host, $file = null){
//инициализация curl и задание основных параметров
$ch = curl_init($host);
curl_setopt($ch, CURLOPT_USERAGENT, '');
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, '');
curl_setopt($ch, CURLOPT_INTERFACE, "192.168.1.1");
//если дали ссылку на файл
if (!is_null($file)){
//то устанавливаем опцию записи в файл,
curl_setopt($ch, CURLOPT_FILE, $file);
//и выполняем
curl_exec($ch);
//не забываем закрыть соединение
curl_close($ch);
}else{
//если же ссылку на файл не дали, то возвращаем страничку
ob_start();
curl_exec($ch);
// print(curl_error($ch));
curl_close($ch);
return ob_get_clean();
}
}
Вся магия в curl_setopt($ch, CURLOPT_INTERFACE, "любой_ip_сервера");
цитата
12/08/14 в 21:25
Lexikon
отлично, большое СПАСИБО!!!
цитата
12/08/14 в 21:29
Evial
пожалуйста)
но ты лучше договорись, а то все ипы побанят
цитата
12/08/14 в 21:55
Lexikon
отписал, жду ответа.
пока сделаю запрос с одного домена, а с него уже будут тянуть остальные. Надеюсь ситуация по открытию им разрешиться положительно. Но один хрен думал сделать так как сейчас, давно. Т.к. самому удобней регулировать всё это.
Еще раз спасибо!
цитата
12/08/14 в 22:07
idk2045
паузы вставляй типа sleep(2)
цитата
12/08/14 в 22:17
Lexikon
у меня по кронам, каждые 5 мин скрипт дергался, увеличивать диапазон до 10 и тем более больше ну как бы теряется часть инфы. Раньше одно и тоже дергалось с трех сайтов, теперь будет одним, а те другие будут уже брать инфу с него, думаю это даже снимет какую то нагрузку с сервера и уменьшит потери бендвича. Тем более если кол-во ресов разрастется.
цитата
12/08/14 в 23:11
Evial
Спасибо за обращение в нашу тех. поддержку
цитата
13/08/14 в 01:16
Lexikon
переписал код, парсинг пошел, сайты с основной базы тоже дергать стали, надеюсь та поддержка быстро ответит, ну или хотя бы чтоб это не банили.
Новая тема
Ответить
Эта страница в полной версии