Master-X
Форум | Новости | Статьи
Главная » Форум » Программинг, Скрипты, Софт, Сервисы » 
Тема: Заблокировали IP при парсинге
цитата
12/08/14 в 21:02
 Lexikon
скрипт был у меня написан на PHP без подключения CURLб как мне сказали Цитата:
Когда php скрипт конектится к другому серверу, то по умолчанию используется основной ip сервера

и чтоб выйти из положения, нужно в скрипте указывать исходящий IP для соединения.
Но я чет нифига не пойму как это делается icon_confused.gif

Подскажите пожалуйста, о чем речь.
Спасибо!
цитата
12/08/14 в 21:20
 Evial
http://php.net/manual/ru/function.curl-setopt.php
использовать CURLOPT_INTERFACE


Пример типа такой
Код:

$html = curl_get("http://САЙТ");

echo $html;

// Функция cURL
function curl_get($host, $file = null){
    //инициализация curl и задание основных параметров
    $ch = curl_init($host);
    curl_setopt($ch, CURLOPT_USERAGENT, '');
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_REFERER, '');
    curl_setopt($ch, CURLOPT_INTERFACE, "192.168.1.1");
   
    //если дали ссылку на файл
    if (!is_null($file)){
        //то устанавливаем опцию записи в файл,
        curl_setopt($ch, CURLOPT_FILE, $file);
        //и выполняем
        curl_exec($ch);
        //не забываем закрыть соединение
        curl_close($ch);
    }else{
        //если же ссылку на файл не дали, то возвращаем страничку
        ob_start();
        curl_exec($ch);
//      print(curl_error($ch));
        curl_close($ch);
        return ob_get_clean();
    }
}



Вся магия в curl_setopt($ch, CURLOPT_INTERFACE, "любой_ip_сервера");
цитата
12/08/14 в 21:25
 Lexikon
отлично, большое СПАСИБО!!! smail54.gif
цитата
12/08/14 в 21:29
 Evial
пожалуйста)
но ты лучше договорись, а то все ипы побанят icon_neutral.gif
цитата
12/08/14 в 21:55
 Lexikon
отписал, жду ответа.
пока сделаю запрос с одного домена, а с него уже будут тянуть остальные. Надеюсь ситуация по открытию им разрешиться положительно. Но один хрен думал сделать так как сейчас, давно. Т.к. самому удобней регулировать всё это.
Еще раз спасибо!
цитата
12/08/14 в 22:07
 idk2045
паузы вставляй типа sleep(2)
цитата
12/08/14 в 22:17
 Lexikon
у меня по кронам, каждые 5 мин скрипт дергался, увеличивать диапазон до 10 и тем более больше ну как бы теряется часть инфы. Раньше одно и тоже дергалось с трех сайтов, теперь будет одним, а те другие будут уже брать инфу с него, думаю это даже снимет какую то нагрузку с сервера и уменьшит потери бендвича. Тем более если кол-во ресов разрастется.
цитата
12/08/14 в 23:11
 Evial
Спасибо за обращение в нашу тех. поддержку trollface.png
цитата
13/08/14 в 01:16
 Lexikon
переписал код, парсинг пошел, сайты с основной базы тоже дергать стали, надеюсь та поддержка быстро ответит, ну или хотя бы чтоб это не банили.


Эта страница в полной версии