Новая тема   Ответить

 Alian
Задача в 1000 потоков чекать на контрольную фразу кучу сайтов.
Я понимаю, что сокеты круче, но стоит ли игра свечь, ведь курла и ридеректы может обрабатывать ... и еще куча плюсов. Не завалиться сервер от такого кол-ва потоков курла?

 Emperor
Alian писал:

запускаешь в фоне 20 копий скрипта, в каждом multicurl на 50 коннектов.

фсе

 ibiz
у меня бот работает на Core Duo T2450, 1GB ежеминутно делает 3к конектов
из них 10% неудачные по таймауту 3сек, думаю из-за канала, при этом нагрузка на сервер 0.40
имхо CURL намного удобнее

 LeadFarmer
америки не открою конечно, но: берется правильный язык программирования (питон, перл) и вопросы "а сколько корова даст молока и не загнется ли" отпадут сами собой

 Dr.Syshalt
Alian писал:

С чего бы? Даже если представить себе, что с какого-то перепугу каждый поток отъедает по 10k памяти, то 1000 потоков, соответственно, отожрут у сервера ажно целых 10MB RAM.

К слову говоря, это куда экономичнее по ресурсам будет, чем 20 запущенных скриптов с 50 коннектами в каждом ;) Раз так в 20 ;)

 Flyman
Да CURL удобнее, проще, быстрее и красивее.
И главное функциональнее. Редиректы, таймауты и все прочее.
Велописет уже готов.

Последний раз редактировалось: Flyman (15/06/11 в 04:58), всего редактировалось 1 раз

 DF™
У меня есть для этой задачи проверенный многопоточный (на нитях) софт на С++ http://www.dfservice.com/site-monitor/index.html.ru.htm Использовался для проверки миллионов сайтов в день. Имеет API и стоит копейки.

Кстати, если не думая проверять сайты, завалить потоками можно не только исходящий сервер, но и проверяемый, если несколько проверяемых страниц расположены на одном сайте. В скрипте уже есть защита от этого!

 ibiz
DF™ писал:

а подробнее об этом "софте на С++" где почитать?
тестовые сравнения есть?

 DF™
ibiz писал:
Все что есть на сайте, есть демо, триал можно скачать потестить.
Тестами я не заморачивался, нету смысла тратить на это время, кому интересно могут потестировать сами.
С++, многопоточность на нитях, CURL не используется - не думаю что можно написать намного лучше и по скорости, и по требованию к ресурсам.

 zuborg
http://puf.sourceforge.net/