Новая тема   Ответить

 3Sky
ты деревяный? реально?

я по-мойму написал, почему я не делаю рессел.

сопли пузырями, это круто давно не слышал уже.

я до тебя пытаюсь донести, что неадекватно воспринимаются, любые новости и критика, от конкурирующего сервиса. + не очень красиво, писать критику и светить подпись. хочешь сказать, на хкхосте, так-то, так и так, отключи ее и вопросов не будет, уж если тебе на трибуну надо.

 Tornado
dlk44 писал:


Не сказал бы, что это недостаток. Скорее забота о клиентах.
Существует 2-3 % клиентов, кто крайне непродуктивно (если мягко выражаться) использует ресурсы и прежде всего CPU. Это могут быть как программеры недоучки, кто просто неправильно пишет скрипты, это могут быть клиенты, которым объективно нужен дедик, но они почему то хотят то ли сэкономить, то ли просто дергаться лень.
Существуют клиенты, которые изначально занимаются только рассчетами, аэродинамикой, космическими рассчетами или еще чем не понятно. Но это очень влияет на обычных Веб клиентов.

Сначала мы просто предупреждали клиентов о том, что их скрипты съедают просто недопустимое кол-во CPU, давали время на оптимизацию, в случае если оптимизация не помогала мы вынуждены были делать отказ в сервисе (что к стати есть в любом хостинге пункт отказа в сервисе).
В итоге мы пришли к тому, что нужно установить планку CPU time. На каждом из 18ти CGI серверов по 4-5 клиентов оказались выше этого уровня(причем остальные гораздо ниже). Им пришлось перейти на дедики, либо, к сожалению, покинуть нас. Все остальные клиенты вздохнули спокойно и сейчас уже, слава богу, вот уже год, как нет серьезных нареканий на тормоза сервера.
Не нужно лукавить господин dlk44, что у вас нет этого, прийди к вам клиент, потребляющий половину ресурсов вашего CGI сервера, Вы тоже его попросите уйти, либо дополнительно обяжете оплатить ресурс. Ну не будете же вы доплачивать по сути свои деньги? За 9 лет работы мы насмотрелись просто невероятное количество всякого рода ‘химиков’. Кто то хранит в базе данных весь свой сайт, включая картинки, кто то пишет скрипты рекуррентно вызывающие самих себя и убивающие в следствие этого сервер, один человек производил расчеты, после переноса которых на обычный однопроцессорный дедик – дедик умер . На дуал ксеоне, понятное дело, все работало.

Вы не путайте нас с такими компаниями как Servage. Загрузка CPU у нас это не средство уменьшить кол-во прокаченных гиг и не средство надавить на клиента. Это всего лишь средство фильтрации различного рода умельцев, единиц, делающих не понятно что, а точнее то, что уже не вписывается в понятие виртуального хостинга.

 _s_[sov]
никаких нареканий, все замечательно

 Lapshin
Думаю воспользоваться услугами этого хостера. Но есть один момент.
У этого хостера указаны в тарифах = 10-40 Гб трафика / мес.
Граждане мастера, ответьте - хватит это лимита для среднего сайта с картинками и видео? Понимаю, всё от посещаемости зависит, но даже приблизительно пока не могу оценить, сколько съест трафика 1000 уников в сутки. Помогите, плиз с расчётами, поделитесь опытом.
Благодарю!

 Sha
Если один уник по минимуму съедает 3-5метра, то 1000 уников в сутки это 3-5Гиг в сутки.
90-150 гиг в месяц.

 dlk44
3Sky писал:

Да не нада мне особо на трибуну - я всего один пост сделал про CPU - а тред образовался благодаря тебе и другим товарищам.

P.S. Я не деревянный - я из титана.

 dlk44
Lapshin писал:

так ты расскажи какие у тебя фотки и какое видео. Одно дело 30 секундные wmv 5Mb, и совсем другое FLV по 50Mb. Ну и картинки бывают 800x600 а бывают 3000x2500. Но минимум это 100Gb трафа нада.

 dlk44
Tornado писал:

Я никогда не осуждаю чужие бизнес-стратегии. И разумеется я вовсе не ратую за тех, кто на виртуале делает аэрокосмические расчеты. Но с другой стороны я не люблю абстракции - я люблю конкретные примеры. И вот Вам простой конкреный пример. У одного из моих клиентов CJ и по cron каждую минуту запускается задание которое потребляет 60% ресурсов CPU Opteron146 отрабатывает это задание за 10 секунд. Вот скажите - такой расход ресурсов CPU превышает Вашу планку CPU time или нет.

P.S. Задания cron у меня разнесены по времени срабатывания через джиттер, для Nginx и Апач выставлены высокие приоритеты, состояние сервера отслеживается через Munin - так что все работает нормально.

 Sha
Вообще CPU для того и нужен чтобы нагружаться. Если CPU не используется для задачи, то он в ядре сидит и ждёт готовности какого нибудь процесса.

Если в течении 10 секунд потребление 60% CPU то клиент усреднённо потребляет этим кроном 10% CPU.
Что будешь делать когда 10 таких клиентов появятся?

 WebOldie
Слух какой-то напрягающий пошёл.
Якобы HQ взял под своё крыло Причину закрытия трифнов.
Первое, что я ответил - Tornado может быть кем угодно, но на идиота он точно не похож.
На это мне ответили, что Причина платит столько, что отказаться невозможно и HQ сделали всё якобы по-умному, типа параллельную/независимую сетку.
Второе, что я ответил - Tornado может быть кем угодно, но на идиота он точно не похож.

Tornado:, я конечно не сомневаюсь в твоём ответе и всё таки ...
Подтверди пож-та лично и публично, что с Причиной вы не связались и связываться не собираетесь независимо ни от чего.

Сними напряжение - мешает наслаждаться вашим сервисом

 rrr
так Причина закрытия трифонов - довольно собирательное понятие или ты имеешь в виду что-то конкретное?

 Sha
Причина - это видимо что-то живое? Как Зло во властелине колец?

 Tornado
WebOldie писал:

Могу прокомментировать это так.

Уже 4го июня, когда стало ясно, что проблема серьезная и пошел переток клиентов, мы приостановили регистрацию, а точнее активацию всех новых аккаунтов.
В дальнейшем 5го или 6го числа мы приостановили добавление новых доменов старым клиентам, так как начало просачиваться гавно. Тоесть даже некоторые старые клиенты, которые у нас были переносили на свои аккаунты сайты, вступающие в конфликт с нашими условиями.

В итоге мы сделали ручное добавление новых доменов. Проводилась и проводится очень серьезная проверка доменов и вебмастеров. Мы по сути отсеивали 70% всех новых клиентов весь июнь. Это в общем легко проверить. По форумам если глянуть народ жаловался на это. Жаль если мы таким образом кого то обидели, но что поделать.
Далее, по выделенным серверам. Проверить обычным просмотром их сложнее. Мы взяли только 4 клиента на дедики из 3fn + изменили порядок работы с текущими клиентами. С теми, работа которых неясна(нет наработанного имени, понятных крупных ресурсов и тп) мы заключаем физические контракты. Мы отправляем контракт на регистрационный адрес в нашей системе, клиент обязан в двухнедельный срок подписать и отправить его обратно. Так же производится мониторинг IP через фильтры. Это достаточно затратное дело и потребляет много вычислительных ресурсов (необходимо проводить через специальный сервер весь трафик определенного клиента с выделенным сервером, и анализировать его). Так же осуществляется прозвон новых клиентов либо SMS авторизация для виртуалов, дабы телефоны были реальными. Естественно все коммуникации с клиентами будь то email, ICQ или телефонный разговор фиксируются.
Это все техническая сторона.

Лично я как топ менеджер сделал вот что.
С 15го по 20е июня я провел ряд встреч с менеджерами Switch and Data, Level3 и Cogentco с целью прояснить ситуацию, как и почему подобный инцидент вообще имел место быть.
20го июня мы заключили контракт с юридической компанией Sharifov and Russell, LLP и с 20го июня все вопросы, возникающие у нас или к нам решаются исключительно через лоеров данной компании.

Резюмируя все вышесказанное, несомненно одно, 3fn знал о предстоящей проблеме, либо если не знал, то проблема как раз и произошла от того что не знал.
Что я имею ввиду:

Для любой хостинговой компании как для поставщика телекоммуникационных услуг основное правило это открытость. Тоесть, телефоны и адрес должны быть открыты и ясны для властных структур. В офис могут позвонить и приехать, например, ребята из FBI и задать вопросы. Здесь нет ничего страшного, если вы чисты перед законом. Могут отправить вам по почте лист с судебным решением, обязывающем предоставить те или иные данные и так далее.
Если вы это игнорируете, если вы не отвечаете на телефон, если адрес просто напросто не существует, то письмо не прийдет, а тот кто хочет к вам дозвониться не дозвонится. Итог вас в один прекрасный день выключают. Вас формально не было.
Если у вас офис, люди, оборудование, все вопросы по телефону решаются в тот же час, почта обрабатываться и работа идет, то это уже обыденная работа обычной телекоммуникационной компании. Да, факт что компания должна быть достаточно крупной, чтобы позволить себе все это. Начинающие компании и компании реселлеры работают на уровень ниже, соответственно все эти вопросы решают компании, стоящие выше. И дай бог, компании, стоящей выше не пришло в голову решать вопросы как это делает CHOOPA. В 2004 году они просто отправили в нульроут все наши сервера. С сегодняшней позиции я понимаю, что возможно у нас был какой то урод, и вместо того чтобы его искать нас проще было выключить. Так может быть, по сути, с любой компанией реселлером.

Когда то 2 года назад мне позвонили из ФБР захотели пообщаться. Приехали 2 агента и мы поехали в управление по борьбе с киберпреступлениями в Бруклин. Как оказалось, проблема была в одном из наших VPN. Кто то кого то хакнул. После этого случая были крайне серьезно закручены гайки всем сервисам кто оказывал VPN услуги. Так же мы практически остановили продажу своих VPN и прокси.

В любом случае все это рабочий процесс. Хотя, несомненно, посещать и вообще общаться с подобными структурами хочется не особо. С другой стороны, если бы никого не было на ТОМ КОНЦЕ, то нас бы просто выключили бы рано или поздно.
Именно поэтому открытость это самое главное.

Я думаю, я доходчиво описал причину проблемы 3fn. Я не знаю конкретно, кто из клиентов так подставил 3fn, может, кто-то один, может просто набралась критическая масса. Я не могу даже представить что Sec намеренно закрывал глаза на уродов, получая с них какие-то деньги. Глупо это. Особенно после истории с esthost.
Я все же больше склонен к тому, что виной всего стала неразборчивость. Брали всех и не проверяли плохой или хороший.
Почему причина проблемы 3fn не может быть у нас. Причин судя по всему много. Тоесть я более схожусь в том, что было много плохих клиентов, как у est-хостов. Мы не могли подхватить заразу по 2м причинам. Первое, мы по сути физически перестали брать новичков (у которых корни на 3fn) и второе нам бы просто не позволили этого сделать.
4го июня ближе к вечеру нам звонит level3 с просьбой занульроутить IP . Причем причина на редкость не обычная. FTC дало указание level3 отключить такой то IP ввиду того что сайт был в каком то спец. списке у FTC. Тоесть все! кто насолил FTC не могли на тот момент получить хостинг в границах USA. Это, действительно, необычный ход. Поэтому я уверен, что даже если бы кто то прошел бы через барьер проверок, он все равно будучи в списке был бы в дальнейшем отключен.

Если есть сомнения в том, что я сказал, в конце концов, проведите контрольную закупку, посмотрите на наши методы работы. Попробуйте договориться с нашим менеджером про сервер для спама например. Я сомневаюсь, что с вашего ICQ впоследствии вообще можно будет заказать какой либо сервер. Мы достаточно велики, чтобы говорить нет клиентам, бизнес которых мы не понимаем.

Думаю на этом все. Хотелось бы еще получить источник подобных слухов. Это было бы действительно неоценимой помощью.

 Tornado
dlk44 писал:

все это хорошо и правильно когда 1-2 сервера и 30-40 клиентов. Уж слишком разные клиенты и задачи которые они выполняют. Sha правильно сказал. Что будет если таких клиентов будет 10 ?
Спор ни о чем на самом деле.

 WebOldie
Tornado писал:

Спасибо за подробный ответ. Даже не ожидал ТАКОЙ подробный

Источник - кулуары очередной конференции\тусовки. Да вообщем-то и не важно какой источник. Так как во-первых понятно, что это слухи, а во-вторых важен не источник, а само наличие подобных слухов. Если нечего опасаться, то и слухи пофиг. А если есть чего опасаться, то надо понимать, что даже слухи уже пошли и конец - это просто вопрос времени.

Ещё раз спасибо за подробный, аргументированный ответ.
С вами приятно работать

 dlk44
Sha писал:

Проблемы нужно решать по мере их поступления. Сейчас только один такой клиент - хотя CJ на этом серваке уже больше 20. А вообще конечно буду менять сервер на более мощный.

 dlk44
Tornado писал:

Я искренне желаю чтобы вас НЕ закрыли.

 dlk44
Sha писал:

Я уже сделал - просто взял более мощный сервер.

Заменил
AMD Opteron146/RAM 2Gb/HDD 2x160Gb
на
AMD Phenom 9950 x4 2,6Ghz/8Gb RAM/HDD 2x1000Gb

 Woland
dlk44:Не, ну твою ж налево ...
Да кому нужен в этом топике твой сервер ??? Здесь ОТЗЫВЫ ПРО HQHOST - ты читать то хоть умеешь названия топиков ? Ну тебе ж писали, что, сцуко, хоть немного адекватная и уважающая себя и окружающих особь не делает ТАК, не спамит свою сигу и свой хост в чужом топике, который прямо относится к теме - тебе реально на всех покласть, что ли ?



Оффтопик: p.s. Предлогаю вынести личный идиотизм 44-го на голосование

 dlk44
Woland писал:

Для того чтобы уважать окружающих - для начала нужно чтобы их мнение обо мне что-то для меня значило и было для меня важно. А у меня совсем другое воспитание и жизненные принципы. "Цель оправдывает средства"

По поводу моего сервера - я всего лишь ответил на вопрос которые в этом топике задало два человека -

1. товарищ Sha "Если в течении 10 секунд потребление 60% CPU то клиент усреднённо потребляет этим кроном 10% CPU. Что будешь делать когда 10 таких клиентов появятся?"

2. товарищ Tornado "Sha правильно сказал. Что будет если таких клиентов будет 10?"

 dlk44
[quote="Woland"]dlk44:Не, ну твою ж налево ...
Да кому нужен в этом топике твой сервер ??? Здесь ОТЗЫВЫ ПРО HQHOST - ты читать то хоть умеешь названия топиков ? Ну тебе ж писали, что, сцуко, хоть немного адекватная и уважающая себя и окружающих особь не делает ТАК, не спамит свою сигу и свой хост в чужом топике, который прямо относится к теме - тебе реально на всех покласть, что ли ?[quote]

Да чето вы все пидолбались к моей сиге? Тут практически у всех есть сиги - так что теперь - сообщения нельзя набирать в каких-то топиках из-за этого? Тем более что я создал одно маленькое, скромное и по делу сообщение - про оплату за сверхнормативное потребление ресурсов CPU. Создал и пошел себе дальше считая свою миссию выполненной. Вот скажи мне - что я блин начал распинаться что HQHOST дерьмо и призывал всех покупать хостинг у меня? Небыло такого и не будет - называть белое черным не в моих правилах. Так нет же - налетели - и давай учить правде жизни и тому как себя нужно правильно вести. Так вот - я давно вышел из того возраста когда нужны учителя и когда понимание смысла жизни черпают в чужих советах/на чужих примерах. Я живу своим умом.

 Dr.Syshalt
hqhost, я не совсем понял, чего это вы мудрите со своими серверами?

Клиент один у вас на дедике - глянул, а у дедика все признаки VPSа. Ну типа /etc/fstab и /boot пустых, кучи чего нету в /dev. Система точно chroot'ed - причем так, что даже df не работает, блин...

Вы это VPSы под видом дедиков продаете или чего?
Заранее спасибо.

 Tornado


Система действительно chrooted, плюс chroot усилен при помощи grsecurity.
Но это не VPS, все физические ресурсы сервера принадлежат одному клиенту. такую систему мы используем на серверах клиентов, которых мы полностью администрируем, либо клиенты которые просят сделать setup сервера на наше усмотрение (например клиенты которые переходят с виртуалов на выделенные сервера часто просят настроить сервер аналогично тому как настроены сервера под виртуальный хостинг). Используем данный подход при setup серверов для безопасности и удобства. Безопасность заключается в том, что если взломают chrooted систему, то не получат прямого доступа к железу и через корневую систему будет проще все восстановить. Удобство в том, что такую систему проще и быстрее перенести на другой сервер, если клиенту понадобится более мощный.
Клиентам, которые администрируют сервера самостоятельно, и четко ставят задачу на первоначальный setup, мы ставим только одну корневую систему.
Кроме того проверить что у Вас выделенный сервер а не VPS просто – достаточно попросит у support доступ к хостовой системе, если Вы его не получили при первоначальном setup.

 Dr.Syshalt
Tornado писал:

1. Безопасность chroot обеспечивает тому, что находится снаружи его. А клиентские файлы находятся внутри - и вот они-то и представляют ценность, а не ваши бутовые записи снаружи chroot. "Не получат прямого доступа к железу"? Да кому оно надо? Безопасность данных обеспечивается бэкапами, оффсайтными - а не помещением всего в chroot с предоставлением в него же рутового доступа по паролю epic fail.

2. Перенос линукса на другое железо - это перенос диска в новый корпус. Или копирование всего содержимого на новый диск, если и диск хочется побыстрее. fail

бред какой-то. Все, чего вы добились - это просто создание неудобств тому, кто хочет посмотреть разблюдовку партиций и сколько где места осталось (и подобных элементарных операций) при нуле достоинств. Плюс подобные вопросы возникают - само собой, а вы как думали?! Сделали потому, что где-то прочитали HOWTO и подумали "о, типа круто"?

 Dr.Syshalt
тем более цена вашему chroot'у тоже ноль ;)

пара минут, и я снаружи.

sh-3.2# ls /boot

System.map-2.6.24.7-grsec-mppc config-2.6.24.7-grsec-mppc grub initrd.img-2.6.24.7-grsec-mppc vmlinuz-2.6.24.7-grsec-mppc

все теперь видно, и df работает

да, вижу, что не VPS. Надеюсь, на ваших VPS все лучше сделано. Иначе я бы поостерегся. Эксплойт здесь не привожу по понятным причинам, свяжитесь, если интересно. Хотя некоторые уже могли бы и догадаться.