Новая тема   Ответить

 davedeviss
CDN - сумашедшие цены, честно сказать.

Посему решено было взять для пробы 1Gbps Unmetered у лизвеба.
Все отлично, но 1Gbps стало не хватать. Как масштабироваться?

Очевидно, надо делать сеть из нескольких серверов.
Но я плохо представляю как на деле это работать должно.
Кто-нибудь схему может обрисовать? Какого типа сервера нужно докупать и что делать с ними программистам?

Спасибо

Последний раз редактировалось: davedeviss (17/05/15 в 04:16), всего редактировалось 1 раз

 Pentarh
Потому цдн столько и стоит, что там столько нюансов, шо пздц.

Съел собаку на этом. Несколько гигабит отдачи с обычных винтов это уже большая проблема. На программистах не выедешь, нужен толковый админ.

Вообще, если не сильно заморачиваться со своими решениями - то брать mogilefs, раскиданную по одиночным винтам с избыточностью 2.

Более продвинутые решения включают системы горячего и холодного кеширования, но это проще взять цдн )

 Securom
У меня движок KVS и в нем в группе серверов хранения три гигабитных сервака от Лизвеба прикреплены,все отлично раздается поровну со всех за балансировку отдачи отвечает движок KVS можно настроить чтобы с одного больше раздавалось с другого поменьше,в общем все очень гибко,как бюджетную схему рекомендую.

 Securom
Встречный вопрос,правда офтопик,сколько удавалось выдавить с гигабитных серваков Лизвеба?У меня 850 Мбит удалось выдавить из каждого и L.A. был в районе 4.5 проц загружен 60 процентов

 Pentarh
При чем тут ла и проц, если боттлнек при отдаче статики - время позиционирования головок винчестера?

iostat надо смотреть, насколько винты нагружены.

Гуманитарии

 Pentarh
Имеется в виду конечно объем контента, существенно превышающий объем ОЗУ.

Один винт сата в худших условиях нагрузки отдает 40 Мбит - полный рэндом позиционирования при отдаче тучи мелких файлов.

Последовательное чтение работает лучше в случае с видео, тут можно добиться отдачи от 150 Мбит с рыла.

Винты в рейд массиве на отдаче работают хуйово, ибо дергаются лишний раз головки.

Сас работают в 2 раза быстрее сата. ССД работают вообще без позиционирования, но имеют малый объем. На них пиздато вешать горячий кеш.

Ну и в общем куча таких нюансов. Это когда востребованного контента больше чем ОЗУ и системное кеширование не работает или работает плохо.

 Securom
А нахер нам iostat ?Работает сервак без проблем - все ништяк,сыпятся ошибки или мощей не хватает - добавляем еще один,вот и вся недолга!Железо то не мое,арендованное,нехай винты загружены по самое нехочу

 Pentarh
Ну так за еще один платить надо - какой толк, если ты используешь ресурс на половину?

Хотя некоторые хостеры (sg managed) дают сервера просто так, считают только бендвич.

Хотя, не, под распиздяйскую систему отдачи просто так не дадут Торну горячий и холодный кеш подавай и контракт на 20 гигабит. Тогда хоть две стойки бесплатно Ну так было раньше по крайней мере.

 S_Flash
Дк в том и дело, что сейчас серваков и каналов как жопы, а СДН, если дешёвый, то с граблями.

 QWERTZ
Здравствуйте,
Можем предложить несколько вариантов.
1. Самый простой, но относительно дорогой.
Просто заменить 1Gbps сервер на 10Gpbs. Для примера:
Xeon E3-1271V3 3.6GHz / 32GB RAM / 4x1TB SSD / 10Gbps Unmetered $1800
2 x Hexa-Core Intel Xeon E5-2620V3 / 64GB RAM / 4 x 1TB SSD / 10Gbps Unmetered $1949
2 x Hexa-Core Intel Xeon E5-2620V3 / 96GB RAM / 8 x 1TB SSD / 10Gbps Unmetered $2199

2. Использовать CMS, которая поддерживает распределние нагрузки. Например, уже упомянутый KVS (мы предоставим лицензию).
3. Использовать CMS которая у вас работает сейчас и собрать свой мини-цдн, в который вы сможете добавлять сервера по необходимости http://amhost.net/ru/streaming/

С уважением,
Ваш Amhost.net

 Securom
За 1800$ я бы предпочел построить сеть из семи гигабитных unmetered серваков от Leaseweb,к тому же это отказоустойчивая система,в случае выхода одного двух серваков вся система не страдает,но это сугубо мое мнение.

 Pentarh
Ну, эмм, если терабайтники ссд подешевеют, то нах все супер системы

 DiamonD
CDN от Лизвеба самый тормозный по любым тестам. Что уж говорить тогда про каналы с серверов.. Дешевле и хуже, имхо, только если дома десктоп поставить. Привожу 2 скрина, тест по пингам и скорость закачки файла. Тесты сделаны с компов конечных пользователей (не с серверов в ДЦ, как в хосттрекере, к примеру), выборка за последние 7 суток.
http://prntscr.com/76a2y5
http://prntscr.com/76a3b8
Так что да, дешево, но гнило..

 Securom
Ну вот...опустили горячо любимый Лизвеб

 FARAON
`

DiamonD писал:

Лизвеб - это реально настолько плохо???

`

 Securom
Вот бляяяя...А я люблю Лизвеб,просто цены у них сказочные бывают, иногда задарма серваки можно взять как то так...

 Margere
Самое обидное, что такие вот топикстартеры (и подобные) раздают краденые/пиратские видео, нанося ущерб правообладателям.
Когда же закроют все эти тюбы и стримы.

 Pentarh


Да иди ты нахер. Правообладатели хуевы. Наснимают говна, что за бесплатно раздавать западло даже. И разводят потом пальцы - мы бля Правообладатели, а вы все воры.

Хороший контент продается, даже если есть возможность скачать на халяву.

Цифровой век нахуй, каждый дегенерат с камерой в руке мнит себя кустурицей.

 Securom
Если тьюбы и стримы закроют что же тогда останется в интернетах ?!С товарищем Pentarh согласен полностью хороший контент продается всегда.

 Tagir
Securom писал:
Начнеться тогда новая эра адалта - возрождение!

 dlink
Может быть я не совсем понял проблему, но смасштабировать статику это не сложно.
0. Сессии храним в БД. Это не обязательно, можно балансировать только статику.
1. nginx в качестве балансировщика
Цитата:
2. Не хватает мощей. Поднимаем еще один сервер. Мы для этого активно используем docker

 tushkan
Securom писал:


А построить сеть это сколько стоит?

 Pentarh
dlink писал:
ты совсем не понял. отдать не проблема. Проблема равномерно разместить, чтобы винты не позатыкались от seek'ов.

 dlink
Цитата:
Да, вы правы, узкое место input-output с диска.
Но задача-то решить проблему за минимальные деньги, а не выжать 100% из винтов.
Так добавление еще одного сервера линейно уменьшает нагрузку в том числе и на IO.
Я считаю, что чем покупать 1 сервер за 2000$ (!!!) лучше купить 10 по 60$ (=600$)
Вот у лизвэба можно затарится (Посмотрел в соседней ветке)
https://ru-tld.ru/arenda-serverov/

Мы затариваемся у хетзнера, тк контент не адалт пока
https://robot.your-server.de/order/market/country/RU
За 50 евро очень приличная машина еще и с хардварным рэйдом

То есть кластер получается дешевле чем отдельный сервер, плюс легко масштабируется, плюс отказоустойчивее.
Минус один - сложнее в поддержке.

 HortovP
С amhost работаю и вот что у них встречал по поводу CDN. А на лизвеб нечего наговаривать нормальный ДЦ.