Новая тема   Ответить

 S_Flash
Подскажите решение, как синхронизировать и регулировать отдачу контента на 2х серверах?
Для начала хотябы как организовать синхронизацию контента? rsync тут не рулит ибо в качестве куча статики в виде тумб, а как известно рсинк испытывает в этом случае задержку и тумбы будут с определённой переодичностью "битыми" из-за несостыковки синхронизации и отображения тумб.

 Pentarh
Кластерную ФС ищи.

Мне очень нравится MogileFS, несмотря на некую кривизну реализации. Но это не POSIX система, не знаю как она ляжет на тумбо-менеджмет софт. Хотя была разработана livejournal именно для хранения тумб. Я перепробовал много чего, но MogileFS реально показывает нереальный перформанс.

Если нужен именно POSIX, то можно посмотреть в сторону GlusterFS.

 Doctor
использовать ротаторы, позволяющие хранить тумбы на другом хосте, не вариант?

 Erotix
Настраиваем такое, на серверах взятых у нас.

 div
rsync давно умеет копировать сначала в tmp-файл

а что значит регулировать отдачу? если два сервера на одной площадке - то любой балансер. а если в разных странах - для bind например был geodns

 Stek
Если стоит nginx, то в нем можно настроить проксирование, если локально картинка не найдена.
Тогда с rsync проблем быть не должно.

 Nux
а кто тебя заставляет юзать рсинк для синхронизации всей директории с контентом, один раз рсинкнул а далее запускай его только для обновляемых/новых и никаких задержек т.к не нужно строить листинг из лямов тумб.

 S_Flash
Doctor писал:
Какие юзаю, такие уж и юзаю. Например, менять место жительство из-за того, что в доме плохой провайдер - полный бред! Но это как на мой взгляд!

div писал:
Как бы рсинк не умел, но его надо дёргать. Тумбы обновляются в реалтайме. Значит по закону мёрфи, да и просто по логике возможны провалы между синхронизацией рсинком с сервера А на Б и попыткой отобразить контент с сервера Б в этот самый момент.


Хе, сайты апдейтятся ежеминутно. Запускать тиак часто рсинк - не комильфо. В остальном, как я уже описал выше.

Вобщем, рсинк, - система для других целей. А точнее, в его использовании подразумевается интервал. Апдейт статики не совместим с интервалом. Тут без вариантов. Может только поможет проксирование, о котором говорил Stek, но я пока о таком ничего не знаю.

 div
S_Flash писал:

ну во-первых там есть всякие rsyncd и прочие. во-вторых лучше в таком случае настроить тумбообновлялку чтоб она записывала локально + на удаленный по NFS. а в третьих - добро пожаловать в мир репликации данных, где всё отваливается, тормозит, падает и сплошные законы мёрфи. даже oracle этим постоянно грешит.

но грамотно настроенный фронтенд, как тебе уже советовали nginx, haproxy или даже апач, который возьмет запрашиваемую картинку локально а если такая картинка не найдена - с другого сервера, решает 99% таких неувязок.

 Stek
S_Flash писал:
А все просто, админов своих попроси сделать.

Грубо говоря в конфиг домена :
Код:

Если локально файл не найден, то будет попытка взять его с другого сервера. Тут можно еще и кеширование подключить по желанию.

 div
насчёт синхронизации картинок кстати когда-то решили вопросы банальной репликацией БД - картинки пишутся в BLOB'ы, реплицируются средствами БД а отдаются из прокси. типа squid наизнанку поставить или аналог. тогда в базу ничего особо не лазит и получается даже чуть быстрее чем с фс.

но главное чтоб у картинки был уникальный URL, т.е. например при изменениях обязательно ID менялся. иначе будет кеш отдаваться пока не проэкспайрится.

но это как раз хорошо для тумб. для HD-картинок и мувиков не сильно катит - великоваты.

 MaxGMG
S_Flash писал:
какие сервера... подключай cloudflare.com будет отдаватся вся статика с их серверов просто привязываешь домен на их ns сервера, там в админке указываешь ip своего сервера. вот и все. также у них можешь настроить куда больше разных опций, к примеру удобно блочить страны, ботов, много настроек. мы используем на куче сайтов и никаких проблем.

 DiamonD
ИМХО такие вопросы были актуальны лет 7 назад, на том же Опенере в Тае это тогда обсуждали.. Сейчас эра глобальных CDN, у каждых своя цена, качество, скорость.. Выбирай - не хочу.. Зачем изобретать велосипед, тратиться на железо и тд, когда по качеству и скорости это не сравнится один фиг с топовыми решениями.. Да и на каких каналах эта доморощенная CDN будет строиться? :-) На быстрых и дорогих? Что-то я сомневаюсь..

 S_Flash
Глобальный CDN не нужен.
Специально для реселлеров: У меня уже есть провайдер CDN! Если предложите бесплатное хранилище и трафик не выше $3 за мегабит, то подумаю о переходе!

 oldaser
S_Flash писал:

стукни сюда

 S_Flash
oldaser писал:

Ага и хранилище в виде сервака на шару с 10 Тб дисков. Не тратте время.

 Salis
Самый простой вариант nginx + прокси до "мастер" сервера (где хранятся тумбы) и настроить кеширование! в nginx, чтобы он за каждой тумбой на мастер не лазил (а только 1 раз и потом хранил копию в локальном кеше нужное время), главное размер кеша чтобы соответствовал размеру всех тумб.

Для балансировки подойдет две А записи в днс для домена картинок.

 oldaser
S_Flash писал:
Наверное для кого-то решение "синхронизировать и регулировать отдачу контента на 2х серверах" будет лучше чем решение "cdn от edgecast в комплекте с бесплатным data storage".
Но это не наш случай. Наши клиенты получают второй вариант, причем по очень конкурентным ценам.
Кстати, написать в сапорт и получить ответы на интересующие вопросы не занимает много времени. Так же как и переключение на CDN обычно происходит быстро.
К тому же, всегда есть возможность попробовать бесплатно - вся информация есть на сайте.

 Born Leader
MaxGMG: а можно по подробнее про cloudflare.com ? У них написано что и на бесплатном тарифе статика с них пойдет, как такое возможно?


We never charge for bandwidth

CloudFlare will never bill you for bandwidth usage. We believe if your site suddenly gets popular or suffers an attack, you shouldn't have to dread your bandwidth bill.

 S_Flash
oldaser писал:

Именно тиак и есть, CDN не подходит под данное решение.

 MaxGMG
Born Leader писал:
ставь фришный тариф все ок сами используем никаких проблем нет, прикол в том что если тебе понадобится к примеру ддос защита или дополнительные возможности которых там много очень то это все платно, но все равно дешево

 kit
Я бы хранил контент на одном большом сторадже и воспользовался услугой стороннего CDN проекта.

 S_Flash
Зачем нужны лишние расходы на CDN, если там трафа пшик и контента на 1TB?
При этом у меня полупустой сервер простаивает. При этом основная цель - продублировать статику для бэкапа.

Тест CDN не дал никаких положительных результатов, только увеличил расходы.

 fish_ka


если цель бекап - то обычный рсинк - по нфс справится легко

если отдавать тумбы - то можно на "говне и палках" сделать так что один серв будет отдавать 2гбпс в пике - просто сервер должен быть соответсвующий и решение по кешированию тумб в память

 DiamonD
S_Flash писал:

Да хоть 72 тера тебе дам бесплатно, зависит от того, сколько у тебя траффика, если 10 мегабит, то и связываться не буду, а если от 1000, то подумаю.. И траффик сделаю по $3, причем от провайдера, который по качеству и скорости входит в ТОП3 в мире.. Описал бы сперва свои потребности четко, прежде чем других просить не тратить время..