Новая тема   Ответить

 iRoot
Из-за большого числа тумб, fhg, видео, которое сложно хранить/резервировать на обычном сервере по началу использовали Amazon S3, все было классно пока счета не выросли существенно и пришлось искать альтернативу. Пока искали, нашли несколько сервисов с совместимым API, но цены были аналогичные Amzon, только у одного были ниже. Перешли на него, просто поменяв точку доступа и скопировав данные, но он тормозил и глючил постоянно.
Последней альтернативой была разработка своего сервиса, которую закончили недавно, данные перенесли, пока работает нормально. Свободного места и трафика полно, есть возможность поделиться, интересна ли такая штука кому-нибудь?

 iRoot
Перешли в стадию закрытого Beta-тестирования, раздаем всем доступы. Свои проекты в production уже давно, работает отлично. Получается гораздо дешевле чем на Amazon, API тот же, переход крайне простой. Скоро подключим billing и откроем свободную регистрацию. Кому интересно принять участие ссылка:
http://www.s3for.me
Если есть вопросы, задавайте.

 x123p
А надёжность? Зеркалируете, бекапируете? Хотя если честно и у амазона бывали косяки с потерей данных...

 iRoot
Данные автоматически сохраняются на 2 сервера в данный момент, в будущем будет как минимум 3. Все сервера равнозначны, при выходе из строя любого из серверов данные не теряются. В будущем когда их будет 3, выход из строя одновременно двух серверов одной шарды не приведет к потере данных, но они могут быть временно недоступны.
Не буду говорить что данные на 1000% в сохранности, лучше чем у Амазона, это не так, но делаем все чтобы данные не потерять, поскольку сами в этом прежде всего и заинтересованы - создавали под себя, храним там 800к файлов, если потерям можно сразу закрываться. В любом случае это гораздо надежней чем хранить все на одном сервере даже с RAID.

 Woland
Ну раз получается "дешевле", а не "даром" - переношу в рекламу

 iRoot
Woland: в данный момент именно даром, дешевле получается нам по себестоимости. В будущем если будет стабильный интерес, то за деньги.
P.S. Спасибо

 Woland
iRoot: Вернули обратно

 x123p
Расскажи плиз, можно в личку, как поучавствовать в Бета тестировании (бесплатно).

 iRoot
Как раз сегодня закончили форму регистрации (пока не тестировали достаточно хорошо ), она тут:
http://my.s3for.me/
Регистрируешься (заполняешь Email и Pass), подтверждаешь регистрацию по мылу и можно создавать buckets, генерировать ключи и заливать файлы, краткая документация там есть.
Пока все абсолютно бесплатно - биллинг не готов
Буду очень благодарен за вопросы/пожелания/критику и предложения.

 x123p
О класс, зарегался. А какие приблизительно цены вы планируете установить? Или это будет известно по результатам Беты?

Ну и опять техническо-параноидаольный вопрос: Сервера хранилки расположены рядом друг с другом?

 x123p
Ну и сразу вопрос предложение:
планируете ли вы выпустиь скрипты для вашего сервиса? Ну например на Баше скрипты бекапа под вас были бы интересны.

PS: Я работал с Амазон Апи но именно по причине их дороговизны отказались от них. Вот счас есть возсожность вернуться к старым проектам и доставть из СВН забытое

 iRoot
Цены будут начиная от $0.06 за гиг хранения и $0.04 за гиг трафика. Скидки возможны при объемах.
Да, сервера на данный момент все у Hetzner в одном ДЦ, так что если он ляжет то сидим ждем когда поднимится. Есть планы по установке реплик одной шарды в разных ДЦ, но это будет оправдано (для нас) только по достижении определенного объема.
В принципе для достижения высокой надежности можно создать функцию синхронизации с другим облачным сервисом. Получится что при добавлении/удалении объекта он автоматически будет и туда копироваться/удаляться. Это позволит быть уверенным практически на все 100 что данные не пропадут, а экономия на трафике будет существенной. Только что придумал :-)

 iRoot
xp-ViT: Да, такие планы есть, будет раздел документации где все это будет описано, она уже в самом минимальном виде готова и доступна в панели пользователя. Пока там только элементарный пример на PHP + Zend Framework и как подключиться при помощи Cyberduck.
В будущем планируем краткое руководство по s3cmd - как через консоль залить файлы, удалить, скачать, синхронизировать директорию по типу rsync + примеры скриптов на других языках.
В принципе, любой существующий программный продукт, который умеет S3 API можно использовать (а их целая куча), поэтому и взяли этот API за основу.

 x123p
Отличное начинание! Уважаю!!!

И всё же палю идею: Вам очень поможет в раскрутке наличие примеров или даже готовых скриптов для Dummies. Куда передал 2-3 параметра и всё бекапнулось по крону

PS: я к Дамми не отношусь. Я только начал вспоминать S3 и тестить ваш сервис.

 iRoot
Закончилось beta-тестирование, все обнаруженные ошибки исправили, перебоев в работе не было.
Один раз вылетал сервер, система его исключила из кластера, все продолжило работать.
Спасибо всем, кто принял участие! Работаем дальше.

xp-ViT: В документацию добавили примеры кода для PHP, Python, Java. Описание настройки консольных утилит s3cmd (для работы с файлами в корзине) и s3ql (для монтирования корзины как файловой системы через FUSE)