Новая тема   Ответить

 iRoot
Предлагаем услуги облачного хранилища данных, созданного по образу и подобию Amazon S3, поддерживается большая часть функций S3 API.
Цены в 3-4 раза ниже чем у ведущих облачных хранилищ.
Хранение данных: $0.06 за гигабайт/месяц
Передача данных: $0.04 за гигабайт исходящего трафика, входящий бесплатно.

http://www.s3for.me/promo/may.html

Сервера расположены в Европе. К оплате принимаем PayPal

 JM
К оплате тока пейпал?

 iRoot

Пока да, если нужно будет, подключим и другие сервисы, оставляйте отзывы/пожелания. PayPal покрывает сразу и кредитки, поэтому его подключили в первую очередь.

 paranoik.death
iRoot писал:
у меня пейпала нет, а вот epeyservices был бы очень даже кстати

 iRoot
paranoik.death писал:
ePayService выпускает Master Card карты, если у вас есть такая карта, то можете оплатить ePayService через PayPal
При оплате через PayPal есть 2 варианта:
"Pay with my PayPal account" - при наличии PayPal акканута
"Pay with a debit or credit card" - при отсутсвии аккаунта оплата напрямую картой, правда полей прийдется заполнять кучу, но возможность есть. Я лично так оплачивал картой Payoneer

 x123p
С запуском!!! Пишем скрипты для Бекапа и к вам.
Кстати может уже есть вами писанные скрипты, по бекапу конкретной папки? А может ещё и инкрементарному бекапу?

P.S. : на старый как 50 баксов кидаете? :-)

 iRoot
xp-ViT писал:
Спасибо, запустились уже давно, до этого не было менеджера по продвижению, только сейчас появился, сразу акцию предложил провести.
В разделе документации есть описание как настроить s3cmd, эта штука умеет загружать/скачивать и синхронизировать данные по подобию rsync, в двух словах чтобы синхронизировать локальную папку с хранилищем нужно запустить:
s3cmd sync /local/path/ s3://BUCKET_NAME/remote/path
Права доступа сохраняются в расширенных аттрибутах. Но есть большой минус - памяти жрет огромное количество, поскольку создает полностью локальный и удальенный список файлов, сравнивает их в памяти и потом разницу синхронизирует. На 800к файлов съедает около 2-ух Гб памяти.
В планах есть написание своего скрипта, но конкретных сроков нет.
Еще существует ограничение на максимальный размер файла в 2Гб, но его скоро не будет - сейчас завершаем работу над Multipart API, который позволит загружать файлы частями и ограничений не будет, хоть 10 Тб одним файлом грузите.
Сообщите свой email в ЛС, добавлю $50 на счет.

 Born Leader
как цдн можно использовать под отдачу видео?

 iRoot

Хранилище на распределено как CDN по миру, расположено в нескольких ДЦ, находящихся рядом. Но видео отдает без проблем, есть поддержка Partial Content, что делает возможным HTTP Live Streaming. Поддержки RTMP, псевдостриминга в данный момент нет.
Есть клиенты, которые используют хранилище именно для отдачи видео-контента.
Некоторые используют лишь как хранилище, подключая сверху еще и CDN чтобы увеличить скорость отдачи по всему миру.

 iRoot
Хотел обратить внимание что существует возможность подключить свой поддомен к хранилищу и обслуживать запросы напрямую с него.
Для этого нужно назвать корзину (bucket) точно так же как и поддомен, например sub.domain.com и в DNS прописать CNAME этого поддомена на rest.s3for.me
Это очень удобно, но мало кто этим пользуется, в документации в личном кабинете описано подробней.

 iRoot
Закончили работы по Multipart API, теперь можно загружать файлы практически любого размера частями.

Идут работа над собственной утилитой для работы с хранилищем на подобии s3cmd
Из особенностей:
- сама по размеру файла определяет как его загружать - обычным способом или частями
- при загрузке частаями если какая-либо из частей не загрузилась или контрольная сумма не совпала, то автоматически повоторяет загрузку
- умеет загружать потоки, т.е. можно создавать например резервные копии MySQL таким образом:
# mysqldump -u root -p --all-databases | gzip > s3for.me stream s3://bucket/dump.sql.gz
не создавая при этом дополнительной нагрузки на HDD, записывая файл сначала на него
- при синхронизации структуры каталогов не создает полное дерево в памяти, а лишь одну директорию, что сущесвенно уменьшает потребеление памяти
- синхронизация каталогов происходит в многопоточном режиме, что существенно ускоряет ее

Пока код сырой, в открытом доступе его нет, принимаем пожелания к функциональности.

 Stek
Как считается место, по пиковой занятости ?
Т.е. у меня есть бакап весом 1 гиг. Заливаю его к вам. Скажем через неделю мне надо его обновить, т.е. сначала заливаю новую копию, и потом уже удаляю старую.
Как будет расчитано в результате, 1 или 2 гигабайта ?

 iRoot
Stek: биллинг рассчитывает потребленные ресурсы и снимает деньги со счета раз в час, если в этот промежуток вы успели удалить файл, то он не будет засчитан вовсе. Все по честному на сколько это возможно.
Стоимость за час вычисляется так: $0.06 / (дней в месяце * 24)
Так что внутри системы используется цена за час в реальности, в отчетах за месяц уже будет отображено среднее значение использованных ресурсов.

 Franko
ну по идее биллинг должен возвратить деньги с предедущего часа, поскольку в последующий стало мешьше данных, разве не так? или за последующий час насчитать меньше, судя по формуле, я правильно понимаю?

 iRoot
Franko: не совсем - каждый час снимается плата в размере стоимости хранения данных за прошедший час, если при следующем запуске биллинга через час данных уже не будет, то оплата браться не будет.
Стоимость часа хранения одного гигабайта данных в этом месяце будет
$0.06 / (30*24) = $0.00008333333333
Конечно, не очень хорошо получается если пользователь загрузил данные в 59 минут, а с него взяли как за час, но тут уже чисто технические сложности. В отместку он их может удалить за минуту до наступления следующего часа и этот последний час будет бесплатным

 Franko
это и имелось ввиду, если я бекаплю 50гиг раз в двое суток, удаляя предедущий бекап после залития последующего, то один или два часа будет считаться за 100гиг, т.е применительно к деньгам 29суток по 50гиг + сутки за 100гиг.

Но есть вопрос что там вообще будет храниться?
Мы все знаем ситуации с файл хостингами и наездами на них, возможно кто-то будет юзать как ЦДН для стриминга голливудских мувиков и т.д.
Как это вообще регулируется, если вообще.
Остаться без бекапов, это всеравно что пойти на блядки без гондонов.

 iRoot
Franko: погрешность в +/- 1 час при расчетах присутствует, от этого к сожалению не уйти. Где-то будет насчитан лишний час, где-то на час меньше. Но обычно файлы только заливаются, удаляются редко - стоит оно дешево, а вдруг когда понадобится.
Еще по опыту хочу сказать что загружать/удалять постоянно по 50 гигабайт будет довольно проблематично, скорость загрузки будет порядка 2-6 мегабайт в секунду, это связано с тем что система распределенная и каждая порция данных должна быть записана надежно на несколько серверов одновременно чтобы данные были согласнованы. Лучше всего использовать инкрементные резервные копии, они гораздо меньше.
Все же основной упор при разработке системы был на быстрое чтение, а не на запись, поскольку применяется она в системах отдачи контента - тумб, картинок, документов и т.д. И использование этой системы как раз отменяет необходимость в частом резервном копировании, поскольку данные хранятся надежно одновременно на трех серверах в двух датацентрах.

По поводу того что там хранится - а там хранится очень много всего, иногда приходят жалобы от правообладателей, эти жалобы перенаправляются пользователям, которые залили данный контент с просьбой удалить, либо обоснованно опровергнуть жалобу. В крайнем случае корзина с этим контентом блокируется. Пока что пользователи сами все удаляли без вопросов.
Приоритетом всегда будет бесперибойная работа сервиса, поскольку сами там очень много чего храним и не в наших в первую очередь интересах чтобы работа прерывалась.

 iRoot
- Добавили новые сервера, увеличили емкость и скорость хранилища
- Увеличили совместимость с Amazon S3 API, добавили больше функций
- Появилась возможность размещать статические сайты так же как это позволяет делать Amazon S3, но поскольку сервера в Германии adult-сайты под ограничениями
- Идет работа над первым нормальным дизайном сайта, раньше все никак руки не доходили
- Закончилась промо-акция, теперь при регистрации не $50, а только $1 на счет, но для теста этого с головой должно хватить

В целом очень довольны выбранным подходом и архитектурой, работает очень здорово и предсказуемо, будем и дальше добавлять новую функциональность и расширять мощности по мере необходимости.