Новая тема   Ответить

 SpyCam
Алоха,
допустим, у меня около 1 ТБ фото контента, который я должен хранить у себя на случай, если сервер полетит и надо будет восстонавливать.

До сегодняшнего дня, я фотки архивировал на МАКС сжатии с 7zip. Несколько болших архивных файлов легче хранить, аплоудить, бекапить, да и места меньше занимает.
Потом ети 7zip архивы я хранил на двух разных жостких дисках, для большей безопастности...

Но вот вчера пришлось распаковывать несколько 7zip архивов и я сталкнулся с проблемой. Пара архивов выдали ошибки что часть фоток в них "corrupted".
Я чуть в штаны неналожил, ето были оригиналы фоток. Папробовал с другого диска, в который я иногда делаю синхронизацию данных. Проблема была та же. Потом подумал, и с компа (где Windows Vista x64) перешёл на Виндоз 8 x64 (7zip версии одинаковые там и там) и к моей радости, никаких проблем не было.

Это привело меня к мысли, что я наверное контент храню не правильно.

Как это делаете вы? Какие наилутшие варианты?

 SpyCam
Размер файлов едак 10-30гб
А что, у tar неможет быть похожых проблем?

 iRoot
Мы эту проблему решили иначе - вместо резервного копирования построили отказоустойчивое хранилище - несколько серверов с копией данных в разных ДЦ, причем все сервера участвуют в отдаче контена, т.е. мощности не простаивают.
Резервное копирование в принципе не подходит потому что данных столько что восстановление их из резервной копии займет больше суток, что очень долго. Рассказывал в другой теме про эту систему и предлагал если кому нужно: http://www.s3for.me/

 ^Krot
SpyCam писал:
Фотки сжимать архиватором, тем более с максимальной компрессией смысла не имеет т к они и так каждая по отдельности сжата форматом JPG, поэтому суммарный их размер от сжатия зипом существенно не уменьшится. Можно на нулевом уровне компрессии жать, работает очень быстро и результат тот же.

 Yacc
Если картинки в jpeg, то смысла их жать вообще нет. Сколько там экономия получается? 1-2%?

Amazon Glacier - месяц хранения 1TB обойдётся в 10$. Дешевле только даром, хранение того же терабайта в S3 или гугле будет стоить в 10 раз больше. Восстановление из Glacier тоже платное, но сама идея сервиса в том, что восстановление требуется редко.

Имхо это гораздо надёжней, чем домашний комп.

 roger.b
SpyCam писал:

Писали уже, что сжатые архивы могут распаковываться с ошибками.
Если не хочешь проблем - формируй архивы без сжатия.
Дели большой файл на мелкие части. И используй repair-программы для создания восстановительных блоков.
В том же winrar есть такая фича, - делишь большой файл на маленький, одновременно создаёшь восстановительные блоки. В дальнейшем если при распаковке какой-то из блоков будет повреждён, ты без труда сможешь восстановить его. Для каждого важного большого файла создавай hash-отпечаток, чтобы потом проще было понять поврежден он или нет. Ну и, конечно, обязательно шифруй. Не только 7z-ипом.

 SpyCam
Пока что, roger.b наиболее по теме мне ответил. Надо будет больше подумать над его подкинутой идеей.

А резервный бекап на серверном уровне и так делаеться, бекап сервер, в другом датацентре под это дело есть, там храниться все бекапы.
Ну и сам сервер, из которого бекапиться с RAID10, что само сабой предохраняет от потери данных если один винт улетит.

Бекапы на офисе/дома удобно, когда надо время от времени делать новыие галлеры, дизаины и т.д.