Новая тема   Ответить

 Retox
V.V.Pupkin: - Очень большая просьба - пусть биллиг vendo, снимет жесткий email фильтр. А то избирательно, мыла на самых популярных майловых сервисах пропускает, НО много различных адресов, блокирует, как не email.

В плане борьбы с фродом - это не спасает, так как именно мыла популярных сервисов продаются пачками, а вот добропорядочных мемберов с корпоративными и другими email серверами не пускает, на следующую страницу проводить платёж.
Или хотя бы пусть на 7 дней это сделают - уже увидите корреляцию сайнов, относительно средней. Ведь даже небольшой рост продаж, всем будет выгоден и билингу и AE и нам
V.V.Pupkin - можешь поставить это на контроль!

К примеру вбил 2 мыла наугад

 bubon
V.V.Pupkin писал:
Та ладно те Просто хотел еще пример тугооткрывающейся галерки запостить.

 Skyworker
V.V.Pupkin писал: Будем гундосить и дальше, чтобы ты со своей командой не расслаблялись

 Goodwin_a
уважаемый V.V.Pupkin когда вы разберетесь наконец с FHG? теперь выдает
404 Not Found nginx. вот вот, еще немного - реально надоело уже. неделю через пизду работает все. а может и больше, не смотрел раньше.

 posers
Все галеры лежат опять

 Goodwin_a
полистал топик. похоже это систематические проблемы и решатся они не будут.

 V.V.Pupkin
posers писал:

Да мы в курсе.

 V.V.Pupkin
Goodwin_a писал:

Угу. Нас опять наебали. Расходимся.

 V.V.Pupkin
Есть мнение, что нам ресетнули в датацентре не тот диск.
Ожидаем пересобирания массива еще раз.
Ожидаемый даунтайм галер еще около 2 часов.
Время сейчас не пиковое.
Пропавшие сайны мы компенсируем вебмастерам исходя из среднесуточной нормы.

 V.V.Pupkin
88%

 V.V.Pupkin
ребилд файловой системы

 V.V.Pupkin
сайны кстати удивительным образом продолжают поступать

 Goodwin_a
когда FHG то заработают?

 Skyworker
Ну, что, Пупкин, поговорил сам с собой? На всех галях ошибка 404, надеюсь увидеть сайны за простой

 V.V.Pupkin
Так докладываю.
Вчера как известно чинили фхг.
Отвалился диск из совсем нулёвого дедика вебазиллы, который пришел на замену парочке старых, с тоже вылетевшими рейдами и сетевухами.
На нем рейд 10, 6 дисков.
Для рейд 10 это не должно было быть проблемой выпадение 1 или 2 дисков.
Переставили диск в прошлый четверг.
Массив ребилдился до понедельника. До вчера то бишь.
Вчера был задан тикет - доколе.
Друзья из ДЦ рубанули ресет и ничего не вернулось из него обратно.
Предположительно вылетел еще один диск.
Массив пересобирали вчера весь день.
Сейчас массив вернулся, но проебалось куча данных, что для рейд 10 не должно было произойти.
Данные сейчас по террабитной сетке восстанавливаются из бэкапа, то что работает уже онлайн, остальное включается по мере заливки.
Есть вероятность что мы не сможем восстановить некоторые галеры за последние 30 дней.
Когда все что можем восстановим я сообщу.
Итого за прошедшие 4 месяца, мы потеряли 21 винт.
3 свитча.
7 серверов.
Ебаные зеленые леприконы портят наше железо.
На очереди замена железа под базу данных, так как там тоже проблема с рейдами.
Все прочие проблемы с галерами тоже были вызваны проблемами с массивами дисков.
В ВЗ наверное я оформлю претензию как минимум разделить нашу горечь, будет справедливо с их стороны. К их чести их админы ебашили все 24 часа и делали все что нужно, но хваленое брендовое железо конечно какое то говняное последнее время.

Мне очень жаль что такая хуйня происходит и я у всех прошу прощения.
Мне казалось что я сделал все что мог чтобы такого не происходило, но оно все равно происходит.
Можете конечно нас хоронить, но мы все равно все починим, и добьемся ебаных 1.5 секунды отдачи галер и прочих промо страниц.

Можно наверное много плохого сказать про меня и АЕ, но наверное никто не сможет сказать, что мы пасуем в трудных ситуациях и прячем голову в задницу.

За 12 лет в бизнесе мы вылезали из говна и похлеще.

 Goodwin_a
всеже когда ориентировочно должны заработать FHG? хотя бы примерно

 V.V.Pupkin
Goodwin_a писал:


Часть уже работает, часть восстанавливается.

https://galleries.adult-empire.com/9920/577202/1165/index.php

Сегодня все работы по восстановлению будут закончены, не уверен к сожалению, что это сразу решит ту проблему с деградацией отдачи с которой все началось.

Восстановим, займемся ею.

 Goodwin_a
бум надеяться на скорейшеее восстановление
Цитата:
да, видел что html грузится уже. правда пока без тумбов и фото

 V.V.Pupkin
Goodwin_a писал:

Залилось пока около 200 гиг из 2.4 Тб.
С утра.

 V.V.Pupkin
Retox писал:

Забыл на это ответить.
К сожалению я мало имею влияния на то, что делает у себя Вендо.
Мало того, проходимость и рейты там меня совсем не радуют.

Но больше не нашлось места в интернете готового принять всех этих монстров.

Поговорить в прочем попробую.

 Goodwin_a
V.V.Pupkin есть новости?

 V.V.Pupkin


Сейчас заканчивается полное восстановление галлери 2- козиххх, в ближайшие часы все будет онлайн.
Остальные две ноды еще заливаются из бэкапов.

Да медленнее чем должно быть, мы не знаем почему, надеемся не изза проблем с рейдами на бэкап хранилище. Льется, не трогаем.

П.С.
Удивительное дело что сайны просели гораздо меньше ожидаемого, всего на 25% от обычного числа.

Я уже думал будет все 85%.

 ivango
V.V.Pupkin писал:

Как я вас понимаю...
рад, что вы боретесь. Желаю удачи.

 Skyworker
V.V.Pupkin писал: Индюк тоже много думал, да в суп попал. Там у вас вообще порой не понять откуда сайны летят

 V.V.Pupkin
Итак что мы имеем на сегодня.

Взят новый дополнительный сервер + полностью переделаны конфиги нгинкс и пхп.
Контент полностью восстановлен из бэкапа и залит на продакшен сервера.
Просто так после восстановления контент не заводится, запущен специальный скрипт который допиливает имена файлов до рабочего состояния.

Соотв сейчас галеры появляются в след состояниях.
1. Рабочем.
https://galleries2.adult-empire.com/8556/377696/1165/
2. Будет доступно скоро. Выдается страница юзер не парься скоро все будет ок. Это значит что скрипт до нее еще не дошел, но в ближайшие часы дойдет.
https://galleries2.adult-empire.com/8406/466595/1/
3 Страница отсутствует.
Выдается надпись что галеры увы не будет, это будет означать что галера либо была удалена когда то по абузе, либо была проебана.
https://galleries2.adult-empire.com/9030/828940/1/

При проверке в основном мы к большому счастью имеем случи 1 и 2.
Случай 3, всех попросим проверить когда восстановление завершится. В связи с этим будет и рассылка.

Фтп на аплоуд пока выключен.
Он откроется тогда, когда восстановление будет сделано на 100% от возможного.

До конца недели все восстановление предполагаем завершить.

Время отклика галер на новом железе и конфигах пока, что имеет быть 137 милисекунд.
Будем наблюдать.