jackbrown
Уважаемые вебмастера,
пришло время объяснить, что случилось с моим проектом. Никогда не думал, что такое вообще может случиться.
Начну с самого начала. Разработка Protraffic задумывалась и начала реализовываться командой разработчиков в Риге еще до момента запуска ТХ. Т.к. проект изначально задумывался весьма сложным, команда столкнулась с техническими проблемами при его программировании. В 2007 года мы начали сотрудничать с очень хорошим специалистом из России, который уже как два года проживает на ПМЖ в Праге. Пожалуй лучшего спеца я в своей жизни не встречал. Мы решили все наши технические проблемы и запустили проект в конце 2008 года. Было решено команду в Риге ликвидировать и я отдал всю техническую работу данному специалисту. Он неоднократно приезжал в Ригу,я не однократно приезжал в Прагу. Работы велись успешно, проект развивался и рос намного быстрее конкурентов. Я полностью доверял этому специалисту и мы с ним договорились что он имеет долю в проекте. Он также набрал кодеров в Праге, нашел хостинг, вообщем контролировал всю техническую часть проекта полностью, а я особо не совался в его дела т.к. занимался всем остальным.
За прошлый год развития проекта мы сделали оборот под 6 миллионов долларов. К концу 2009 года нами был подготовлен очень большой апгрейд, который включал в себя изменение системы биллинга и кучу уникальных опций. Все шло довольно успешно, все были довольны. Хочу отметить что 2009 год до декабря месяца проект работал с пониженной коммисией. Некоторые вебмастера получали 99% постоянно.
В начале 2009 года, я заметил нехвадку средств на счетах системы, я заподозрил было что в системе биллинга был баг. Был отправлен запрос в тех. отдел, на что пришел ответ, что это просто невозможно и это программно контролируется. Я также знал, что почти весь 2009 год мы работали по сути в небольшой минус, нас также атаковали серьезно несколько раз, и в одно время были заблокированы все наши счета в епасспорте + нам прислали и вывели кучу ворованного епасса и немного ворованного пейпала, мы потеряли на этот около 80к долларов. Данную проблему мы тогда решили введя ферефикацию, которая свела фрод в системе до нуля. К тому же мы опаздывали с апдейтом, который хотелось ввести как можно скорее. Следует сказать что в первоначальной версии, при создании кампании на покупку, деньги сразу списывались с баланса и их было невозможно использовать далее, т.е. по сути деньги из баланса переходили в кампании, если кампания удалялась, то деньги возвращались обратно на баланс. Это очень затрудняло контроль балансов юзеров.
Вообщем тогда этот вопрос изза всех этих обстоятельств затих, я решил дождаться апдейта, а потом уже разбираться. Отношения с главным разработчиком были хорошими, ничто не предвещало беды.
21 февраля (вечером) все готово к апдейту, я получаю звонок от главного разработчика, что мы начинаем апдейт и через 12 часов все будет готово, он выставляет заглушку. Я говорю ОК. Еще раз хочу сказать, что компетентность человека, никогда не вызывала сомнений или недоверия.
22 февраля в 3 часа дня заглушка все еще стоит, я начинаю звонить Андрею (так зовут человека, с которым мы все это делали) - телефон отключен. В скайпе/аське тоже ответа нет. Так прошел день.
23 февраля я продолжаю названивать и писать разработчику, на что получаю ответ - вот вот все будет готово. Далее я начинаю получать сообщения, что трафик льется на кампании некоторых товарищей не по указанному форсу (переливается), я прошу разработчика остановить трафик данных кампаний:
fish_ka (16:09:41 23/02/2010)
че за идиотизм если нельзя стопнуть подлив счас
[23-Feb-10 20:35:49] Andrey: выставил
Так проходит еще один день.
24 февраля все еще заглушка, . Связи с разработчиком нету, телефон отключен. Я уже начинаю психовать, я не спал не ел два дня.
[24-Feb-10 01:55:21] я : надо что-то решать Андрей, скоро заканчивается 23
[24-Feb-10 01:55:55] Andrey: сегодня поднимем, я уже стату за 23 пофигачил, сейчас восстанавливаю..
+мне опять пишут клиенты, что трафик не остановлен и переливается. Я еще раз прошу остановить, получаю ответ что "готово". Я также узнаю в чем проблема с переездом. Мне обещано что все будет нормально, и вот-вот все будет готово.
[24-Feb-10 04:13:12] Andrey: кеш, в течении пары часов все подниму. просто потом накатывать старую стату на новую версию - реально сложно, поэтому я потыкаюсь еще немного. В любом случае в течении пары часов все подниму, если без статы за 23, значит без нее. Если получится с ней, то с ней.
далее связи нет, телефон отключен. Так прошел еще один день.
25-26 февраля. ответа нет, но разработчик также общается с мои суппортом и ему пару раз ответил что тоже уже почти все готово.
27 февраля. Я получаю доступ в админку системы. Вылезает куча проблем в ротации баннеров и ИМ рекламы + много мелких багов.
28 февраля. Сайт открывается для публики. Мы боремся с ротацией + кучей багов. (надо сказать что новая версия тестировалась и проверялась на дев сервере, никаких багов в ней не было и даже намека на возникшие проблемы тоже не было).
1-4 марта мы боремся с багами. Пару раз созваниваемся, разработчик говорит что все баги связаны с кривым переездом на новую версию. БД засвопилась и там крутилась одна транза которую нельзя было убить. Вообщем я получаю внятное еще раз объяснение в чем была проблема. Мы ликвидируем один злой баг который писал значения в рандомные таблицы (изза чего подглючивало очень многое).
тут внимание!
Также я начинаю проверку финансовой статистики и нахожу несоответствие статистики на $500,000.00 В голову начинаю лезть плохие мысли. Если кратко, то раньше деньги на акках хранились в компаниях + на балансе юзера + на балансе заработка трафика + на балансе заработка рекламы + реферальные деньги. Отследить баланс системы в целом было весьма сложно, такой статистики у нас не было (все тестировалось очень серьезно в несколько кругов и работало с виду идеально). В новой системы был один единый баланс, откуда в реальном времени списывались деньги по мере получения трафика/рекламы. Отследить баланс всей системы элементарно, чем я и занялся, как только появилась возможность.
Но что я обнаружил повергло меня в глубочайший шок. Буквально сумма уже выведенных денег и остаток на балансах был больше чем денег введенных системой. Признаться я начал подозревать всех и вся, за 10 минут скурил пачку сигарет (хотя бросил курить 5 лет назад). Сложно передать те ощущения, которые я пережил в этот момент. Я следил за статистикой системы и знал что данная статистика является верной, т.к. отчеты по введенным/выведенным деньгам я делал лично. Разработчику я решил все сказать при личной встрече. После того как мы поднялись, изза паники, деньги решили вывести практически все. Я решил выплаты прекратить пока не поговорю лично с разработчиком о проблеме с балансами.
5 марта. начинает падать сайт изза рекурсии, которая ложил апач. Продолжается баг фиксинг.
6 марта. Я уже похудел на 4кг, сплю по 4 часа в день. Я сообщаю что прилечу завтра:
[06-Mar-10 03:18:47] я: я наверное в вскр прилечу
[06-Mar-10 03:19:19] Andrey: у меня температура 38, да и еще по сайту не все сделано как ты видишь
Однако после разговора с разработчиком было решено перенести встречу на пару дней пока мы все мелочь не дофиксим, и не будут устранены падения сайта и не дофикшены баги. Я взял билет в прагу на 9 марта, что порешить что делать дальше.
=======
RIGA AIRPORT OK 0881 Q 09MAR 1515 QSKYLV 20K OK
PRAGUE ARRIVAL TIME: 1600
TERMINAL:2
PRAGUE OK 0880 Q 12MAR 1140 QSKYLV 12MAR 20K OK
TERMINAL:2
RIGA AIRPORT ARRIVAL TIME: 1430
==========
7-8 марта. падения сайта продолжались. багфиксинг тоже.
[07-Mar-10 02:35:05] я.: блин ну что же за напасть, почему так долго лежим?
[07-Mar-10 05:23:11] Andrey: почти сделал, больше не будет падать
[07-Mar-10 05:23:22] Andrey: еще часок надо и с падениями все.
9 марта. опять падает сайт. телефон отключен. Потом я получаю следующее сообщение:
[09-Mar-10 03:54:01] Andrey: бля, у меня маманька в больницу попала, я через 3 часа на самолет, буду сегодня завтра рано утром
телефон отключен, связи нет. Я отменил свой вылет в Прагу. Хочу отметить что, нормального общения не было все это время. Я получал ответы раз в 3 часа в лучшем случае. В это время ложится сайт. Т.к. у меня доступов нет, лично я ничего сделать не мог. Паника продолжалась.
10 Марта.
[10-Mar-10 00:01:03] я: САЙТ ЛЕЖИТ
[10-Mar-10 00:05:39] я: АНДРЕЙ
[10-Mar-10 00:18:21] я: АНДРЕЙ!!!!! ЧТО ТАКОЕ?
признаться нервы у меня уже сдали тогда окончательно... я уже пригрозил разработчику что найду его и его родных с ФСБ из под земли.
на что через 4 часа получаю ответ:
[10-Mar-10 05:47:03] Andrey: ок, кеша.
[10-Mar-10 05:47:47] Andrey: 25 числа приезжай в Прагу, раньше иди на хуй
[10-Mar-10 05:50:10] Andrey: по сайту - иди на хуй
[10-Mar-10 05:50:16] Andrey: ещ0е вопрос ыф- иди на хуй
после чего я смог дозвонить до человека и я узнаю что у матери серьезная проблема со здоровьем и нужна срочная операция пока есть страховка или в Бельгии или в США, и что Андрей как единственный человек который говорит на английском и у кого есть шенгенская виза будет всем всем заниматься. Я прошу купить отдельную симку, определить часы когда мы можем общаться, выдать мне доступы на сервера, чтобы я мог подключить кого-то еще на багфиксинг. Ничего не случилось, редкие ответы не несли в себе много смысла. Я перенес вылет в Прагу на 25 марта.
======
CZECH AIRLINES CSA - OK 881
THU 25MAR RIGA LV PRAGUE CZ 1515 1600
NON STOP RIGA INTL RUZYNE
EQUIPMENT:BOEING 737-500
RESERVATION CONFIRMED - Q ECONOMY
PRAGUE AIRPORT TRANSFERS, SIGHTSEEING TOURS & THEATRE TICKETS
EASY ONLINE BOOKING: SAVE TIME & MONEY. SECURE YOUR RESERVATIONS NOW
CZECH AIRLINES CSA - OK 880
SUN 28MAR PRAGUE CZ RIGA LV 1140 1430
NON STOP RUZYNE RIGA INTL
EQUIPMENT:BOEING 737-500
RESERVATION CONFIRMED - Q ECONOMY
======
Баги и глюки спадали на нет, но все еще серьезно мешали работе.
Признаться человеку я доверял настолько, что не исходников самого проекта не доступов никогда не просил, т.к. они мне в принципе не были нужны и 2,5 года мы с ним работали в нормально режиме.
11 марта. опять упал сайт, проблема одна и та же - рекурсия. в этот день я получил всего два ответа. Разработчик продолжал фиксить баги. Финансовый вопрос был в подвешенном состоянии, но говорить о нем с разработчиком не вживую я не хотел ибо сумма ни много ни мало 500к долларов, и в голову лезли плохие мысли.
12 марта. опять упал сайт. через 4 часа поднялся. Днем мне звонит суппорт, который делает выплаты и говорит, что на нашем пейпал счете кто-то сменил пароль. Т.к. никто его сменить не мог кроме разработчика (на кого он и был оформлен), то в голову опять полезли плохие мысли, я отдал команду сменить везде пароли.
13 марта. ответов не было. у меня не доступов, ни связи и только злые вебмастера, которые тоже нихрена не понимают, как такая успешная система могла так загнуться.
14 марта. я каждый день пытаюсь выпросить встречу с разработчиком чтобы я смог начать поддерживать проект и решаться вопросы. Постоянно звоню Андрею, труба отключена. Где он - непонятно. Утром получаю сообщение.
[14-Mar-10 08:17:20] Andrey: я онлайн, сейчас только в Питер прилетел, Кеш, с чего Вы это с Вовой решили что я боюсь встречи, от тебя кстати это мысль тоже проскакивала - из серии не бойся меня и т.п., похоже у Вас там мозги совсем вскипели. Сейчас я здремну немногои позвоню через 4 часа примерно, ты как раз проснешься.
Ты пониимаешь что мне сейчас не до встреч? надо сейчас со страховкой разобраться. и по возможности максимально быстро договорится об операции, если получится хочу сделать это завтра-послезавтра. Ты вот говоришь о встрече. где? я вот согодня хочу говорить о стразховке, если получится то вечером уеду в брюсель, если нет - то завтра, хрен знает что будет там, если повезет за день разобраться, то свалю за маманькой, если нет - буду там дальше пробивать вопрос. Я без поняти про свои планы.
14-19 марта. Злые проблемы с багами продолжаются. Также продолжается багфиксинг, технические проблемы начинают спадать. Просьбы о встрече в любой точке земли ответа не находят. Разработчик отвечает только на тех. вопросы. Труба отключена постоянно.
20-24 марта. пишу без ответов.
25 марта я получаю звонок чтобы я прилетал в Брюссель 27 марта.
далее получае следующее сообщение:
[26-Mar-10 05:24:36] Andrey: Кеш, пока мы с тобой не разберемся в ситуации, благо уже 2 дня, я тут исходники закрыл от самого себя до конца следующей недели, так что пока апдейтов не будет.
На встрече с разработчиком я рассказал о дыре в 500к долларов. У меня были подозрения на некоторые сложные элементы в реализации скидок. Мы договорились о том на каких условиях мы работаем дальше и что я получу доступы и смогу подключить команду, которая сможет поддерживать проект, а также ряд других нюансов, которые привели к данной ситуации.
Мы ввели новую дополнительную статистику, доп. проверку балансов чтобы проблема точно не повторилась. Я убедился, что в новой системе данной проблемы нет и что статистика там пишется нормально и правильно.
5-7 апреля был восстановлен доступ до серверов, пофикшено пару багов. Р
8 апреля я получил доступ на сервер и подключаю счас новую команду кодеров. До этого момента главный разработчик всю неделю не уделял проекту все время, а уделял на сколько я понимаю столько времени, сколько мог или считал нужны (из телефонного разговора мне было сказано что у него счас проект не имеет самый важный приоритет).
Подытожу.
Я трафиком занимаюсь уже ОЧЕНЬ долгое время - 7 лет. За все это время я ни разу ни кого не кинул, не обманул. Никогда ни от кого не скрывался, все мои данные были открыты для публики. Признаться такой подставы я не ждал абсолютно. Я вложил все свои деньги уже в выплаты вебмастерам, АБСОЛЮТНО ВСЕ. Кто не верит - приезжайте в гости, посмотрите как я живу. Я видел несколько постов, типо продавайте свои верту, яхты, виллы и верните бабло - извините ребята ни яхты, не виллы ни Верту у меня нету (хожу с нокией N93i). За все это время существования проекта я купил одну недвижимость, через 4 месяца перепродал на 20к евро дороже и все бабло вложил в выплаты (на тот момент я еще не знал о проблеме в 500к) Наверное счас честно работать не в моде, думаю 99% овнеров на моем месте бы слились после такой ситуации.
Однако я тут.
Какой выход я вижу в данной ситуации - я собрал все бабло что у меня есть. Мы счас сделаем частичный холд денег у вебмастеров. Размер холда будет зависить от объемы работы с нашей системой, самые лояльные вебмастера будут захолжены по минимому который мы можем себе позволить чтобы делать выплаты моментально.
В завтрашнего дня мы вводим новый срок выплаты - 1 рабочий день (за исключением банковских платежей), чтобы не было сомнений что мы платим.
Холд будет размораживаться каждую неделю, в понедельник. Начиная с 19 апреля я планирую сделать скрипт, который почти весь наш доход будет списывать захолженные деньги.
отвечу сразу на вопрос, которые напрашиваются сами собой у многих.
1. как можно было проглядеть дыру в 500к?
в старой версии деньги хранились в кампаниях, на балансе юзера, в запросах на вывод, в балансе продажи трафика, в балансе продажи рекламы и реферальные деньги - отследить до момента как начали выводить слишком много бабла было не возможно. Помесячные отчеты о вводе/выводе не были подозрительными т.к. в общем выведенных денег было меньше введенных до февраля этого года.
2. Почему вы не одолжите денег и не вернете все вебмастеров, это наше бабло, верните немедленно.
Ведется несколько разговоров о финансировании, в течении апреля все будет ясно. Мы также собираемся запустить Протраффик на специализированных рынках, все доходы пойдут на покрытие холда.
3. Чем вы теперь отличаетесь от фета?
мы захолдили далеко не все средства. Выплаты далее будут каждый день. Будем судить по делам. Я сдаваться не буду
4. На какой период вы рассчитываете когда все деньги будут возвращены?
Идеальный вариант - 10 месяцев. По мере восстановления проекта мы будем соответсвенно разхолживать как можно больше средств.
5. Почему вы столько раз проебывали сроки данные в топике?
К сожалению это зависиле не от меня, и я делаю сейчас все чтобы это зависило от меня или от людей, которые работают на территории моей страны. Приношу свои извинения перед вебмастерами которые понесли потери изза Протраффик.
Какие выводы мы сделали из этой говяной ситуации.
-никакого фриланса/аутсорсинга
-проект не будет держаться только на одном человеке
-подключена новая команда кодеров
-введен доп. контроль за финансами
-проверено, что данной проблемы больше нет и повториться она не может
-выплаты каждый день
От себя я хочу попросить лояльных нам вебмастеров вернуть трафик в систему/начать с нами активно работать. Системы работает стабильно за исключением нескольких моментов не особо влияющих на стабильность работы или фин. статистику. Я знаю будут личности кто мне не поверит, топ вебмастерам готов предоставить все логи по запросу (в разумных пределах). Чем быстрее мы восстановим прежние объемы тем быстрее все деньги с холда будут сняты.
Господа, моя совесть чиста, я никого не разводил и не собирался разводить. Я положил на этот проект 4 года, и вложил в него кучу бабла. Что вышло мы теперь знаем, но сам проект может принести в разы больше. Некоторые отдельные товарищи зарабатали на нас больше 600к долларов, надеюсь заработают еще больше. За всем вышесказанным могу подписаться кровью - это абсолютно чистая правда, и я сделаю все чтобы исправить ситуацию.
Также хочу поблагодорить тех вебмастеров, кто меня поддерживал в трудную минуту, большое вам спасибо. Со мной остались почти все мои большие клиенты не смотря на холд. Со многими я встречался лично, они точно знают что я бы никогда ни украл ни у кого и доллара.