Новая тема   Ответить

 Inquisitor*
Оффтопик: поржал

 vaal
От себя добавлю, что хотел бы :
1) иметь возможность заливать сграбленные тумбы на нужный фтп . Обычно это сервер под статику.
2) автоматически разбивать их по нужному количеству в папке. Ибо 30 к тумб в 1й папке сильно грузят сервер. Я сейчас разбиваю их по 1000 в одной папке.

1 и 2 пока делаю через доп скрипты.

 Woland
vaal: grabber setup, поля

Method of saving:
FTP server address:
FTP server port:
Username:
Password:

По второму вопросу 30к тумб в ротаторе, который юзает свою, файловую, простенькую базу - это, имхо, нихуясебе риск ... Если конечно у тебя не 30 групп.

 vaal
Woland писал:
По первому вопросу-точно, в 2.2 это есть. У меня -2.1 просто.

По второму вопросу:
Схема работы -3 группы. В основной, что показываеться дрону, колво объектов=колву показочных мест. То есть, порядка до 200. Во второй, в которой храняться допоказовые тумбы, там -да, храниться 30к+. В третьей , куда уходят плохие, то же накапливаеться большое кол-во тумб.
Я ж выше писал, что у меня имееться отдельный дтр, в котором происходит грабление тумб, а на каждый из сж ниши я скриптом раскидываю новые тумбы из этой выделенной базы.

Ты имел в виду нагрузку на сервак, при пересчете CTR при реранке? Или возможность ошибки при записи в файл -> база наебнеться?

 Woland
Цитата: Скорее второе, был у меня раз печальный опыт с большим к-вом строк в базе дтр, после которого я зарёкся держать в одной группе много галер-тумб. Я не говорю, что дтр в этом плане ущербный, но файловая база она и есть файловая база, имхо, я б не рисковал.

 vaal
Woland писал:
Для начала у меня есть слитая база на локальном компе
10метров, примерно. одна. на 40 к тумб.
Кроме того, есть же бек апы раз в настроенное (24 часа у меня) время.

А сколько у тебя было объектов в том, печальном, случае?

 Woland
Цитата:
Честно - не помню. Но после этого чётко запомнил, что больше, чем 10к в группе - не надо делать никогда.


p.s. Правда дело было достаточно давно, на 2.1 еще, и с тех пор сервера неслабо по мощности и скорости вперёд шагнули.

Недавно я в спешке сунул на шмелиный пиксовый сидж все галеры, что у меня были, в грабер. Я не помню, сколько тумб было, но галер в базе там 6878 сейчас ... dtr не умер, но пару раз я джоя дёргал и памяти выделенной добавлял, чтобы их таки доротировать до выбора лучшей тумбы При этом сервак два камня, 16 гиг памяти, sas и т.д. из новых. Намеренно повторять такой "краштест" я бы не рекомендовал

 vaal
Woland писал:
Та ты используешь стандартную , одногруппную схему?
Если так, то представляю Сколько каждый раз при реранке происходит пересчет CTR