Новая тема   Ответить

 Alexandur
LemonS писал:
Я в другом ключе спрашивал, как разработчика, нельзя переделать скрипт так, чтобы не было необходимости каждую минуту дёргать?

Чтобы такое
Цитата:
пореже возникало, например.

 adminZ
если поставить например */5 * * * *
то крон запустится и на 00 и на 15 минуте.

 st01en
LemonS писал:

Это, простите, как? А что, таймауты уже отменили? И дисконнект по таймауту? А если отменили - маркер несграбленных тумб поставить, и грабить при след запуске? И вообще - может сначала проверить домен на живучесть, а потом пытаться грабить его? Взял список трейдеров - проверил домены - живые грабить, нэ?
А так же ограничить время работы rot.php + сделать хистори и бекапы не зависящими от конкретной минуты. Тайм-маркер поставить или запись в базу делать не понятную только Лимону, а например time(), при проверки записался бекап или хистори, не перебирать всю базу а извлечь последнюю запись и сравнить его с текущим временем, если разница больше установленного дли хистори или бекапа - создать новую запись, нэ?
А также проверить - существует ли вообще сидж и база, с которого был запущен скрипт. Не понятно? Объясняю - я удалил все смарты и все базы. Прибил все кроны смарта. Но как оказалось - не все. Два процесса rot.php висели еще двое суток и пытались что-то грабить для несуществующего сиджа в несуществующую базу
В принципе, мне все равно, я смарт не юзаю, но уж очень мне понравилось выражение Лимона - "у вас отсутствуют базовые знания"

 LemonS
gimcnuk: если в плане таймаутов - так стоит таймаут на 30 секунд для fsockopen, но при ресолвинге это почему то не везде одинаково работает. Надо переходить на curl везде, может поможет.

adminZ: это были примеры, какое то действие есть на каждую минуту.

st01en: агрессивно настроенным людям отвечать нет желания. Работа суппорта и так не сахар.

 Soft-Com
Вставлю свои 5 копеек.

Краткое отступление.
1. Лично у меня с Лемоном общение не сложилось, по этому далее идёт субъективная оценка влияния скрипта на работу сервера (- Лемону)

2. По отзывам клиентов аналогов скрипту нет (+ Лемону).

Тело

Скрипт реально грузит сервера, а отсутствие встроенного механизма блокировок дублей кронов это вообще пипец. То что в мануале расписано как "лекарство" - вынесение крона в отдельный файл - вообще никуда не годится - из-за тупняка одного (!!) крона или ротатора будут тупить все кроны. И это заставляет админов изобретать велосипед (админы a24x7support например целую систему балансировки выдумали, hint: man flock).

механизм работы скрипта с базой - совершенно не очевиден, рекомендации автора по поводу использования InnoDB (XtraDB, пох.) - действительно обоснованы:
Se/In/Up/De(: 34/12/43/01
(пример реального сервера с queries 37 kq/m)
но неочевидны, и на каждом сервере параметры подбираются эксклюзивно.

Вобщем, совет от админов админам - переход на xtradb и выполнение кронов с flock'ами. (Лемон может использовать совет бесплатно, че там.)

Кроме всего прочего, смартсидж требует под себя настройки мускля, которые не соответствуют оптимальной работе скажем СтримРотатора (Душику ++, кстати у него сейчас вышла новая версия пожатая ионкубом - на серверах без зендоптимайзера работает шустрее, это реклама.).

P.S.
АВМам, у кого сервера тупят(виснут,бутаются) - велкам к нам в аську/почту, поможем с настройкой/оптимизацией сервера. Для серверов на HQHost и Serverel(SGManaged) скидка на настройку/оптимизацию 20%.

P.P.S.
Можно долбить Душика, пусть дорабатывает скрипт до смартсиджа - болше скриптов хороших и разных.

 Soft-Com
Update
Справедливости ради стоить отметить, что тупить сервера с большим количеством смартсиджей начинают тогда, когда АВМ закидывает дофига галер (дофига - относительно мощей сервера). Тут еще стоит отметить, что надо смотреть в сторону настройки ImageMagick'а (в последних версиях сильно влияет накрутка тридов).
Т.е. варинат как в работе со Стримом не прокатит - закинуть туеву хучу галер, и всё будет ок.

Тут уже неизвестно кому + кому -, просто факт.

 Soft-Com
CreativeMotionArt писал:

Это для любого сервера справедливо - мускль отжирает память, тумбы - тоже (вернее кеш ФС), и как только мусклю начинает нехватать памяти - тумбы берутся не из кеша фс, а с винта, сервер дохнет - это очевидные вещи.

Статику и динамику нужно обязательно разносить, тем более сервера на 100ТБ сейчас копейки стоят, а настроить proxy cache/store уже пятикласники в состоянии(чтобы не использовать убогий функционал фтп-аплоада некоторых скриптов, не будем тыкать пальцами).

 Vyacheslav
Душик!
Не оставляй народ без выбора.

 Soft-Com
awm_mark писал:

Vyacheslav писал:

на самом деле у Марка есть сервера с 50+ смартсиджами (доменов больше), памяти 8 гиг.

 adminZ
50+ непоказатель без указания трафа на них и количества галь в базе.
например если база одного смартсж весит около 2Г, а их несколько, сервера постоянно колбасит даже с учетом того что mysql, скрипты и статика на трех отдельных серваках, причем не слабых, так же все оптимизировано (базы в иннодб, кроны с локами и тд)
Так что соглашусь с тем что количество галерей в базе очень сильно влияет на нагрузку.

 Alex AWM
Кстати, про любовь IM кушать cpu в кронах смарта я уже писал неоднократно (c рецептом как лечить).

С другой стороны -- к просьбам разрулить ситуацию с кронами присоединюсь: сделать опцию для "ежеминутного" крона (чтобы только считал трейды/ротацию). И с возможностью запуска грабберов, бекапов и прочего отдельно (и локи разруливать силами админских скриптов -- для тех кто хочет и умеет)

PS (шепотом) и mustache в шаблонах

 FreeNet
Хороший топик, так что прежде всего нужно сделать если по настройке сервера произведено максимум работ?
Чтобы на сервере с примерным конфигом Dual Intel Xeon 5620, 32GB RAM, 4x300GB SAS HDD и отдачей статики с другого сервера работало 40-50 копий smartcj с трафиком 300-400k равов(общим) с la в пределах 4
Очень плохо что нет разделение в ротаторе, допустим на пересчёт ctr, граб новых тумб, топлиста. Допустим даже как в KVS чтобы можно было задать что при la больше 10 новые тумбы для видео и топлиста не грабятся и трейдеры не чекаюся
Что считается большой базой, есть домены по которым размер достигает 150k галер?

 Jabar
Soft-Com писал:
а вот нифига не ок У меня на двух сиджиках (типа мультиниш, траф от 2к до 10к) - закинул кучу галер. Стрим их ротировал около полутора лет, так и неотротировал (галер с десяток только отротировал). Так и оставалась куча галер со всеми тумбами и весом бэкапа около 3Гб. И кстати во время создания этого бэкапа сервер (винты) напрягались адски часа на 2-3.

А лемона тоже прошу как то избавится от крона и перейти к выполнению заданий по мере надобности. У него все расчитано на идеальное выполнение кронов, но бывают сбои по разным причинам (пусть и не связанным непосредственно со смартом). И без лока кроны не запустишь - из-за серверных ошибок бывает своп из-за крона. И вся система получается несколько нестабильна. Но видимо это сложно в плане кодинга (надо будет разбирать старые куски кода и т.п. ).

st01en писал:
еще как паришся. Много чего перепробывал. Аналогов ротатору смарта сейчас просто нет. Стрим - жалкие потуги, больше заявок чем реализации. Видимо душику и так хорошо живется - занял определенную нишу и не парится.

FreeNet писал:
30копий , с трафиком около 120к, с ла в пределах 1-2 на Xeon 3220 2.4GHz Quad Core / 8GB / 2x500GB сата . Так что на твоей железяке и 100 копий можно пускать легко.

Кстати немного не понимаю, когда на железе абсолютно не экономят, и берут всякие там кучи винтов, супер процессоры, горы оперативки. Может гораздо эфективней в данном конкретном случае взять SSD исключительно для мускуля и ваще не парится с настройками?

 kort
Jabar писал:

Грузит сервер не крон, а скрипт который вызывается кроном в опр. время.

Jabar писал:

Ну ты молодец.