Новая тема   Ответить

 Lexikon
Есть несколько задач:
1. Ежесуточное формирование файла статистики.
2. Создание и добавление новости из файла дампа каждый час.
3. Каждые пять минут отслеживать некие изменения.
И тут задался вопросом, дергать каждую из этих функций отдельным кроном либо дергать кроном каждые 5 минут, а в зависимости от меток в отдельных файлах, запускать все остальное.

Т.е. к примеру в сутках 1440 минут или 288 раз по 5 минут и 12 раз в часе.
Соответственно в каждом файле после запуска уменьшать значение на единицу и когда = 0 тогда записывать в файл максимальное значение и запускать скрипт.

Подскажите, как лучше.

И если кол-во задач увеличиться до 10.

Спасибо!

 Ailk
использовать очереди собщений. RabbitMQ и совместно Celery, ну это продвинутый вариант.
Вариант попроще - Gearman

 fil
А если по старинке запускать кроном каждые 5 минут. Делать что надо. И в самом скрипте проверять, если минуты=0 - делать ежечасную работу, если часы=0 и минуты=0 - ежесуточную.

 rickdeckard
у вас же три задачи с разными промежутками времени
каждый день
каждый час
каждые пять минут

вот и поставьте на крон отдельные задачи и не забивайте голову ерундой.

 Stek
Поставить в крон задания и не ломать себе голову. Чем проще, тем надежнее.
По заданию в файл делай.

 Mika
Ailk писал:
Ставить под такую задачу RabbitMQ с Celery - это извращение покруче стрельбы из пушки по воробьям.
+1 за повесить задания на крон.

Lexikon писал:
Ну а если хочется только один скрипт в крон добавить, то имхо проще для каждой задачи время последнего запуска сохранять.

 Ailk
Mika писал: Да ладно. Десяток кронов на сайт не изврат? А если сайтов не 1?

 w84me
анафига воротить комбайн, если крон создан под эти цели. и курл. или пых скрипт, который может дергать пачку сайтов...

речи по топ1млн алексы или какой хайлоад не было. кролик прям совсем перебор

 Ailk
Получится ровно тот же самый самописный комбайн(не всмысле доступного функционала, а по сложности). Не лучше ли использовать специально разработанный и предназначенный для этого инструмент с необходимым контролем выполнения задач? К тому же поддерживаемый со стороны. Плюс автоматом снимаются головняки с поддержанием актуальности самописной системы.

 Stek
celery стоит использовать если тебе в проекте нужно создавать очереди задач или подобное. Но использовать как крон -это действительно как по воробьям из пушки.

 Ailk
но он сам себя позиционирует как "умная замена крону".

 Stek
так я и не спорю, что экскаватор эффективнее лопаты. Но если надо ямки под саженцы рыть - то все таки лучше по старинке лопатой

 Ailk

 Mika
Ailk писал:
А celery y у тебя наверное волшебным образом мысли читает и делает все, о чем подумаешь?

Ailk писал:
Где? Смотрим http://www.celeryproject.org/
Цитата:
Т.е. если в проекте используется celery, то можно его и в качестве планировщика заданий использовать, но чисто в качестве замены крону - это изврат.

 Lexikon
Как только я начинаю считать себя охирительным программистом, вы начинаете говорить на непонятном мне языке и тут я понимаю, что нужно еще чуток подучиться
Решил дергать всё кроном и не ипать себе мозг
Всем спасибо!

 Ailk
Mika писал: Ващета крон и есть планировщик заданий

 Mika
И где я утверждал обратное?

 Ailk
а в чем смысл предложения тогда был? Можно использовать в качестве планировщика задач, но чисто в качестве замены планировщику задач - изврат

На любом сайте сложнее визитки можно найти применение очередей: массовая обработка контента(ресайз фоток, конверт видео, синонимайз и проч.), автопостинг, обработка и формирование статистики, учет(лайки, клики, просмотры), парсинг, мониторинг и т.д.
Конечно можно все это засунуть в 10 кронов. А можно красиво оформить в качестве отдельных воркеров и потом не плеваться от собственного говнокода.

 rickdeckard
> На любом сайте сложнее визитки можно найти применение очередей: массовая обработка контента(ресайз фоток, конверт видео, синонимайз и проч.), автопостинг, обработка и формирование статистики, учет(лайки, клики, просмотры), парсинг, мониторинг и т.д.

можно но не нужно.

часть из этих задач я делаю через крон, без всяких celery, rabbitmq и прочего.
просто обработка разбивается на файлы - в каждом файле содержится пачка заданий например. по крону каждую минуту запускается обработчик который обрабатывает (с блокировкой от повторного запуска).
работает даже на виртуалхостингах.