Как ускорить dtr ?

Тема: Как ускорить dtr ?

цитата
11/05/12 в 19:08

Woland
Вобщем грабится много ниш, стоит в настройках Period of grabing (in sec): 30 секунд.
Медленно, блять! В мануале написано про 10-20 секунд, но я так понимаю этой надписи много лет и писана она из расчёта серваков 2007 года ... А у меня там дура с вагоном памяти и не нагруженная ваще ... Кто-то пробовал ставить скажем 10 секунд при грабинге тумб и сохранении на локальном серваке ?

Попробовать мона, но я просто помню при перегрузе грабер допускал какие-то недорезанные-недокачанные картинки, кусками - не хочеца сидеть и чекать, нормальные там пиксы или нет рубает ...

цитата
11/05/12 в 19:35

Semen_ssr
не по теме влезу, я так понимаю проект не развивается, и саппорта нет?

цитата
11/05/12 в 19:40

Woland
Саппорт был вчера вечером, а развивать надо только то, что плохо работает - а дтр, блеать, это как в 9-й роте, красота и ничего лишнего

цитата
11/05/12 в 19:44

Semen_ssr
Woland: а, ну ок, по сабжу я не знаю, просто ДТР решил заюзать дето , лень в асю стучать, хороших людей от работы отвлекать

цитата
11/05/12 в 20:09

Lexikon
я ставил 10-15, но тумбы у меня грабились на сервак под статику.
При большом количестве тумб, была проблема, нехватало какой то памяти, та которая в апаче регулируется, непомню как она завется

.
И вот когда ее нехватало вылетала ошибка при попытке зайти в "Testable galleries" но как только по просьбе, этот лимит увеличивали ошибка исчезала, у меня так было пару раз, подняли память до 120 или что то там в этом районе и проблем небыло.
НО
я на данный момент особо скрипт не загружаю, ну и сам сервак подзагружен.

А вобще небольшие доработки в ДТРе были бы не лишнии, а что то глобально менять нах ненужно.

цитата
11/05/12 в 20:44

Woland
Цитата:

нехватало какой то памяти, та которая в апаче регулируется, непомню как она завется

Памяти нехватало выделенной для php, memory_limit

Поставил 10 секунд, но всё равно медленно чё-та ...

цитата
12/05/12 в 18:15

Woland
Короче ...
Рядом с файлом /dtr/cron.php создаём (с аналогичным овнером и правами) файл dtr/fastgraber.php с кодом:

Код:

<?php
require("./admin/config.php");
require_once($setup['files_path']."admin/fun.inc.php");
$graber_time = FileReadLine($setup['files_path']."data/grabertime.dat");
FileWrite($setup['files_path']."data/grabertime.dat",mktime());
include("parser.php");
include("graber.php");
?>

Где-то на сервере создаём файл крона fastdtr.sh с кодом (как видно первая строка тут обычный крон и отдельно его прописывать НЕ надо):

Код:

#!/bin/sh
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q cron.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php
cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php

и в крон на сервере суём вызов этого файла раз в минуту:

Код:

* * * * * /bin/sh /home/user/cronfiles/fastdtr.sh

после чего скорость грабинга dtr на мощном серваке возрастает на 600-1000%

Прирост и нагрузку регулируем числом строк fastgraber.php, но больше 10 раз он всё равно выполница никак не успевает, так что регулируем в диапазоне 1-9 строк.

p.s. Ясное дело всю эту хуйню вы делаете на свой страх и риск, т.е. это я придумал и джой этого пока не видел

Последний раз редактировалось: Woland (12/05/12 в 22:56), всего редактировалось 1 раз

цитата
12/05/12 в 22:34

nosf
Прикольно, иногда нужно быстро сграбить пару к галер )
Спасибо

цитата
12/05/12 в 22:38

Semen_ssr
ого!

цитата
13/05/12 в 21:53

Woland
Рано я обрадовался

Лучше больше 3-4 строк не прописывать, иначе возникает такой момент - галера от одной ниши, а тумбы - явно от другой

Например у меня в big tits тумба от gay вылезла

Чё-то там короче накладывается при ускоренном грабинге, оставил 4 строки вместо 10-ти, завтра может у джоя чё выясню ...

цитата
13/05/12 в 22:29

Babloman
Оффтоп, но не обессудьте..
В ДТР не появилась возможность реализации наполнения нескольких доменов из 1 админки. Чтобы при добавлении на 1 грабилось на все сж в нише?

цитата
13/05/12 в 22:51

Woland
Не появилось

цитата
14/05/12 в 18:22

leotraff
Woland писал:

Рано я обрадовался

Например у меня в big tits тумба от gay вылезла

член в жопе среди сисек легко увеличивает продуктивность сиджа))))

цитата
14/05/12 в 21:12

Woland
leotraff писал:

член в жопе среди сисек легко увеличивает продуктивность сиджа))))

Я не думаю, что JasonX серфит по моим сиджам

цитата
02/06/12 в 20:48

Dark404
а я просто пишу такой крон:

*/1 * * * * cd /var/www/domains/domain.com/dtr/;
/usr/bin/php -q cron.php; /bin/sleep 10;
/usr/bin/php -q cron.php; /bin/sleep 10;
/usr/bin/php -q cron.php

ставлю в настройках
Rerank time (in sec): 10
Period of grabing (in sec): 10

и дтр грабит в 3 раза быстрее. больше строк добавлять не стоит - будет глючить.

цитата
02/06/12 в 21:26

Woland
Dark404: Если у тебя одна группа в принципе не вопрос, но если групп много - каждый крон делает реранк, т.е. пересчитывает статсу и перегенеривает резалты и это нагрузка на сервак и риск глюка в файле базы какой-то группы или групп.

Кстати позже, когда я обсуждал это с джоем он ещё вот более просто вариант предложил, лог:

Код:

5/12/2012 22:04:30, Joy
по граберу, можно попробывать подправить cron.php, вместо одного инклюда
include("graber.php");
использовать несколько, чередуя с командой - sleep(10);
т.е.
include("graber.php");sleep(10);include("graber.php");sleep(10);include("graber.php");
таким образом при вызове крона, грабер отработает три раза.

по сути это те же яйца, что в моём случае, просто вызов грабера производится в одном кроне сразу.

цитата
02/06/12 в 21:33

Vyacheslav
Не мучайте ДТР! Скрипт моей молодости, а до сих пор работает как часы.

Вот бы ещё он умел генерить туб галереи из FLV дампов.

цитата
02/06/12 в 21:40

Woland
Vyacheslav: Мы не мучаем, просто я, случайно, сделал на дтре мультинишевые сиджы на 130 ниш. Всё бы заебись, но грабил он у меня по 1 гале в минуту ... 130 ниш по 200 тумб на морде = 26000 минут на заполнение сиджа, что равно 18 суткам

С ускорением он сграбил за пару дней.

цитата
02/06/12 в 21:59

Lexikon
Vyacheslav писал:

Не мучайте ДТР! Скрипт моей молодости, а до сих пор работает как часы.

Вот бы ещё он умел генерить туб галереи из FLV дампов.

Немного поизвращался, сделал скриптик который сам это всё генерит и ничего

теперь делаю сиджитьюбы на дтр+кристал

Новая тема Ответить

Эта страница в полной версии