Новая тема   Ответить

 iGelius
Может быть угадал.
Там по несколько сотен неактивных трейдов, и часть их сайтов давно мертвы. Это только ручками чистить?
Есть пошаговый ман как апнуть 1.51 до 2.х?

 LemonS
iGelius: проще всего руками

скрипт перехода еще не готов, пока можно
1. поставить новую копию
2. на старом сделать export нужных данных а на новом import

 iGelius
Почистил трейды и отключил создание тумб для топа. Кроны продолжают виснуть. Как отключить проверку на бан слова? Что еще стоит отключить и где?

 LemonS
iGelius: в настройках античита можно отключить эти проверки

 iGelius
У меня автоантичит и так был отключен. Отключил еще и проверки.
================
Поставил 2.х на тест. Попробовал скормить большой дамп через rotation->sets. Результат идентичен версии 1.51. Как сделать?

 LemonS
iGelius: не ясно в чем именно вопрос, не описана проблема .

 iGelius
LemonS писал:

iGelius писал:
Вы вроде писали, что в 2.х может быть сколь угодно большой дамп.

 iGelius
Кроны продолжают виснуть. Что еще нужно отключить?

 LemonS
iGelius: да, можно , но в чем у вас вопрос вы так и не описали.

Можно посмотреть в логи в каком моменте у вас виснет.

 iGelius
LemonS писал:
Описал, вы просто не прочитали. Вот 2.1 и большой дамп:

Я конечно добавил, ради эксперимента. В течении нескольких часов ничего не сграбилось.
LemonS писал:
Если можно, напишите пожалуйста какой именно лог смотреть и что конкретно в нем искать. Чтобы можно было сделать "cat лог | grep запрос", а не просматривать все логи подряд в поисках неизвестно чего.

 LemonS
iGelius: cron.log - да, надо искать что было в тот момент когда какой-то из кронов засис по вашему мнению.

Условно сейчас 15.00 , вы видите что процесс работает уже 10 минут, смотрите в логе что было в 14.40-14.50

Что в логе rotation.log по поводу имопртсетов ?

 iGelius
LemonS писал:
В сутки виснут два-пять заданий. За сегодня, по точному времени зависания:
2016-11-05 03:43 Process data (0.0052018165588379, 0.0052018165588379)
2016-11-05 03:43 Process traders (0.0362548828125, 0.031053066253662)
2016-11-05 03:43 set_dynamic_skim (0.23801589012146, 0.20176100730896)
2016-11-05 03:43 forces (0.23931980133057, 0.0013039112091064)
2016-11-05 03:43 Calculate priority (0.23955202102661, 0.00023221969604492)
2016-11-05 03:43 Soft force (0.379234790802, 0.13968276977539)
2016-11-05 03:43 Write config (0.37948799133301, 0.00025320053100586)
2016-11-05 03:43 Anticheat check (0.4121789932251, 0.03269100189209)
==========================
2016-11-05 04:42 Process data (0.0045521259307861, 0.0045521259307861)
2016-11-05 04:42 Process traders (0.031408071517944, 0.026855945587158)
2016-11-05 04:42 set_dynamic_skim (0.27783703804016, 0.24642896652222)
2016-11-05 04:42 forces (0.27913403511047, 0.0012969970703125)
2016-11-05 04:42 Calculate priority (0.27934312820435, 0.00020909309387207)
2016-11-05 04:42 Soft force (0.49119901657104, 0.2118558883667)
2016-11-05 04:42 Write config (0.49144315719604, 0.000244140625)
2016-11-05 04:42 Anticheat check (0.53497099876404, 0.043527841567993)
=============================
2016-11-05 06:30 Process data (0.064343929290771, 0.064343929290771)
2016-11-05 06:30 Process traders (0.27889895439148, 0.21455502510071)
2016-11-05 06:30 set_dynamic_skim (0.4689929485321, 0.19009399414062)
2016-11-05 06:30 forces (0.47020983695984, 0.0012168884277344)
2016-11-05 06:30 Calculate priority (0.47041583061218, 0.00020599365234375)
2016-11-05 06:30 Soft force (0.60712790489197, 0.13671207427979)
2016-11-05 06:30 Write config (0.60735392570496, 0.00022602081298828)
2016-11-05 06:30 Anticheat check (0.71060085296631, 0.10324692726135)
Настройки автоантичита для этих сайтов:

LemonS писал:
Все импортсеты выглядят так:
2016-11-05 17:10:57: ImportSet: Looks like regular dump (0.0086328983306885, 0.00028109550476074)
2016-11-05 17:10:58: ImportSet: Added: , Dupes:  Skip: 500 (1.0320489406586, 1.0234150886536)

 iGelius
Еще не могу найти в вики инфу по
Traffic Rules ->
Traffic limits
Easy Forces limit, %
Normal Boost limit, %
Personal Boost limit, %

 LemonS
iGelius: да, как видите виснет на проверке тредеров тк по какой-то причине не срабатывает таймаут.
Можете скинуть шел - я сделаю вам тестовый скрипт что б вам было что отдать админу что б он поправил.

Импортсеты - проверьте внимательно паттерн добавления, может категории не выбраны например.

Форсы

**Easy Forces limit, Normal Boost limit, Personal Boost limit**

Фактически 3 группы спец форсов. В общих настройках мы можем выделить опредленный % траффика (всех кликов) которые будут попадать на каждый из форсоф. Например, Easy - 5%, Normal - 10% , personal - 15%, те в целом будет на все эти форсы будет уходить 30% кликов, что конечно много, но для примера ок.

После этого мы можем трейдеров временно выделять в группы например Easy Forces, например выделили туда 2 трейдера - они между собой поделили 5% траффика (2.5% каждому). Других трейдеров мы можем выделить в Normal Boost группу. В группе Personal Boost может быть только 1 трейдер.

Таким образом это возможность форсить каким-то трейдерам в тех пределах траффика который вы считаете будет ок, дабы не влиять на основной трейд. Те если форсить например 100 хитов в час трейдеру то в какой-то час это может быть 10% траффика, а когда-то 20%. Со специальными группами форсов мы форсить не конкретное кол-во, а именно % от общего кол-ва кликов.

 LemonS
Новая интересная фича Search Log Advanced

пример есть на http://bigbase.smartcj.com/ - Search Queries

В скрипте давно уже есть фича по выводу последних поисковых фраз

Код:

Она выводит лог последних поисковых запросов на вашем сайте. Но сейчас она стала более продвинутой. Теперь можно искать related запросы к текущей странице. Например, на странице категории можно искать запросы с называнием этой категории.

Код:

На странице тага можно фильтровать по имени тага

Код:

На странице поиска можно фильтровать по поисковому запросу

Код:

Тут надо напомнить что в параметрах то что начинается с GET_ - это переменные из запроса (из урла).

По умолчанию результаты сортируются по кол-ву поисков по конкретному запросу, но можно так еж отсортировать по кол-ву результатов по такому поиску (те у нас 2 варианта order есть )
Код:

Таким образом на каждой странице создаются линки на другие страницы и общее кол-во страниц на сайте растет.

Конечно, запросы набираются очень медленно, и что бы форсировать это событие s Search Log в админке (/admin/?operation=rotation&sub=rot_tube&subsub=rot_search_log&) можно добавить любые поисковые запросы так, как будто их уже искали у вас на сайте.

Для примера, на bigbase.smartcj.com было добавлено порядка 2М запросов. Из чего выплыло несколько проблем, которые были сразу же решены.

1. тк запросы были взяты из общих источников оказалось что по части запросов в базе ничего не находит. Таким образом была вероятность получить на странице ссылку на которой было 0 результатов поиска. Что бы решить этот вопрос rotation.php, который запускается по крону проверяет, периодически проверяет новые запросы и смотрит, что бы по ним хоть что-то находилось в базе. Если ничего не находит - удаляет запрос из списка. Это событие можно форсировать в шеле

Код:

2. когда в базе немного поисковых запросов то Mysql справляется без проблем с ними. Однако когда добавили 2М запросов то поиск по такой таблице стал тяжелым и для индексации решили добавить Sphinx - это сделало не только быстрым поиск, но и сам поиск более продвинутым. Что бы добавить Sphinx надо в конфиг сфинкса добавить


source search_queries
{
   type               = mysql

   sql_host            = ........
   sql_user            = .......
   sql_pass            = ........
   sql_db               = ......
   sql_port            = 3306   # optional, default is 3306

    sql_query_pre = SET NAMES utf8

   sql_query            = SELECT sq_id, search_query, hits, items_found FROM rot_search_queries WHERE hits > 0

   sql_attr_uint          = hits
   sql_attr_uint          = items_found

}


index search_queries_index
{
   source               = search_queries
   path               = /path_where_to_store_index
   docinfo               = extern
   morphology              = stem_en
}



После этого сфинкс сможет проиндексировать имеющиеся у вас запросы.

Что бы SmartCJ смог начать использовать этот индекс надо его указать в настройках ротации Sphinx Search , поле Sphinx Search Log Index = search_queries_index

Все.

 iGelius
LemonS писал:
Да, верно. Но ведь все проверки, доступные через админку отключены. Что же он проверяет?
На сколько безопасно прибивать эти процессы через kill по истечении определенного промежутка времени? Сутки например.

 LemonS
iGelius: можно прибивать
проверяет страницу трейдера все равно на банслова, отключения этой опции просто нет в сетингах.

 Anab0L1k
Обновился с какой-то лохматой версии TCMS на текущую Build 201611071303
Вот такая вот ошибка появилась на странице тега:
Код:
Конфиг Sphinx'a:
source domain_com__ru
{
        type                                    = mysql

        sql_host                                = localhost
        sql_user                                = user
        sql_pass                                = pass
        sql_db                                  = db



        sql_query                               = SELECT gi.gallery_id, UNIX_TIMESTAMP(gi.activation_date) as date, alt, description, gi.duration, sponsor_id, gs.total_ctr, gi.content_type, \
                                                        (SELECT group_concat(tag_name39) FROM rot_gal2tag g2t \
                                                        LEFT JOIN rot_tags as t on t.tag_id = g2t.tag_id \
                                                        WHERE g2t.gallery_id = gi.gallery_id) as tags, \
                                                        (SELECT group_concat(gss.group_id) FROM rot_gallery_stats1 as gss \
                                                        WHERE gss.gallery_id = gi.gallery_id AND group_id != 0) as categories \
                                                        FROM rot_gallery_info AS gi \
                                                        JOIN rot_gallery_data39 AS gd ON gi.gallery_id = gd.gallery_id \
                                                        JOIN rot_gallery_stats39 AS gs ON gs.gallery_id = gi.gallery_id \
                                                        WHERE gallery_status = 'active' and gallery_type = 0 \
                                                        and gs.best_thumb = 'yes' and gs.group_id = 0




        sql_attr_timestamp              = date
        sql_attr_uint               = duration
        sql_attr_uint               = sponsor_id
        sql_attr_float              = total_ctr
        sql_attr_uint               = content_type
        sql_attr_multi                  = uint categories from field;

        sql_query_info                  = SELECT * FROM rot_gallery_info WHERE gallery_id=$id
}


index domain_com__ru_index
{
        source                                  = domain_com__ru
        path                                    = /path/to/sphinx/domain_com__ru
        docinfo                                 = extern
      morphology              = stem_ru
}

 LemonS
Anab0L1k: http://smartcj.com/wiki/doku.php?id=ru:tcms_install#sphinx_config

 Anab0L1k
LemonS: Спасибо. Поправил конфиг - проблема исчезла

 Jabar
V 1.51 Build 201603221213
В вики есть такой момент:
Subtemplate tags
Таки которые можно использовать в сабтемпелйтах
<!--THUMB_WIDTH--> <!--THUMB_HEIGHT-->

Пробую в сабтемплейте указать
<a href="/gallery/<!--GALLERY_SLUG-->/index.html">
<img src=<!--THUMB_URL--> width="<!--THUMB_WIDTH-->" />
</a>
Но выводит как есть <!--THUMB_WIDTH--> вместо размера тумбы. Чтото не так делаю?

 LemonS
Jabar: это добавили уже во 2й версии когда стали в базе хранить размеры тумб тк появились дизайны с разными размерами тумб.
До этого обычно сайт в одном размере и хранить его смысла не было.

 iGelius
А гифки на тумбы совсем не умеет нарезать?

 LemonS
iGelius: http://smartcj.com/wiki/doku.php?id=ru:tcms_update_1#animated_gifs

 iGelius
LemonS: немного не то. Я пытаусь скормить в ротатор дамп пиксовых галлер с частью тумб в виде анимированных гиф.