Новая тема   Ответить

 Mоrgan
Код поменяли как в 1,51, 1,52 так и в 2,1.
Вообще склоняюсь к мысли, что все же на компе какой то браузерный троян.

 kazantipman
народ, может кто сталкивался

саппорт хостинга говорит что mysql от смарта сильно грузит процы

Практически постоянно просутствует по 10 запросов в состоянии Creating sort index

пример запроса
SELECT SQL_CALC_FOUND_ROWS g.id, g.gallery_md5, gs.total_shows as thumb_casts, gs.total_clicks as clicks, if (gs.total_shows < 100, 1, 0) as new_thumb FROM rot_galleries as g JOIN rot_gallery_stats7 as gs on gs.thumb_id = g.id join rot_gal2group as g2gr on g.id = g2gr.gal_id WHERE g.status = 1 AND g.rgroup != 0 and gs.group_id = '0' and g2gr.group_id IN (106) ORDER BY new_thumb ASC, gs.total_ctr DESC, gs.total_shows ASC LIMIT 0, 160

Так как по вакту нужно избавится от SQL_CALC_FOUND_ROWS и переделать или оптимизировать механизм сортировки, так как именно на ней оно проводит много времени.


как это можно оптимизировать? на сервере 50 копий. 51версии смарта

 LemonS
kazantipman: SQL_CALC_FOUND_ROWS надо знать для пагинации
Не помню точно было ли в 1.х но в 2 точно можно убрать пагинацию и не будет добавлять в запрос SQL_CALC_FOUND_ROWS

как именно переделать механизм сортировки?

 Darkover
kazantipman писал:
Я уже писал на саппорт форуме, что мускл очень сильно грузится. Нужно оптимизировать запросы.

 LemonS
Darkover: какой именно?

 Int13h
LemonS: посоветуйте по форсам.
Есть трейдер, хочу у него в топ подняться, делаю форсы раз в день в определенное время. Вопрос - после слива форсов, CJ скрипт стопорит раздачу трафа этому трейдеру на размер форсов или ждет допустим отдачи, или же форсы не учитываются. В случае если, они влияют на раздачу трафа в общем аутлисте, как сделать, что бы форсы на трейдера были как безусловный подлив .

 LemonS
Int13h: "стопорит раздачу трафа этому трейдеру на размер форсов" как это понимать ?

Раздача идет по приоритету, чем больше - тем выше в аутлисте, больше трафа получает.
При форсе мы просто повышаем приоритет что б он стал больше чем у других трейдеров и держим его таким пока не отдадим указанное кол-во хитов.

 LemonS
Добавилась интересная опция для теста по результатам чтения multi-Armed Bandits algorithm

Bayesian CTR calculation method

Вариант расчета CTR на основании Bayes' theorem, https://en.wikipedia.org/wiki/Bayes%27_theorem

Это тн алгоритм максимизации при ограниченном кол-ве попыток (multi-Armed Bandits algorithm). Теоретически он должен дать прирост скорости тестирования тумб и сделать в целом более "живой" ротацию.

Особенно хорошо это должно быть для сайтов с небольшим траффиком где 1 случайный клик может поднять тумбы на большую высоту. Если очень кратко то в данном случае ЦТР тумбы становится не конкретной величиной клики/показы, а примерной величиной в пределах нормального распределения с центром распределения на точном ЦТР.

Есть 2 варианта: только для новых тумб и для всех.

В первом случае можно увеличить кол-во позиций новых тумб (% of test places on page) и кол-во их показов (New thumbs timelive)

Во втором варианте наоборот можно уменьшить кол-во новых позиций - тумбы доротируются уже в основной ротации.

 miami_horror
Супер тупой вопрос от меня - но так и не нашел ответа в вики

хочу купить трафика с сетки - и отследить проду по каждому домену который наслал траф

на какой линк слать мне траф? на такой:

http://mysmartcj.com/?id=domain1.com (ну домены будут разные сетка передавать)

и где в админке потом смотреть стату по этим доменам?

нагенерировал несколько просмотров с рандомным доменом таким образом - но так нигде в стате не нашел инфу по ним


и если слать с другим параметром? не с доменом - а например некоторые сетки шлют айди паблишера в разных форматах - то каким образом тоже отслеживать проду по ним?

 LemonS
miami_horror:
самый простой вариант

http://mysmartcj.com/?id=domain1.com
и домен уже есть как трейдер - считает ему

вариант 2
http://mysmartcj.com/ вообще без ИД и

Add Notrade as Inactive Feeder Traders - будет добавлять автоматом новые реф как отдельных трейдеров и по ним считать стат



вариант 3
http://mysmartcj.com/?id=broker.com(где broker.com это уже созданный фидер)

+

Add Notrade as Inactive Feeder Traders - будет добавлять автоматом новые реф как отдельных трейдеров и по ним считать стат


стат будет виден в стат трейдера broker.com вкладка subfeeders


если брокер шлет с каким-то ИД которые не похожи на домены но без реф надо сделать их них реф похожее, например линк

http://mysmartcj.com/?campaign_id=12345

в common.php пишем


if (isset($_GET['campaign_id'])) $_SERVER['HTTP_REFERER'] = 'http://my_domain_' . $_GET['campaign_id'] . '.com/';

получается реф похожий на домен и по которому видно какая на самом деле это campaign_id + начинают работать указанные выше способы.

 LemonS
Script Messages

По последним дням суппорта обнаружился такой момент: в скирпте есть script messages куда скрипт пишет разные сообщения (Cjsettings - Admin area )

но по дефолту там отмечено Grabber Errors и туда вываливается масса сообщений и делает этот пункт не особенно информативным.

Я думаю стоит убрать галочку с него и обратить внимание что скрипт пишет по core errors - туда была добавлена обработка ошибок потому что буквально за пару дней столкнулся 4 сайта - закончилось место на диске, гдето пишет что на mysql temp disk нет места, где-то база выросла до таокго размера что превышен показатель MAX_JOIN_SIZE и тп.

 pierx
Товарищи, кто как на сабже глобальное добавление контента делает?
По скольку в % за раз, чтобы не убить все (новое и старое)?

 MaxGMG
только поставил скрипт, и уже ошибка при создании страниц
как пофиксить вот это ?
версия скрипта
(c) SmartCJ Pro V 2.1 Build 201712221119 (Lastest build: 201712221119 )

Fatal error: Uncaught exception 'Exception' with message 'Mysql error:: 1064 (You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near 'rows = '1', cols = '1', template = '<template name=default ><a href=\"/out.php?l' at line 1) (db_link) in query update rot_pages set save_path = '../rot_pages/', create_archives = '1', rows = '1', cols = '1', template = '<template name=default ><a href=\"/out.php?link=<!--LINK-->&p=60&url=<!--URL-->\"><img src=<!--THUMB_URL--> width=\"240\" height=\"180\" border=\"1\"></a></template><template name=default ><a href=\"/out.php?link=<!--LINK-->&p=60&url=<!--URL-->\"><img src=<!--THUMB_URL--> width=\"240\" height=\"180\" border=\"1\"></a></template><thumb num=1></thumb>' where id = 82. (site.xyz) ' in /home/admin/web/site.xyz/public_html/trade/includes/db_modules/mysql.php:88 Stack trace: #0 /home/admin/web/site.xyz/public_html/trade/includes/db_modules/mysql.php(118): db_error('update rot_page...', in /home/admin/web/site.xyz/public_html/trade/includes/db_modules/mysql.php on line 88

.htaccess стоит такой (дефолтный переименовал только папку смарта с scj на trade

RewriteEngine On
RewriteCond %{QUERY_STRING} ^(.+)$
RewriteRule ^gallery/(.*)/(.*)/index.html$ /trade/cgi/out.php?link=images/%{QUERY_STRING}&url=content&content_id=$2 [L]
RewriteRule ^gallery/(.*)/(.*)/index.html$ /trade/tube/?content_id=$2 [L]
RewriteRule ^gallery/(.*)/(.*)/$ /trade/tube/?content_id=$2 [L]
RewriteRule ^gallery/(.*)/(.*)/([0-9]{1,2}).html$ /trade/tube/?content_id=$2&item_id=$3 [L]

#slug galleries
RewriteCond %{QUERY_STRING} ^(.+)$
RewriteRule ^gallery/([^/]+)/index.html$ /trade/cgi/out.php?link=images/%{QUERY_STRING}&url=content&slug=$1 [L]
RewriteRule ^gallery/([^/]+)/index.html$ /trade/tube/?slug=$1 [L]
RewriteRule ^gallery/([^/]+)/$ /trade/tube/?slug=$1 [L]
RewriteRule ^gallery/([^/]+)/([0-9]{1,2}).html$ /trade/tube/?slug=$1&item_id=$2 [L]

RewriteCond %{QUERY_STRING} ^(.+)$
RewriteRule ^category/([^/]+)/$ /trade/cgi/out.php?link=images/%{QUERY_STRING}&url=content&p=100&skip_to_cookie=true&skip_sell=true&group_name=$1&order=ctr [L]
RewriteRule ^category/([^/]+)/$ /trade/tube/index.php?group_name=$1 [L]
RewriteCond %{QUERY_STRING} ^(.+)$
RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/$ /trade/cgi/out.php?link=images/%{QUERY_STRING}&url=content&p=100&skip_to_cookie=true&skip_sell=true&group_name=$1&order=$2&page=$3 [L]
RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/$ /trade/tube/index.php?group_name=$1&order=$2&page=$3 [L]
RewriteCond %{QUERY_STRING} ^(.+)$
RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/([^/]+)/$ /trade/cgi/out.php?link=images/%{QUERY_STRING}&url=content&p=100&skip_to_cookie=true&skip_sell=true&group_id=$1&order=$3&page=$4 [L]
RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/([^/]+)/$ /trade/tube/index.php?group_id=$1&order=$3&page=$4 [L]


RewriteRule ^tag/(.*)/$ /trade/tube/index.php?tag=$1
RewriteRule ^search/(.*)/(.*)/(.*)/(.*)/$ /trade/tube/index.php?search_type=$1&search=$2&order=$3&page=$4
RewriteRule ^action/(.*)/(.*)/$ /trade/tube/index.php?action=$1&action_params=$2 [L]
RewriteRule ^action/(.*)$ /trade/tube/index.php?action=$1 [L]

RewriteRule ^go/(.*)/$ /trade/tube/?action=sponsor&sponsor_slug=$1& [L]
RewriteRule ^search_log/(.*)/$ /trade/tube/?search_log=all&page=$1& [L]


RewriteRule ^sponsor/(.*)/$ /trade/tube/?sponsor_slug=$1&force_template=sponsor_page [L]
RewriteRule ^sponsor_galleries/(.*)/(.*)/$ /trade/tube/?sponsor_slug=$1&page=$2&force_template=sponsor_list [L]

RewriteRule ^models/$ /trade/tube/?force_template=model_list [L]
RewriteRule ^models/(.*)/$ /trade/tube/?force_template=model_list&model_first_letter=$1 [L]
RewriteRule ^model/(.*)/(.*)/(.*)/$ /trade/tube/?model_slug=$1&force_template=model_galleries&order=$2&page=$3 [L]
RewriteRule ^model/(.*)/$ /trade/tube/?model_slug=$1&force_template=model_galleries [L]

RewriteRule ^report/(.*)/$ /trade/tube/?content_id=$1&force_template=content_report [L]


темплейты создаю таким образом

 MaxGMG
и сразу 2 вопроса

1. ротатор смарта может крутить тумбы по хотлинку с других доменов ?
тумбы будут лежать на отдельном сервере и домене, в сам смарт никаких тумб не нужно, реально ли так сделать ?

2. крутить страницы для трейдеров можно ? мне нужно создать несколько страниц и показывать их отдельным трейдерам или группе трейдеров

 LemonS
MaxGMG:
ошибка : попробовал на локале - все ок, кстати не стоит текст скидывать картиной - это просто неудобно. И глазами я ошибку не вижу в sql - скидыватйе админку. Но я рад что есть хоть один человек которому надо pages пункт, думали уже убирать его.


с какого домена крутить тумбы не имеет значения

крутить страницы - как я понимаю это персональная страница для трейдера - да , такое есть

 MaxGMG
я скинул админку в личку глянь пожалуйста

 LemonS
MaxGMG: выдает 401 с ходу админка

 MaxGMG
странно с двух браузеров зашел все ок

 LemonS
MaxGMG: можно даже с 5, но если стоит ограничнеие по ИП то так и будет выдавать 403 для всех остальных

 MaxGMG
ошибся урлом админки
в личку отправил новый

 Johnbonjov
Есть база контента, вручную добавлены урлы и тумбы готовые. Сейчас надо переделать тумбы под другой размер - можно как то включить грабер по линкам, что уже в базе контента, при этом старые тумбы чтобы не затер желательно

 LemonS
Johnbonjov: прочел 3 раза но так и не понял
если надо переделать тумбы , то как понять не затирать старые? те выдумать какие-то новые имена для новых ?
и если тумбы добавлены в ручную то значит в базе нет урлов откуда скачаны тумбы, те не ясно из чего переделывать?

 Johnbonjov
LemonS писал:

- ну новые должны быть 320*240, а старые меньшего размера 240*180
- в базе есть урлы только галер и урлы откуда были скачены тумбы меньшего размера

есть какой то вариант автоматически сделать тумбы большого размера? или только вручную придется делать импорт тех же урлов только с новыми тумбами, или можно к старым галерам новые тумбы добавить?

 LemonS
Johnbonjov: если не указано конкретно из какой картинки сделана конкретная тумба то как переделать эти тумбы?

Видимо я не понимаю вопрос, может быть кто-то сможет пояснить что я не понимаю..

 Johnbonjov
LemonS писал:

Ну когда грабер автоматом грабит с хамстера, например, он откуда берет картинки? Разве не по урлу видео дёргает превью тумбу? Думалось, что и по любому линку на галеру сможет взять превью и обжать её.