Новая тема   Ответить

 andreich
вообщем давно еще столкнулся с данной проблемой

При добавлении морфинговых RSS (сгенеренных скрпитом, который используют некоторые партнерки, написанный местным прогером) в Blogs Automater, и последующем их распарсивании, скрипт забирает все возможные варианты, тоесть если RSS с помощью морфинга генерит 10-20-30-40-100 или более постов, которые должны раздаться разным мастерам, скрипт каким то чудестным способом забирает их все, ну и соответственно постит потом одно и тоже ...

стучался к разработчику как самого Blogs Automater так и разработчику данного RSS морфинга скрипта, овнерам партнерок - какдый валит на другого, как обычно в принципе я самый крутой это у тебя глючный софт и т.д.

Кто сталкивался как возможно это исправить, какие есть варианты решениря данной проблемы

 uncle Misha
Аналогичная проблема существует.
тоже ищу ответ...
Но сдаётся мне, что это проблему может исправить только Кактус.
Хотя я тоже вдолбить ему этого не смог, всё валит на саму RSS

 andreich
uncle Misha писал:
а вот у меня другое мнение что это проблема именно нашего прогера ... остальные морфинг фиды не его производства, работают нормально же ?

 shahfil
А что, в этом фиде для каждого заморфленного поста свой персональный guid выставляется? Тогда BA все правильно делает.

 andreich
shahfil: я не прогер к сожелению ... поэтому ответить на твой впросне могу ... вставляется там что то или нет ...

 shahfil
ну надо сам фид смотреть короче. Там для каждой записи кроме заголовка и собственно текста должно передаваться поле guid по которому и проверяется уникальность. Чаще всего в нем просто URL ставят, но не обязательно. Если его нет, либо оно разное каждой из заморфленных записей одного и того же поста - то тогда BA все делает правильно, и пинать надо прогера который такой фид сделал.

 andreich
ну например
фиды
кешманьяков и реалбаксов, гонит даблы

 uncle Misha
Да, хорошо бы было докопаться до истины, может наш прогер отпишется здесь...

Но вот andreich, какую ситуацию я наблюдаю
натсовый фид от nichecastle
http://morphingrss.nichecastle.com/feed/f/2/33/?nats=MzI1NjoyOjEx
запускается крон и BA выдёргивает свежий пост, а вместе с ним и пачку морфленных дабл постов, которые были ранее, при чём каждый раз их разное количество. Но здесь, например, все повторяющиеся посты имеют одинаковую дату, легко их выкинуть.
И что интересно, для всех остальных фидов от этой партнёрки, тащится нормально.

И вот такой фид
http://stats.earncoin.com/rss/5049/1/0/0/39/0/100/1/0/1/8044/
в фиде 40 постов, и каждый раз ВА, запускаясь выдёргивает эти 40 но уже морфленных постов
Я так понимаю, разработчики этих фидов разные (хотя могу и ошибаться).
Но в любом случае, где-то в этих фидах есть фишка, которая вводит в заблуждение БА. Может быть даже ошибка, и в скрипте БА ДОЛЖНА БЫТЬ зашита от таких ошибок.

Хотелось бы ещё услышать людей, которые пользуют другие РСС тащилки, встречается ли такая проблема, и с какими фидами?

 andreich
uncle Misha: я считаю что BA самый сильный скрипт на сегодня в этой нише ... но опятьже я я не утверждал то что вовсем виноваты те кто писал скрипты для RSS морфинга, а типа BA крут ...

мне тоже хотелосьбы чтобы все это было в шеколаде и мы бы незнали никаких проблем ...

 uncle Misha
andreich писал: Полностью с тобой согласен.

И похоже ты прав, я сейчас стал смотреть более внимательно.
Второй фид от earncoin, если даже в броузере открыть и рефрешить, каждый раз посты все посты морфятся, хотя я так понимаю, для моего рефа, они должны оставаться неизменными. В этом случае проблема явно с фидом. Так быть не должно.

 andreich
так что господа всего у двух человек имеется данный скрипт? или ни укого нет таких проблем ?

 Venril
Как то давно, еще в прошлом году я немного пообщался с нашим хорошим грекоболгарским другом Атанасисом на эту тему. С его слов BA определяет оригинальность постов по их тайтлам. А так как морфинг фиды эти тайтлы постоянно меняют, отсюда и BA ставит их как разные посты. И ничего тут как бы не сделаешь.
А вот и ответ с его саппорт-форума:

Цитата:

 andreich
ХМ

 cyberxxx
andreich писал:
У тебя опять очень неправильное мнение. Прежде чем что-то писать на форуме, надо разобраться в ситуации. Во-первых, почитай спецификацию RSS (есть даже в википедии). Тогда ты узнаешь что именно означает каждый конкретный тэг в RSS фиде. Во-вторых, возьми фид любого спонсора, который пользует мой плагин и проверь его на соответствие стандартам - для этого не надо быть программером. XML формат прост как 3 копейки.

Если бы ты проделал все эти нехитрые процедуры, то уже точно знал бы, что:
1) уникальность каждого поста в фиде определяется его идентификатором (тэг <guid>)
2) посты всех фидов, использующих мой плагин, имеют уникальные guid-ы, которые всегда постоянны и не подвержены морфингу, как например, содержимое самих постов (тэг <content>).

В качестве пояснения (если надо, то и в качестве доказательства), посмотрим на фид от партнерки Real-Bucks.com. Например, так: http://www.rbblog.com/feed/?wm=654321 и http://www.rbblog.com/feed/?wm=123456 - смотрим исходники и видим, что содержимое постов и заголовков(!) в них чуть меняется. Но вот только тэги <guid> содержат одни и те же значения невзирая ни на какой морфинг.

После этого, тебе нужно было бы произвести простейшую операцию и сложить 1 и 2, дабы понять, что ошибка с дапами (double post) может быть вызвана только плагином, который импортирует фиды, но никак не самими фидами по очень простой и очевидной причине, описанной выше.

Как именно устроен скрипт Blogs Automater, я не знаю, но подозреваю, что он может содержать одну из следующих ошибок (или обе сразу):
1) уникальность поста определяется по тайтлу (тэг <title>), а не по guid-у, как это положено стандартом;
2) возможно, база постов wp не блокируется во время парсинга фидов. Такая ошибка, кстати, была и у меня в CyberSEO. Суть ее в том, что если на твой блог зайдет какой-то человек в тот момент, когда для скрипта как раз подошло время парсить фиды по расписанию, скрипт начнет парсить вид и добавлять новые посты. Но если в это же время (пока скрипт не прекратил парсить фиды и не обновил время последней обработки) на сайт зайдет еще один человек, то скрипт запустится повторно и добавит в блог те же самые посты. Произойдет как бы наложение.

Этой фигней грешат многие плагины, включая, например, FeedWordPress. Моей ошибки в этом нет. Более того, повторы генеряться не только с моих фидов, но и с любых других. Лично меня это очень сильно напрягало года 4 назад, когда я пользовался FeedWordPress-ом, а термин "Morphing Feeds" еще не существовал в природе, т.к. я его еще не придумал

З.Ы. То что данная проблема решается именно на стороне импортирующего плагина, а не на стороне генератора фидов, я могу продемонстрировать любому желающему на примере одного из своих сплогов, где установлен плагин CyberSEO Suite, в котором я и постарался максимально защититься от появления двойных постов. Теоретически, даже в нем есть какой-то микро-квант времени в который возможно двойное срабатывание скрипта, но этот промежуток так мал, что никаких дапов на своих сплогах я не не наблюдаю.

Последний раз редактировалось: cyberxxx (22/06/09 в 18:56), всего редактировалось 1 раз

 cyberxxx
Venril писал:
О, ну так с этого и надо было начинать! Для чего же тогда тэг <guid> существует? Если авторы BA положили хуй на стандарты, то конечно же во всем я виноват

Андреич, мне кажется, или ты уже второй раз пытаешься обвинить меня в том, что чей-то чужой скрипт написан кривыми руками? Опять же, не стукнулся в аську, не написал на мыло, а сразу так на форум запостил. Молодец.

З.Ы. Не зашел бы я случайно в этот раздел, так и не увидел бы топик.

 Venril
cyberxxx писал:

А при чём тут ты? Про тебя речь не шла. Обсуждалась проблема с BA, и если его автор проглядел этот момент, то можно обратиться к нему. Спасибо за то, что дал наводку на проблему, но мне совершенно непонятно что ты тут доказываешь с пеной у рта. Расслабься, выпей чайку наконец, зелёный очень помогает в жару

 andreich
cyberxxx: не кипятись ! вот теперь мне почти все понятно,
и я приношу Тебе свои извинения ! Извини !

но остается все равно вопрос, хорошо с тегом <guid> все понятно, не понятно другое, почему когда скрипт распарсивает RSS то ему Срипту какимто образом удается вытянуть все варанты (морфинные) одного поста, чета я этого не могу понять, точнее как я понял RSS постоянно отдает разный контент ? тоесть нет жесткой привязки к ID вебмастера ? так ?
тоесть если взять один фид и запихать его в 5 разных грабберов, они загряблят пять разных вариантов ?

 cyberxxx
Venril писал:
Ну это для тебя она не шла, а ТС как раз именно про меня и писал. Если ты немного не в теме, то просто не комментируй. ок?

andreich писал:
Принято. Ты просто в следующий раз в аську мне стукни и мы с тобой разберемся в проблеме без лишнего шума и пыли.

andreich писал:
Тут немного другая проблема. Старые версии скриптов поддерживали морфинг не для всех форматов фидов. Например, RSS2 поддерживался, а Atom-нет. В принципе, это никого особо не волновало, т.к. 99% блоггеров тянули именно RSS2. Проблема возникла с теми, чьи скрипты тянули фиды только в старых форматах. Тут и возникала проблема. Вот только я пофиксал эту ошибку больше года назад, и это значит, что спонсоры, с фидами которых до сих пор возникает подобная проблема, должны обновить мой плагин до последней версии. Собственно, это все что от них требуется.

З.Ы. Если хочешь чтобы на нескольких различных сплогах были разные версии одного и того же сморфленнгого фида, сгенерированных для одного и того же id, то добавляй к url-у фида параметр cxxx_seed с рандомным значением, например:

http://www.rbblog.com/feed/?wm=123456&cxxx_seed=splogblog1.com
http://www.rbblog.com/feed/?wm=123456&cxxx_seed=mybsuperpupersplog.com
http://www.rbblog.com/feed/?wm=123456&cxxx_seed=bla-bla-bla
http://www.rbblog.com/feed/?wm=123456&cxxx_seed=123456789
и т.д.

Все эти фиды будут сгенерированы для адверта 123456, но содержать они будут разный контент.