Новая тема   Ответить

 SemenSemenich
Видимо, самая горячая новость дня...

AOL опубликовали статистику запросов 650K юзеров. Всего в базе около 20 миллионов записей. Все, что искали и где нашли их пользователи. Для SEO - это золото.

Размер базы ~450Mb

http://www.gregsadetsky.com/aol-data/

 keosia
SemenSemenich писал:

интересно - они ли это сделали...

 SemenSemenich
Они, т.к. изначально данные находились у них на сайте.
http://research.aol.com/pmwiki/pmwiki.php?n=Research.Research?actio…kusers.tgz

Следы еще остались - http://research.aol.com/pmwiki/pmwiki.php?n=Research.500kUserQueriesSampledOver3Months

 Synchro
Эээ, а кто-нить знает, мускуль помрет с табличкой в 20 лямов записей?

 magic
но есть же и другие базы данных

 Synchro
Так понятно, что есть. Только их ставить, настраивать и оптимизировать надо. Лан, попробую так пропарсить, авось проканает.

 keosia
SemenSemenich писал:

да, это говорит о том, что развод действительно красив =)

 ghood
Synchro писал:
нет

 spin
будет весьма интересно глянуть.

 Winners
439mb модемщики в пролете

 Lab
я на модеме 300 метров за ночь выкачивал

 Praetorian
<Karrde> Я снова подлянку у ся на фтп сделал
<Karrde> Закачал 700меговый фильм якобы с порнухой )) А там просто интервью с Питером Джексоном
<Luxor> Называется файл ...porno_access_hardcore_sex...????
<Karrde> Угу
<Luxor> СЦУКО!
<Karrde> Че?
<Luxor> Я уже 87% закачал!
<Luxor> Урод ты Кард


bash.org.ru

 Synchro
Не, я уже посмотрел сегодня днем эту базу. Реально похоже на то, но пиздец как криво сделано... Просто лог поисковика.

 pirate
опять будет "превед молдованам"

 SemenSemenich
Цитата:

В смысле развод? AOL уже официально признала факт утечки, попросила прощения и начала внутреннее расследование.

Цитата:

Конечно, может быть, это организованный слив, но смысл от этого не меняется - данные-то настоящие, да и зачем им это...

 w84me
полезного там оч мало. скачал, подрючил, видали и получше

 kiwi
имхо это намеренная утечка. слишком мало данных, всего по 7 лямов серчей в месяц...

AOL released search information on about 20 million searches done from its software by about 658,000 anonymous AOL users over a three-month period, representing about one-third-of-1-percent of searches conducted over that time.

 begemot
бесплатная, большая и сразу
данные в базе очень интересные - кеи по каждой сессии,
такое фиг где найдешь

 kiwi
nтам ного интересного.
гораздо больше кеев интересны поисковые паттерны.

я глазами просматривал, забавно получается.

можно делать сразу серые ресы, которые процентов на 90 будут удовлетворять весь спрос оптом и в одном месте...

 Stup
+1. Неплохая база. Еще к тому же показано на какой урл в серпе тыкнул пользователь и на какой позиции в серпе этот сцайт был. Нашел там и логи трафика идущего ко мне. Хотя как по мне, лучше вытягивать данные с гугла.

 mavook
20 лямов нормально выдержит
у меня на локале сейчас 84 млн rows с кейвордами
и запрос вида select distinct * from keywords where keyword like '%casino%'
отрабатывается 150 секунд
таблица без primary без индекса
cel 2.4d 1gb mem

 Stek
mavook: fulltext наложи на таблицу, будет все бегать.

 Rainmaker
а какой прогой эти базы можно конвертнуть в читабельный вид (хотя бы с разбивкой запросов по разным строкам) ?

очень неудобно инфа скинута

 keosia
Stek писал:

а каким боком fulltext при like выборке используется?

 bog
Для иследований инфа интересная, для дорвеев не очень.
Я жду пока гугл выпустит данные по использованию н-грам на 6ти DVD - для доров это будет гораздо более ценная инфа.