cdroller
авторизация хуевая знач в мемберке, раз бот в нее пролез вместе с юзером ... юзер куданить ссылку сунул, мож запостил, мож в переводчик и гугл по ней сходил с другого ипа и одновременно с юзером, ведь так быть не должно? ...
cdroller
ну в обще то это не сложно сделать, многие форумы так и работают закрытые ... ипы ботов же известны, можно для них открытым оставлять, кеширование запретить можно наверно ... а пользователь под другим ипом торкает на выдачу и попадает в форму логина
ПС трафик во первых, а во вторых индексация контента тоже может быть полезной, чтоб не растаскивали уник
кстати так еще интересней смотреть site:members.twistys.com
Результатов: примерно 16 800 (0,18 сек.)
так что там похоже действительно специально оставлена индексация ...
cdroller
с регулярными врятли где найти можно ...
а вообще можно проще сделать, смотреть юзерагента Googlebot а потом обязательно его проверять выполнив DNS запросы
http://www.google.com/support/webmasters/bin/answer.py?answer=80553 если это действительно гуглебот то давать доступ ему ...
на форумах посмотрел закрытых там лажа, просто по юзерагенту обычно ipb и vb такчто где на форумах хаки стоят разрешающие индексацию, наверно можно читать заменив юзерагент )
вот еще инфа интересная
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=174992 но не как АЯКС сканировать, а о том как давать для сканирования гуглу один адрес а в выдаче будет отображаться другой ) например можно ссылку с параметрами гуглу скормить для индексации, по которой проход будет открытый но он ее не отобразит ... наверно
вообще конечно все это интересно, но клоачно как-то