Сворачивающиеся дневники

Сделал я тут эксперемент как-то давно, после небольшого спора на ябизе. Сейчас вот полез в статистику, проверил.

Суть — на одном доре был поставлен сквозняк на noind.php.

Текст robots.txt
User-agent: *
Disallow: noind.php

В 1163115767 зашёл с IP 66.249.66.34 некто, представился Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html), сожрал /robots.txt

В 1163136820 (т.е. через через 5 с лишним часов) с того же IP зашёл тот же Googlebot, сожрал /noind.php

Yahoo трогать noind.php не стал.

Запись опубликована 27.11.2006 в 2:04 дп и размещена в рубрике заметки. Вы можете следить за обсуждением этой записи с помощью ленты RSS 2.0. Можно оставить комментарий или сделать обратную ссылку с вашего сайта.