Хотел поиграть во что-нибудь. Но потом подумал, что это тупо и надо работать хоть над чем-нибудь. Написал поисковый краулер. Лучше бы играл…
Не, он работает, но вот какой в нём смысл? Рунет не распарсишь, т.к. работает на mysql и php
. Страницы, конечно, можно сохранять в файлы, составляя сразу хеш, но mysql даже список урлов рунетовских не выдержит. Про php молчу вообще.
Друг! Поделись информацией)
Мне тоже нужно написать краулера, который будет бродить по сайту и сливать в БД всякую инфу про страницы. Но я собираюсь на python писать..
Какой информацией конкретно? Вроде ничего секретного, в гугле всё есть.