Надибав гарний список ботів List of User-Agents (Spiders, Robots, Browser) - досить обширний і з описами.