خزنده وب
خزندهٔ وب، (انگلیسی: Web Crawler) یک برنامه رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. «خزندهٔ وب» به چندین شکل مختلف تعریف می‌شود که برخی از آنان:
- عنکبوت‌های وب (انگلیسی: Web Spider)
- فهرست سازان خودکار (انگلیسی: Automatic Indexers)
- ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
- نرم‌افزارهای FOAF.
- ...
را شامل می‌شود.
دلایل استفاده
به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت، آنالیز و رده‌بندی می‌کنند.
نمونه‌ها
- Googlebot
- FAST Crawler: یک خزندهٔ توزیع‌شده.
- GM Crawl: یک خزندهٔ بسیار مقیاس‌پذیر که به شیوهٔ نرم‌افزار اجاره‌ای قابل استفاده است.
- Bingbot: نام خزندهٔ مربوط به موتور جستجوی بینگ متعلق به شرکت مایکروسافت. جایگزین Msnbot.
- PolyBot
- RBSE
- Swiftbot
- WebCrawler
- WebRACE
- WebFountain
- World Wide Web Worm
- Yahoo! Slurp
نمونه‌های متن‌باز
- Frontena
- GNU Wget
- GRUB
- Heritrix
- ht://Dig
- HTTrack
- mnoGoSearch
- news-please
- Apache Nutch
- Open Search Server
- PHP-Crawler
- Scrapy
- Seeks
- Sphinx
- StormCrawler
- Xapian
- YaCy
- Octoparse
منابع
- ↑ http://en.wikipedia.org/wiki/Web_crawler Wikipedia
- ↑ http://en.wikipedia.org/wiki/FOAF_(software) Wikipedia