WEB CRAWLER
Apa itu Web Crawler !
Membahas web crawler tak ada bedanya seperti menyinggung
spider. Mengapa demikian? Sejujurnya keduanya itu bagai cermin, definisi serupa
hanya terbungkus dalam istilah kata berbeda. Ya, crawler itu nama lain dari
spider dan begitu pula sebaliknya. Sebagaimana dilansir dari laman TechTarget,
crawler adalah sebuah program buatan yang bertujuan mengunjungi situs dan
membaca semua halaman serta informasi untuk menghasilkan catatan penting bagi
index search engine.
Peran web crawler
sudah tidak tergantikan dan semua layanan search engine butuh itu.
Masing-masing mengusung nama berbeda meski berlatar belakang sama, tak heran
ada pihak yang menyebutnya spider atau bot. Crawler sengaja diprogram untuk
mengunjungi semua situs yang diajukan atau submit ke layanan mesin pencari. Tak
hanya keseluruhan situs, melainkan semua halaman satu per satu, entah itu
artikel baru rilis dan diperbarui.
Crawler sengaja dirancang khusus agar selektif mengunjungi
dan mengindeks situs secara utuh atau halaman spesifik saja. Lalu, mengapa
diberi nama demikian? Ternyata semua merujuk pada cara kerja, dimana program
merayap atau bergerak pelan sekali menyusuri sebuah situs dan halaman pada
waktu bersamaan. Bahkan turut mengikuti link dari satu halaman ke halaman lain
hingga semua halaman selesai terbaca.
https://www.seon.co.id/apa-itu-indexer-web-spider-web-crawler-robot-spider-pada-search-engine/
https://www.seon.co.id/apa-itu-indexer-web-spider-web-crawler-robot-spider-pada-search-engine/
Komentar
Posting Komentar