Web Crawler, salah satu syarat utama menguasai Search Engine Optimization (SEO) yaitu mengenal baik seluk-beluk mesin pencari alias search engine. Oleh karena itu pemilik sebuah situs/blog sepatutnya dibekali pemahaman dasar soal apa itu indexer, web spider, web crawler, robot atau bot yang selama ini jadi andalan search engine. Semua elemen tersebut memegang peranan penting dalam menampilkan halaman utama atau laman artikel sebuah situs agar terakses pengunjung.

 

Apa itu Indexer !

Indexer – beberapa orang menyebutnya indexing – adalah sebuah proses pengumpulan, penguraian dan penyimpanan data untuk digunakan kembali oleh search engine. Bisa disimpulkan bahwa indexer bagian atau “tempat” dari semua kumpulan data hasil koleksi search engine. Tugasnya berkaitan erat menampilkan data hasil pertanyaan dan hasil penelusuran dengan kata kunci atau keyword.

Tanpa adanya index, maka kerja search engine semakin berat dan lamban dalam menghasilkan jawaban atas pertanyaan para pengguna. Tanpa sentuhan index bisa dipastikan kinerja semakin rumit karena terus menjalani penelusuran halaman situs dan data yang berkaitan langsung dengan kata kunci, bahkan turut memastikan tak ada satupun yang terlewati.

Indexer tidak sendirian dalam melaksanakan tugas, bahkan turut dipermudah kehadiran web spider atau web crawler. Dengan begitu pengumpulan informasi jadi semakin ringan dan cepat, malahan turut membantu proses pembaruan data serta terbebas dari ancaman spam. Ada banyak bagian berbeda melekat erat pada search engine index seperti faktor desain dan struktur data. Faktor desain bertujuan merancang arsitektur index dan menentukan cara kerja index.

Apa Itu Indexer, Web Spider, Web Crawler, Robot Spider Pada Search Engine 2

Apa itu Web Spider !

Seperti dijabarkan pada paragraf sebelumnya, index tidak bekerja sendirian melainkan turut dibantu web spider. Lalu, apa itu sebenarnya? Web Spider merupakan sebuah program dirancang khusus untuk mengunjungi sebuah situs, membaca halaman dan beragam informasi penting lainnya dalam upaya membuat catatan penting bagi search engine index. Dengan demikian kinerja semakin ringan dan cepat.

Sebagian besar layanan search engine mengusung program ini, terkadang diberi nama berbeda meski fungsinya serupa. Web Crawler atau bot merupakan nama lain dari web spider, adapun tujuan utama yaitu mengunjungi situs secara utuh ataupun artikel/postingan yang baru saja dirilis. Keseluruhan situs atau halaman tertentu dapat dikunjungi dan terindeks secara selektif.

Kenapa program unik ini diberi nama spider? Pemberian nama seperti hewan serangga “laba-laba” karena cara kerjanya yang serupa. Web Spider mengunjungi banyak situs sejajar dalam waktu bersamaan, persis kaki dari seekor laba-laba yang dapat menjangkau area luas pada jaring sangkarnya. Web Spider dapat “merayap” ke berbagai laman sebuah website dalam beberapa cara. Salah satunya adalah mengikuti semua link hypertext di setiap halaman hingga semua halaman selesai terbaca.

Apa Itu Indexer, Web Spider, Web Crawler, Robot Spider Pada Search Engine 3

Apa itu Web Crawler !

Membahas web crawler tak ada bedanya seperti menyinggung spider. Mengapa demikian? Sejujurnya keduanya itu bagai cermin, definisi serupa hanya terbungkus dalam istilah kata berbeda. Ya, crawler itu nama lain dari spider dan begitu pula sebaliknya. Sebagaimana dilansir dari laman TechTarget, crawler adalah sebuah program buatan yang bertujuan mengunjungi situs dan membaca semua halaman serta informasi untuk menghasilkan catatan penting bagi index search engine.

Peran web  crawler sudah tidak tergantikan dan semua layanan search engine butuh itu. Masing-masing mengusung nama berbeda meski berlatar belakang sama, tak heran ada pihak yang menyebutnya spider atau bot. Crawler sengaja diprogram untuk mengunjungi semua situs yang diajukan atau submit ke layanan mesin pencari. Tak hanya keseluruhan situs, melainkan semua halaman satu per satu, entah itu artikel baru rilis dan diperbarui.

Crawler sengaja dirancang khusus agar selektif mengunjungi dan mengindeks situs secara utuh atau halaman spesifik saja. Lalu, mengapa diberi nama demikian? Ternyata semua merujuk pada cara kerja, dimana program merayap atau bergerak pelan sekali menyusuri sebuah situs dan halaman pada waktu bersamaan. Bahkan turut mengikuti link dari satu halaman ke halaman lain hingga semua halaman selesai terbaca.

Mengenal-Apa-Itu-Indexer-Spider-Crawler-Robot_Robot-Google 4

Apa itu Robot atau Bot !

Selain indexer, spider dan crawler, maka ada satu lagi istilah yang wajib diketahui yakni robot atau biasa dipanggil bot. Robot menurut pengertian dasar adalah sebuah program yang berjalan otomatis di internet, tetapi pada kenyataan tak semua berjalan tanpa lepas kendali begitu saja.

Beberapa bot justru akan melaksanakan perintah usai menerima masukan atau input spesifik. Bot terbagi menjadi beberapa tipe, tetapi sebagian besar yang beredar di internet justru berkaitan erat dengan crawler, chat room bot dan malicious bot. Crawler seringkali digunakan oleh layanan search engine untuk memindai situs secara teratur.

Jenis bot ini akan bergerak perlahan menyusuri situs dengan mengikuti link di setiap halaman. Crawler nantinya menyimpan konten setiap halaman pada index pencarian. Dengan memakai algoritma kompleks, search engine dapat menampilkan halaman paling relevan yang berhasil ditemui oleh crawler untuk menjawab pertanyaan spesifik.

Robot search engine selain dikenal sebutan “bot” ternyata juga memiliki nama lain tak kalah beken seperti bot, wanderer, spider, and crawler. Terlepas dari perbedaan nama, program tersebut merupakan andalan bagi layanan mesin pencari beken dunia seperti Google, Bing, and Yahoo! Robot sengaja dirancang untuk membangun database. Sebenarnya sebagian besar robot bekerja seperti web browser, hanya saja tidak butuh interaksi pengguna.

Mudah sekali bagi robot mengakses sebuah situs. Sebagaimana tertulis pada paragraf sebelumnya, bot seringkali memakai link untuk mencari dan terhubung dengan situs lain. Dengan begitu bisa mengindeks judul, ringkasan atau seluruh konten dokumen jauh lebih cepat ketimbang kemampuan manusia. Oleh karena itu layanan search engine terus berusaha memperbaiki kualitas bot demi hasil penelusuran lebih baik lagi.

Kehadiran robot memang menguntungkan search engine, apalagi terkenal efisiensi dan cepat. Akan tetapi bisa menjadi malapetaka bagi pemilik situs jika robot dirancang dengan konstruksi buruk. Mengapa demikian? Ketika “robot berkualitas rendah” menyusuri situs, maka kinerja server pun semakin berat. Oleh karena itu pemilik situs dapat mengecualikan atau membatasi akses robot dengan menaruh file robots.txt pada server. Nantinya file tersebut akan menjabarkan perintah mengenai apa saja bagian dari situs yang boleh diakses.

Mengenal-Apa-Itu-Indexer-Spider-Crawler-Robot-_robot-search-engine 5

Kesimpulan !

Jika melihat penjelasan tentang indexer, web spider, web crawler dan bot, maka bisa ditarik kesimpulan bahwa ketiga istilah tersebut memiliki makna serupa. Spider merupakan nama lain dari crawler dan bot, begitu pula sebaliknya. Hampir semua layanan search engine terutama pemain raksasa seperti Google, Bing dan Yahoo sangat mengandalkannya untuk penyusunan indeks.

Indexer atau proses indexing sangat tergantung pada kesiapan spider, crawler atau bot. Dengan konstruksi rapi berkualitas, justru membantu pengumpulan data semakin lebih cepat dan akurat. Umumnya setiap layanan search engine memiliki robot andalan berbeda-beda, sehingga mempengaruhi hasil pencarian. Sampai saat ini bot buatan Google masih keluar sebagai juara karena selalu menghasilkan informasi relevan sesuai pertanyaan atau kata kunci (keyword).

Penting sekali bagi pemilik situs mengenal apa itu indexer, spider, crawler, robot atau bot pada search engine agar tidak terjadi kesalahpahaman dan semakin mengerti seluk-beluk dunia SEO.

Hubungi Kami

Call Center :
Phone: 0822-1914-1914
Whatsapp: 0877-2471-5000
BBM: 5FC5B65A

Jam kerja:
Senin – Sabtu : 09.00 – 17.00

12 + 15 =