×
Pengertian dan Kegunaan Robots.txt

Bahasan kali ini masih seputar optimasi website, yaitu file yang amat penting ketika mengerjakan SEO, yang harus ada di suatu website, karena pemakaiannya juga harus diperhatikan seksama, adalah robots.txt, semacam izin yang diberikan website kepada sistem google crawl.

Kalau misconfigurasi, tentu website tidak akan terindeks dengan baik dan tidak muncul dalam hasil pencarian google, tentunya ini akan menjadi pantangan bagi para praktisi SEO, atau pelaku Jasa SEO maka dari itu kita akan membahasnya sebagai hal terpenting dalam SEO.

Robots.txt adalah file yang akan dikenali google bot berupa file Robots dengan ekstensi .txt yang secara gamblang menampilkan teks saja sebagai konfigurasinya.


Apa itu robots.txt ?

apa yang dimaksud dengan robots.txt ? Jika mengacu dari MOZ, file robots.txt adalah sebuah berkas yang berisi perintah pada robot dari mesin pencari, dengan perintah serta batagan, agar url atau folder dari website yang mana sajakah yang dapat di indeks, termasuk user agent atau web crawl dari software mana saja yang boleh dicari dari website yang terpasang robots.txt ini.

File ini, tentu harus berada di direktori root di website kamu, atau di public_html, dengan biasanya berisi data teks yaitu :

User-agent: Googlebot

Disallow: /nogooglebot/

Perintah diatas tentu tidak mengizinkan Googlebot menjamah situs yang dimaksud, hal ini berfungsi bagi anda atau mereka yang ingin membuat website anda privat, dan tidak mudah dicari, umumnya dipakai blogger untuk curhat atau hanya berbagi data rahasia saja.

User-agent: *

Allow: /

Sedangkan yang diatas, tentu memberikan izin terhadap Googlebot untuk menjamah situsnya, terbukti dengan user-agent yang boleh mengakses website yang dimaksud dengan tanda (*), tentunya file robots.txt dapat di konfigurasi sesuai selera.

Tentu ada manfaat atau tidaknya atas larangan agar website tidak terjamah googlebot, biasanya karena, berisi konten sensitif agar tidak terbaca oleh khalayak, biasanya juga karena resource website masih tergolong kecil, sehingga tidak terjadi request bandwith, bisanya juga, akan melarang dalam hasil pencarian Google Images.

Lalu, apakah tanpa robots.txt tetap bisa di crawl atau terindeks google ? tentu saja, bagi situs besar yang jumah pagenya telah terindeks, maka tidak harus memakainya lagi, sebagai referensi pastikan kamu sebagai pemilik website juga mengecek di Google Search Console, apakah page web kamu terindeks ? jika sudah semua, maka tidak harus ada robots.txt.


Beda Meta Tag dan Robots.txt 

Lalu, apakah perbedaan Meta Tag dan Robots.txt ? jelas saja kedua hal ini adalah sesuatu yang sama sekali berbeda, sedikit kesamaan fungsi saja, yaitu supaya bisa memberi tahu googlebot mana yang boleh di rayapi atau tidak, yaitu dengan memakai noindex, follow, nofollow di meta tag website.

Perlu dipahami ya, bahwa meta tag,gunanya hanya memberi fokus terhadap satu halaman yang di spesifikkan, sedangkan robots.txt adalah perintah terhadap robot web crawl mana-mana saja yang boleh dirayapi mana yang tidak boleh, jadi tentukan kebutuhan website kamu,jangan keliru!

Satu lagi yang perlu diingat, jika terdapat sebuah link yang menujuk di suatu page dengan disallow atau perintah larangan untuk di crawl dan halaman yang menujuk tersebut telah berhasil ter-indeks google,tentu, halaman tersebut tetap berada di hasil pencarian, ini sering terjadi, maka, jika website kamu memang private,pastikan lagi ya, selamat mencoba.(Creativauz)

×

Notice!!

Dapatkan promo pembuatan website diskon 150,000 gunakan code WebOct saat hubungi chat Whatsapp