Sebagian besar blogger berpengalaman pasti tahu apa itu robots.txt dan mengapa Anda membutuhkan file ini. Namun tidak sedikit penulis yang langsung buru-buru membuat file robots.txt setelah memasang blog di WordPress.
Robots.txt adalah file teks yang diunggah ke direktori akar situs Anda dan berisi instruksi untuk perayap. Tujuan utama penggunaannya adalah untuk melarang pengindeksan halaman dan bagian individual di situs. Namun, dengan menggunakan robots.txt, Anda juga dapat menentukan mirror domain yang benar, menentukan jalur ke peta situs, dan sejenisnya.
Sebagian besar mesin pencari modern telah belajar menavigasi CMS populer dengan baik dan biasanya tidak mencoba mengindeks konten yang tidak dimaksudkan untuk ini. Misalnya, Google tidak akan mengindeks area admin blog WordPress Anda meskipun Anda tidak menentukannya secara langsung di robots.txt. Namun, dalam beberapa kasus, penggunaan larangan langsung masih dapat bermanfaat. Dan kita berbicara terutama tentang larangan konten duplikat.
Beberapa webmaster bertindak lebih jauh dengan melarang pengindeksan halaman kategori dan tag, karena konten mereka sebagian menduplikasi konten halaman utama. Tetapi sebagian besar terbatas pada melarang halaman trackback dan feed, yang sepenuhnya menduplikasi konten artikel dan tidak ditujukan untuk mesin pencari sama sekali. Tindakan pencegahan seperti itu tidak hanya akan membuat hasil situs "lebih bersih", tetapi juga menyelamatkan Anda dari kemungkinan filter pencarian, terutama setelah pengenalan algoritma Google Panda yang baru.
Berikut adalah arahan yang disarankan untuk file robots.txt (ini akan berfungsi untuk hampir semua blog WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Harap dicatat bahwa di robots.txt folder administratif wp-admin dan wp-includes sepenuhnya ditutup untuk pengindeksan. Folder wp-content hanya ditutup sebagian, karena berisi direktori unggahan, yang berisi semua gambar dari blog Anda yang harus diindeks.
Yang perlu Anda lakukan adalah menyalin arahan dari kode di atas (perhatikan bahwa setiap arahan harus ditulis pada baris baru), simpan ke file teks bernama robots.txt, dan unggah ke direktori root situs Anda.
Anda selalu dapat memeriksa apakah robots.txt berfungsi dengan benar melalui Alat Webmaster Google dan antarmuka Yandex Webmaster.
