Kalau kamu diminta menjelaskan apa itu robots.txt, mungkin jawabannya tidak langsung terlintas begitu saja. Padahal, tanpa kamu sadari, file robots.txt kemungkinan sudah ada di website WordPress yang sedang kamu kelola.
Masalahnya, banyak pemilik website masih belum benar-benar memahami fungsi robots.txt WordPress. Ada yang mengira file ini hanya urusan teknis developer, ada juga yang takut mengeditnya karena isi kodenya terlihat membingungkan.
Padahal, robots.txt punya peran penting dalam mengatur bagaimana mesin pencari seperti Google merayapi sebuah website. Melalui file ini, kamu bisa memberi arahan bagian mana yang boleh dirayapi dan bagian mana yang sebaiknya tidak diakses oleh crawler.
Karena itu, memahami cara membuat robots.txt di WordPress menjadi penting, terutama kalau kamu ingin mengelola website agar lebih rapi dan tetap aman untuk SEO.
Namun, file ini juga tidak boleh diatur sembarangan. Salah menulis aturan di dalam robots.txt bisa membuat halaman penting tidak dirayapi mesin pencari. Akibatnya, konten yang seharusnya muncul di Google justru berisiko sulit ditemukan.
File robots.txt bisa dibilang seperti alat kecil yang punya dampak besar. Kalau digunakan dengan benar, file ini bisa membantu mesin pencari memahami bagian website mana yang perlu dirayapi. Tapi kalau salah mengaturnya, dampaknya bisa cukup serius terhadap websitemu.
Misalnya, kamu tidak sengaja memblokir halaman penting seperti artikel, atau folder tertentu yang seharusnya bisa diakses Google. Akibatnya, halaman tersebut bisa sulit masuk indeks atau bahkan tidak muncul di hasil pencarian. Karena itu, file robots.txt perlu diatur dengan benar dan hati-hati.
Karena itu, di artikel ini kita akan membahas apa itu robots.txt, apa fungsinya untuk website, bagaimana cara mengeceknya, serta cara setting robots.txt agar tetap aman untuk SEO.
Dengan memahami dasar-dasarnya, kamu tidak perlu lagi merasa takut saat melihat isi dari file robots.txt. Yang penting, kamu tahu aturan mana yang aman untuk digunakan, bagian mana yang sebaiknya tidak diblokir.
Apa Itu Robots.txt?
Robots.txt WordPress adalah file teks yang berada di bagian root website. File ini digunakan untuk memberi arahan kepada crawler mesin pencari tentang bagian mana dari website yang boleh atau tidak boleh dirayapi.
Secara sederhana, file robots.txt berfungsi seperti papan petunjuk untuk bot mesin pencari. Ketika Googlebot atau crawler lain datang ke website kamu, mereka biasanya akan mengecek file ini terlebih dahulu sebelum mulai merayapi halaman, folder, atau file tertentu.
Misalnya, kamu bisa menggunakan robots.txt untuk memberi tahu crawler agar tidak merayapi area tertentu seperti folder admin WordPress. Contoh sederhana isi file robots.txt di WordPress biasanya terlihat seperti ini:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpPada contoh di atas, tanda User-agent: * berarti aturan tersebut berlaku untuk semua crawler. Baris Disallow: /wp-admin/ memberi arahan agar folder admin tidak dirayapi, sedangkan Allow: /wp-admin/admin-ajax.php tetap mengizinkan akses ke file tertentu yang dibutuhkan WordPress.
Namun, penting untuk dipahami bahwa tidak ada satu format robots.txt yang pasti cocok untuk semua website. Setiap website bisa punya kebutuhan berbeda, tergantung struktur, plugin, jenis konten, dan tujuan SEO-nya.
Selain itu, file ini juga punya beberapa batasan. Robots.txt hanya memberi arahan kepada crawler, bukan benar-benar memaksa semua bot untuk patuh.
Mesin pencari seperti Google dan Bing biasanya menghormati aturan tersebut, tetapi bot jahat atau crawler tertentu belum tentu mengikutinya.
Hal penting lainnya, file robots.txt bersifat publik. Siapa pun bisa membukanya dengan mengetik alamat seperti:
namadomainmu.com/robots.txt
Karena itu, jangan gunakan robots.txt untuk menyembunyikan data penting atau halaman rahasia.
Kalau ada konten yang benar-benar ingin kamu lindungi, lebih baik gunakan password, sistem login, atau pengaturan akses yang lebih aman.
Kamu juga perlu tahu bahwa robots.txt bukan alat utama untuk menghapus halaman dari hasil pencarian Google. Kalau sebuah halaman sudah punya banyak link dari tempat lain, ada kemungkinan URL tersebut tetap muncul di hasil pencarian meskipun akses crawler diblokir lewat robots.txt.
Kalau tujuan kamu adalah mencegah halaman tertentu muncul di hasil pencarian, cara yang lebih tepat adalah menggunakan tag noindex.
Di WordPress, pengaturan ini biasanya bisa dilakukan lewat plugin SEO seperti Yoast SEO atau Rank Math.
Jadi singkatnya, robots.txt berguna untuk mengatur aktivitas crawler, tetapi bukan untuk menyembunyikan konten penting atau mengontrol indeks Google sepenuhnya.
Apakah Sebuah Website Wajib Punya File Robots.txt?
Sebenarnya, website tetap bisa dirayapi dan diindeks oleh mesin pencari meskipun tidak memiliki file robots.txt. Jadi, file ini bukan sesuatu yang wajib ada di setiap website.
Kalau semua halaman, artikel, gambar, dan file di website kamu memang ingin dirayapi mesin pencari, maka robots.txt mungkin tidak terlalu banyak membantu.
Dalam kondisi seperti itu, crawler Google bisa tetap menjelajahi website secara normal tanpa perlu arahan tambahan dari file ini.
Namun, dalam praktiknya, robots.txt tetap bisa berguna, terutama untuk membantu mengatur bagian mana yang sebaiknya tidak perlu dirayapi oleh mesin pencari.
Misalnya halaman admin, halaman internal tertentu, atau file yang tidak punya nilai penting untuk hasil pencarian.
Manfaat utamanya berkaitan dengan efisiensi perayapan atau yang sering disebut crawl budget.
Secara sederhana, crawl budget adalah waktu dan sumber daya yang digunakan mesin pencari untuk merayapi website kamu.
Kalau website kamu memiliki banyak halaman yang tidak penting untuk SEO, crawler bisa menghabiskan waktu di bagian yang sebenarnya tidak perlu.
Dengan pengaturan file robots.txt yang tepat, kamu bisa membantu crawler lebih fokus pada halaman yang memang penting, seperti artikel, halaman kategori, atau konten utama yang ingin kamu tampilkan di Google.
Meski begitu, untuk website kecil atau blog baru yang jumlah halamannya belum terlalu banyak, crawl budget biasanya belum menjadi masalah besar.
Yang paling penting adalah tidak memblokir halaman penting secara tidak sengaja. Jangan sampai artikel, halaman utama, kategori, atau file pendukung yang dibutuhkan website justru tertutup dari crawler.
Kalau salah mengatur, robots.txt yang seharusnya membantu untuk urusan SEO malah bisa menghambat proses perayapan.
Cara Membuat Robots.txt WordPress
Secara default, WordPress sebenarnya sudah membuat robots.txt virtual untuk website kamu. Disebut virtual karena file ini tidak benar-benar tersimpan sebagai file fisik di server, tetapi tetap bisa diakses melalui browser.
Untuk mengeceknya, kamu bisa mengetik alamat seperti ini:
namadomainmu.com/robots.txt
Jika website WordPress kamu masih memakai pengaturan bawaan, biasanya isi file robots.txt akan terlihat kurang lebih seperti ini:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpFile virtual ini sebenarnya sudah bisa bekerja. Aturan tersebut memberi tahu crawler bahwa area /wp-admin/ tidak perlu dirayapi, tetapi file admin-ajax.php tetap boleh diakses karena dibutuhkan oleh beberapa fungsi WordPress.
Masalahnya, karena file tersebut bersifat virtual, kamu tidak bisa mengeditnya langsung dari server seperti file biasa. Kalau ingin menyesuaikan isi robots.txt WordPress, kamu perlu membuat file robots.txt sendiri untuk menggantikan versi virtual bawaan WordPress.
Ada dua cara yang bisa kamu gunakan untuk membuat robots.txt WordPress:
- Menggunakan plugin SEO.
- Membuatnya secara manual.
Untuk pemula, cara paling mudah biasanya menggunakan plugin. Banyak plugin SEO seperti Yoast SEO atau Rank Math menyediakan fitur untuk mengedit file robots.txt langsung dari dashboard WordPress.
Dengan cara ini, kamu tidak perlu masuk ke cPanel atau File Manager.
Namun, kalau kamu lebih nyaman mengelola file secara langsung, kamu juga bisa membuat file robots.txt secara manual melalui File Manager di hosting atau FTP.
File tersebut perlu diletakkan di direktori root website, yaitu folder utama tempat file WordPress seperti wp-config.php berada.
Apa pun cara yang kamu pilih, pastikan isi robots.txt tidak memblokir halaman penting. Jangan sampai artikel, halaman utama, kategori, atau file pendukung yang dibutuhkan website justru tidak bisa dirayapi oleh mesin pencari.
Cara Membuat Robots.txt dengan Yoast SEO
Salah satu cara paling mudah untuk membuat robots.txt di WordPress adalah menggunakan plugin SEO. Kalau kamu memakai Yoast SEO, prosesnya bisa dilakukan langsung dari dashboard WordPress tanpa perlu masuk ke cPanel atau File Manager.
Sebelum mulai, pastikan plugin Yoast SEO sudah terpasang dan aktif di website kamu. Setelah itu, masuk ke dashboard WordPress, lalu buka menu Yoast SEO > Tools.
Di halaman tersebut, pilih fitur File editor. Melalui menu ini, kamu bisa mengelola beberapa file penting yang berhubungan dengan SEO, termasuk file robots.txt.
Kalau website kamu belum memiliki file robots.txt fisik, Yoast biasanya akan menampilkan tombol untuk membuat file baru. Kamu cukup klik tombol Create robots.txt file, lalu Yoast akan membuatkan file robots.txt yang bisa langsung kamu edit.
Namun, kalau file robots.txt sudah ada di website, kamu akan langsung melihat area editor untuk mengubah isinya. Setelah selesai melakukan perubahan, jangan lupa klik tombol simpan agar pengaturan yang kamu buat benar-benar diterapkan.
Cara ini cocok untuk pemula karena lebih praktis dan tidak perlu menyentuh file website secara langsung. Tapi tetap hati-hati saat mengedit isinya. Pastikan kamu tidak memasukkan aturan yang bisa memblokir halaman penting dari crawler mesin pencari.
Nanti, setelah membahas cara membuat robots.txt secara manual, kita akan masuk ke contoh isi file yang aman digunakan untuk website WordPress.
Cara Membuat Robots.txt WordPress Secara Manual
Selain menggunakan plugin, kamu juga bisa membuat file robots.txt secara manual. Cara ini cocok kalau kamu ingin mengelola file langsung dari hosting atau tidak ingin menambah plugin hanya untuk mengedit file robots.txt.
Langkah pertama, siapkan aplikasi text editor. Kamu bisa memakai Notepad, Notepad++, Sublime Text, atau text editor lain yang biasa kamu gunakan.
Setelah itu, buat dokumen baru dan simpan dengan nama: robots.txt
Pastikan nama file ditulis dengan huruf kecil semua. Jangan menulis robot.txt, karena nama yang benar adalah robots.txt dengan huruf “s”.
Setelah file dibuat, langkah berikutnya adalah mengunggahnya ke server. Kamu bisa menggunakan FTP client seperti FileZilla atau Cyberduck. Kalau hosting kamu menyediakan File Manager di cPanel, kamu juga bisa mengunggah file dari sana.
Yang paling penting, letakkan file tersebut di root website, bukan di dalam folder lain. Root website adalah folder utama tempat file WordPress berada, biasanya satu lokasi dengan file seperti wp-config.php.
Contohnya, kalau website kamu bisa diakses melalui:
https://namadomain.com/
maka file robots.txt harus bisa dibuka melalui:
https://namadomain.com/robots.txt
Lokasi root ini bisa berbeda tergantung hosting yang digunakan. Di beberapa hosting, folder root biasanya bernama public_html. Di hosting lain, bisa saja bernama www atau nama domain kamu.
Setelah file berhasil diunggah, kamu bisa mengeceknya langsung lewat browser dengan mengetik alamat namadomain.com/robots.txt. Kalau file muncul, berarti robots.txt sudah berhasil dibuat.
Namun, pada tahap ini file tersebut mungkin masih kosong. Jadi, langkah berikutnya adalah memahami aturan dasar apa saja yang bisa dimasukkan ke dalam file robots.txt.
Aturan Dasar dalam File Robots.txt
Sebelum mengedit isi dari file robots.txt, kamu perlu memahami beberapa aturan dasarnya. File ini punya sintaks atau pola penulisan tertentu yang harus diperhatikan agar crawler bisa membacanya dengan benar.
Dua aturan utama yang paling sering digunakan adalah:
User-agent: digunakan untuk menentukan crawler atau robot mesin pencari yang akan diberi aturan.
Disallow: digunakan untuk menentukan halaman, folder, atau direktori yang tidak boleh dirayapi oleh crawler.
Contoh paling sederhana seperti ini:
User-agent: *
Disallow: /Pada baris pertama, tanda bintang * berarti aturan tersebut berlaku untuk semua crawler mesin pencari. Sedangkan baris kedua Disallow: / berarti semua halaman dan folder di website tidak boleh dirayapi.
Aturan seperti ini biasanya tidak cocok untuk website yang ingin tampil di Google, karena bisa membuat seluruh website tertutup dari proses perayapan. Namun, aturan tersebut bisa berguna untuk website yang masih dalam tahap pengembangan dan belum ingin dirayapi mesin pencari.
Kalau kamu hanya ingin memblokir crawler tertentu, kamu bisa menulis nama user-agent secara khusus. Misalnya, untuk crawler Yahoo yang dikenal dengan nama Slurp, contohnya seperti ini:
User-agent: Slurp
Disallow: /Dengan aturan tersebut, hanya crawler bernama Slurp yang diarahkan untuk tidak merayapi website.
Selain User-agent dan Disallow, ada juga aturan lain yang bisa digunakan, seperti:
Allow: digunakan untuk mengizinkan crawler merayapi file atau halaman tertentu di dalam folder yang sebelumnya diblokir.
Sitemap: digunakan untuk memberi tahu lokasi sitemap website kepada crawler.
Contoh penggunaan Allow bisa dilihat pada file robots.txt bawaan WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpPada contoh tersebut, folder /wp-admin/ tidak diizinkan untuk dirayapi. Namun, file admin-ajax.php tetap diizinkan karena dibutuhkan oleh beberapa fitur WordPress.
Kamu juga bisa menambahkan lokasi sitemap seperti ini:
Sitemap: https://namadomainmu.com/sitemap_index.xml
Baris sitemap ini bersifat opsional. Kalau kamu sudah mengirim sitemap lewat Google Search Console, sebenarnya itu sudah cukup. Namun, menambahkan sitemap di file robots.txt juga bisa membantu crawler menemukan peta situs dengan lebih mudah.
Intinya, saat membuat file robots.txt, jangan asal menyalin aturan dari website lain. Setiap website bisa punya kebutuhan berbeda. Pastikan kamu hanya memblokir bagian yang memang tidak penting untuk dirayapi, dan jangan sampai halaman utama, artikel, kategori, gambar penting, atau file pendukung SEO ikut terblokir.
Kalau salah mengatur, robots.txt yang seharusnya membantu SEO pada websitemu justru bisa menghambat halaman penting dari proses perayapan mesin pencari.
Contoh Aturan Robots.txt yang Sering Digunakan
Setelah memahami aturan dasar seperti User-agent, Disallow, dan Allow, sekarang kita lihat beberapa contoh penerapannya di robots.txt.
Memblokir Akses ke Direktori Tertentu
Contoh pertama adalah memblokir crawler agar tidak merayapi direktori tertentu, misalnya folder admin WordPress.
User-agent: *
Disallow: /wp-admin/Pada contoh di atas, User-agent: * berarti aturan tersebut berlaku untuk semua crawler. Sedangkan Disallow: /wp-admin/ memberi arahan agar semua crawler tidak merayapi isi direktori /wp-admin/.
Aturan seperti ini umum digunakan di WordPress karena area admin memang bukan bagian yang perlu muncul di hasil pencarian. Namun, seperti contoh bawaan WordPress, biasanya file admin-ajax.php tetap perlu diizinkan karena beberapa fitur WordPress membutuhkannya.
Contohnya:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpDengan aturan tersebut, folder admin tetap diblokir, tetapi file penting yang dibutuhkan WordPress masih bisa diakses.
Memblokir Akses ke Halaman atau File Tertentu
Selain direktori, kamu juga bisa menggunakan file robots.txt untuk memberi arahan agar crawler tidak merayapi halaman atau file tertentu.
Contohnya:
User-agent: *
# Memblokir halaman login WordPress
Disallow: /wp-login.php
# Memblokir file gambar tertentu
Disallow: /myphoto.jpgPada contoh di atas, crawler diarahkan untuk tidak merayapi halaman login WordPress dan file gambar bernama myphoto.jpg.
Kamu juga bisa melihat adanya simbol # di dalam contoh tersebut. Simbol ini digunakan untuk menulis komentar. Artinya, teks setelah tanda # tidak akan diproses sebagai aturan oleh crawler. Komentar seperti ini hanya berfungsi sebagai catatan agar isi robots.txt lebih mudah dipahami.
Perhatikan Huruf Besar dan Kecil
Satu hal penting yang sering dilupakan adalah aturan robots.txt bersifat case sensitive. Artinya, huruf besar dan huruf kecil dianggap berbeda.
Misalnya aturan berikut:
Disallow: /myphoto.jpg
Aturan tersebut cocok untuk URL:
https://namadomain.com/myphoto.jpg
Namun, belum tentu berlaku untuk:
https://namadomain.com/Myphoto.jpg
Karena ada perbedaan huruf besar pada nama file, crawler bisa menganggapnya sebagai URL yang berbeda.
Jadi, saat menulis aturan di robots.txt WordPress, pastikan nama folder, halaman, dan file ditulis dengan benar. Kesalahan kecil seperti huruf besar, huruf kecil, atau garis miring bisa membuat aturan tidak berjalan sesuai harapan.
Membuat Aturan Berbeda untuk Crawler yang Berbeda
Di dalam robots.txt WordPress, kamu juga bisa membuat aturan yang berbeda untuk crawler tertentu. Misalnya, satu aturan berlaku untuk semua crawler, lalu aturan lain hanya berlaku untuk Googlebot.
Contohnya seperti ini:
User-agent: *
Disallow: /wp-login.php
User-agent: Googlebot
Disallow: /Pada contoh di atas, aturan pertama berlaku untuk semua crawler. Baris Disallow: /wp-login.php memberi arahan agar semua crawler tidak merayapi halaman login WordPress.
Sedangkan aturan kedua hanya berlaku untuk Googlebot, yaitu crawler milik Google. Baris Disallow: / berarti Googlebot diarahkan untuk tidak merayapi seluruh website.
Namun, aturan seperti ini perlu digunakan dengan sangat hati-hati. Kalau kamu memblokir Googlebot dari seluruh website, halaman-halaman penting bisa tidak dirayapi oleh Google. Akibatnya, performa SEO WordPress bisa terganggu.
Jadi, sebelum membuat aturan khusus untuk crawler tertentu, pastikan kamu benar-benar paham tujuannya. Untuk kebanyakan website WordPress, aturan yang terlalu agresif seperti memblokir seluruh akses Googlebot biasanya tidak disarankan.
Mengizinkan File Tertentu di Dalam Folder yang Diblokir
Selain Disallow, kamu juga bisa memakai aturan Allow. Aturan ini digunakan ketika kamu ingin memblokir sebuah folder, tetapi tetap mengizinkan crawler mengakses file tertentu di dalam folder tersebut.
Contohnya seperti ini:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/widgets.phpPada contoh tersebut, crawler diarahkan untuk tidak merayapi folder /wp-admin/. Namun, file /wp-admin/widgets.php tetap diizinkan untuk diakses.
Konsep ini mirip dengan aturan bawaan WordPress yang biasanya memblokir folder admin, tetapi tetap mengizinkan akses ke admin-ajax.php karena file tersebut masih dibutuhkan oleh beberapa fungsi WordPress.
Contoh yang lebih umum digunakan adalah:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpDengan aturan seperti ini, file robots.txt tetap membantu membatasi area yang tidak perlu dirayapi, tanpa mengganggu file penting yang dibutuhkan website.
Intinya, gunakan Allow hanya ketika ada file tertentu di dalam folder yang diblokir tetapi tetap perlu diakses crawler. Jangan asal menambahkan aturan kalau tidak yakin fungsinya, karena kesalahan kecil di robots.txt bisa berdampak pada proses perayapan website.
Cara Cek File Robots.txt Apakah Sudah Berjalan dengan Benar atau Tidak
Setelah membuat atau mengedit robots.txt WordPress, jangan langsung menganggap semuanya aman. Kamu tetap perlu mengeceknya, karena satu aturan yang salah bisa membuat halaman penting tidak dirayapi oleh mesin pencari.
Cara paling mudah adalah membuka file tersebut langsung melalui browser. Kamu bisa mengetik alamat seperti ini:
https://namadomain.com/robots.txt
Kalau file berhasil terbuka, berarti file robots.txt sudah bisa diakses secara publik. Setelah itu, periksa apakah aturan yang kamu tulis sudah benar, tidak ada salah ketik, dan tidak ada folder penting yang tidak sengaja diblokir.
Selain mengecek lewat browser, kamu juga bisa memakai Google Search Console. Di sana, kamu dapat memantau bagaimana Google membaca website kamu, termasuk mengecek apakah ada masalah perayapan yang berkaitan dengan robots.txt.
Kamu juga bisa menggunakan fitur URL Inspection untuk mengecek URL tertentu. Fitur ini membantu melihat apakah sebuah halaman bisa dirayapi dan bagaimana statusnya di Google. Kalau ada halaman penting yang bermasalah, kamu bisa menelusuri apakah penyebabnya berasal dari aturan robots.txt, tag noindex, error server, atau masalah teknis lainnya.
Jika setelah mengedit robots.txt kamu melihat tampilan halaman tidak terbaca sempurna oleh Google, misalnya style tidak muncul atau elemen tertentu hilang, bisa jadi ada file CSS atau JavaScript yang ikut terblokir. Ini perlu diperiksa, karena Google perlu memahami tampilan halaman secara utuh agar bisa menilai konten dengan lebih baik.
Intinya, setelah mengubah filevrobots.txt, selalu lakukan pengecekan. Jangan hanya melihat apakah file-nya ada, tapi pastikan juga aturan di dalamnya tidak menghalangi halaman atau resource penting yang dibutuhkan untuk SEO WordPress.
Cara Optimasi Robots.txt
Pertanyaan berikutnya, apa saja yang sebaiknya dimasukkan ke dalam file robots.txt? Apakah ada template khusus yang bisa langsung dipakai semua website?
Jawabannya: ada contoh dasar, tapi tidak ada satu template yang benar-benar cocok untuk semua website. Setiap website punya struktur, plugin, dan kebutuhan SEO yang berbeda. Jadi, jangan asal menyalin robots.txt dari website lain tanpa memahami fungsinya.
Untuk website WordPress, contoh sederhana yang cukup umum digunakan adalah:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://namadomain.com/sitemap_index.xmlAturan tersebut memblokir folder admin WordPress agar tidak dirayapi, tetapi tetap mengizinkan akses ke admin-ajax.php karena file ini sering dibutuhkan oleh fungsi WordPress. Baris sitemap membantu crawler menemukan peta situs website kamu.
Namun, ada juga pendekatan yang lebih luas, misalnya memblokir folder tertentu seperti /wp-includes/, halaman login, atau file tertentu yang dianggap tidak penting. Contohnya:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://namadomain.com/sitemap_index.xmlMeski begitu, kamu harus hati-hati. Jangan terlalu agresif memblokir banyak folder atau file, terutama folder yang berisi CSS, JavaScript, gambar, atau resource penting lain. Kalau file-file tersebut terblokir, Google bisa kesulitan memahami tampilan halaman secara utuh.
Dalam praktiknya, banyak ahli SEO sekarang cenderung menyarankan pengaturan robots.txt yang minimalis. Maksudnya, cukup blokir bagian yang memang tidak perlu dirayapi, tanpa menutup akses ke resource penting yang dibutuhkan mesin pencari.
Untuk pemula, pendekatan minimalis biasanya lebih aman. Kamu tidak perlu memasukkan terlalu banyak aturan kalau belum benar-benar paham dampaknya. Lebih baik robots.txt sederhana tapi aman, daripada terlihat lengkap tetapi malah memblokir halaman penting.
Sebagai panduan dasar, kamu bisa mempertimbangkan beberapa hal ini:
- Jangan blokir halaman artikel, halaman utama, kategori penting, atau halaman yang ingin tampil di Google.
- Jangan gunakan robots.txt untuk menyembunyikan konten rahasia.
- Jangan blokir file CSS dan JavaScript jika file tersebut dibutuhkan untuk menampilkan halaman dengan benar.
- Gunakan tag noindex jika tujuan kamu adalah mencegah halaman muncul di hasil pencarian.
- Tambahkan sitemap agar crawler lebih mudah menemukan struktur website.
- Selalu cek hasilnya di Google Search Console setelah mengedit file.
Jadi, dalam mengoptimasi file robots.txt WordPress, kuncinya bukan membuat aturan sebanyak mungkin. Yang paling penting adalah memastikan crawler tetap bisa mengakses halaman yang penting, sementara bagian yang tidak perlu dirayapi bisa dibatasi dengan aman.
Kalau kamu belum yakin, gunakan konfigurasi sederhana terlebih dahulu. Setelah itu, pantau hasilnya melalui Search Console. Dengan cara ini, file robots.txt bisa membantu proses perayapan tanpa membahayakan performa SEO websitemu.
Kesimpulan
Dari pembahasan di atas, bisa disimpulkan bahwa file robots.txt adalah salah satu file kecil yang punya peran penting dalam pengelolaan website. Melalui file ini, kamu bisa memberi arahan kepada crawler mesin pencari tentang bagian mana yang boleh dan tidak boleh dirayapi.
Untuk website berbasis WordPress, robots.txt bisa membantu mengatur proses crawling agar mesin pencari lebih fokus pada halaman yang penting. Namun, file ini juga harus digunakan dengan hati-hati. Salah menulis aturan, misalnya memakai Disallow: /, bisa membuat seluruh website tidak dirayapi oleh crawler tertentu.
Karena itu, jangan asal menyalin konfigurasi robots.txt dari website lain. Setiap website punya struktur dan kebutuhan berbeda. Untuk pemula, lebih aman menggunakan pengaturan sederhana, seperti memblokir folder admin WordPress dan tetap mengizinkan file penting seperti admin-ajax.php.
Selain itu, jangan gunakan file robots.txt untuk menyembunyikan halaman rahasia atau menghapus halaman dari hasil pencarian. Kalau tujuanmu adalah mencegah halaman muncul di Google, gunakan tag noindex melalui plugin SEO seperti Rank Math atau Yoast SEO.
Intinya, robots.txt bisa membantu SEO WordPress jika digunakan dengan benar. Tapi kalau salah konfigurasi, file ini justru bisa menghambat mesin pencari dalam merayapi halaman penting di website kamu. Jadi, sebelum menyimpan perubahan, pastikan aturan yang kamu buat sudah dicek dan tidak memblokir konten yang seharusnya tampil di Google.
