Cara Mengoptimalkan Robots.txt WordPress untuk SEO

Ethaklik

Baru-baru ini salah satu pembaca kami meminta kami untuk membahas tentang cara mengoptimalkan robots.txt untuk meningkatkan SEO. Robots.txt ini memberi tahu mesin pencari cara meng-crawl situs web Anda yang menjadikannya alat SEO yang sangat kuat.

Dalam artikel ini, kami akan menunjukkan kepada Anda cara membuat robots.txt yang sempurna untuk SEO. Tetapi sebelum membahasnya lebih jauh lagi alangkah baiknya Anda mengetahui apa itu robots.txt

Apa itu robots.txt?

Robots.txt adalah file teks yang dapat dibuat pemilik situs web untuk memberi tahu bot mesin pencari cara merangkak dan mengindeks halaman di situs mereka. Biasanya disimpan di direktori root, juga dikenal sebagai folder utama dari situs web Anda. Format dasar untuk robot.txt terlihat seperti ini:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
Sitemap: [URL of your XML Sitemap]

Anda dapat memiliki beberapa baris instruksi untuk memperbolehkan atau melarang URL tertentu dan menambahkan beberapa sitemap. Jika Anda tidak melarang URL, maka bot mesin pencari menganggap bahwa mereka diizinkan untuk merangkak itu.

Berikut adalah contoh robots.txt :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

Dalam robots.txt diatas, kami telah mengizinkan mesin pencari untuk merangkak dan mengindeks file di folder unggahan WordPress kami. Setelah itu, kami juga tidak mengizinkan bot untuk mengindeks plugin dan folder admin WordPress. Terakhir, kami telah memberikan URL sitemap XML kami.

Apakah Anda Membutuhkan Robots.txt untuk WordPress Anda?

Jika Anda tidak memiliki file robots.txt, mesin pencari masih akan merangkak dan mengindeks situs web Anda. Namun, Anda tidak akan dapat memberi tahu mesin pencari halaman atau folder mana yang tidak boleh mereka merangkak crawl.

Ini tidak akan memiliki banyak dampak ketika Anda pertama kali memulai blog dan tidak memiliki banyak konten. Namun ketika situs web Anda tumbuh dan Anda memiliki banyak konten, maka Anda mungkin ingin memiliki kontrol yang lebih baik tentang bagaimana situs web Anda di-crawl dan diindeks.

Inilah alasannya.

Bot memiliki kuota crawling untuk setiap situs web.

Ini berarti bahwa mereka meng-crawl sejumlah halaman selama sesi pendataan. Jika mereka tidak selesai meng-crawl semua halaman di situs Anda, maka mereka akan kembali dan melanjutkan crawling di sesi berikutnya. Ini dapat memperlambat laju pengindeksan situs web Anda.

Anda dapat memperbaiki ini dengan melarang bot pencarian dari mencoba meng-crawl halaman yang tidak perlu seperti halaman admin WordPress Anda, file plugin, dan folder tema.

Dengan melarang halaman yang tidak diperlukan, Anda menyimpan kuota pendataan. Ini membantu mesin pencari meng-crawl lebih banyak halaman di situs Anda dan mengindeksnya secepat mungkin.

Alasan bagus lainnya untuk menggunakan robots.txt adalah ketika Anda ingin menghentikan mesin pencari mengindeks posting atau halaman di situs web Anda. Ini bukan cara paling aman untuk menyembunyikan konten dari masyarakat umum, tetapi itu akan membantu Anda mencegah mereka muncul di hasil pencarian.

Seperti Apa Tampilan Robots.txt yang Ideal?

Banyak blog populer menggunakan robots.txt yang sangat sederhana. Konten mereka dapat bervariasi, tergantung pada kebutuhan situs tertentu:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt memungkinkan semua bot untuk mengindeks semua konten dan memberi mereka tautan ke sitemap XML situs web. Untuk situs WordPress, kami merekomendasikan aturan berikut di file robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Ini memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress. Dan melarang bot pencarian mengindeks file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Dengan menambahkan peta situs ke robots.txt file, Anda memudahkan bot Google untuk menemukan semua halaman di situs Anda. Sekarang setelah Anda tahu seperti apa robot yang ideal.txt file, mari kita lihat bagaimana Anda dapat membuat robots.txt file di WordPress.

Bagaimana Cara Membuat Robots.txt Di WordPress?

Ada dua cara untuk membuat robots.txt di WordPress. Anda dapat memilih metode yang paling cocok untuk Anda.

1. Mengedit Robots.txt File Menggunakan All in One SEO

All in One SEO juga dikenal sebagai AIOSEO adalah plugin SEO WordPress terbaik di pasar yang digunakan oleh lebih dari 2 juta situs web. Mudah digunakan dan dilengkapi dengan generator file robots.txt.

Setelah plugin diinstal dan diaktifkan, Anda dapat menggunakannya untuk membuat dan mengedit robots.txt langsung dari area admin WordPress Anda.

Cukup buka All in One SEO » Alat untuk mengedit file robots.txt Anda.

Aioseo robots.txt
Aioseo robots.txt

Pertama, Anda harus mengaktifkan opsi pengeditan, dengan mengklik tombol ‘Aktifkan Kustom robots.txt’ ke biru. Dengan tombol ini, Anda dapat membuat robots.txt di WordPress.

aioseo enable custom robotstxt
aioseo enable custom robotstxt

All in One SEO akan menampilkan file robots.txt yang ada di bagian ‘Robots.txt Preview’ di bagian bawah layar Anda. Versi ini akan menunjukkan aturan default yang ditambahkan oleh WordPress.

robots txt default rules
robots txt default rules

Aturan default ini memberi tahu mesin pencari untuk tidak meng-crawl file WordPress inti Anda, memungkinkan bot untuk mengindeks semua konten, dan memberi mereka tautan ke peta situs XML situs Anda.

Sekarang, Anda dapat menambahkan aturan kustom Anda sendiri untuk meningkatkan robots.txt untuk SEO. Untuk menambahkan aturan, masukkan agen pengguna di bidang ‘Agen Pengguna’. Menggunakan * akan menerapkan aturan untuk semua agen pengguna.

Kemudian, pilih apakah Anda ingin ‘Izinkan’ atau ‘Larang’ mesin pencari untuk merangkak. Selanjutnya, masukkan nama berkas atau jalur direktori di kolom ‘Jalur Direktori’.

Add robots txt rule
Add robots txt rule

Aturan ini akan secara otomatis diterapkan ke robots.txt Anda. Untuk menambahkan aturan lain, klik tombol ‘Tambahkan Aturan’. Sebaiknya tambahkan aturan hingga Anda membuat robots.txt yang ideal, Aturan kustom Anda akan terlihat seperti ini.

Robots txt custom rules save
Robots txt custom rules save

Setelah selesai, jangan lupa untuk mengklik tombol ‘Simpan Perubahan’ untuk menyimpan perubahan Anda.

2. Edit robot.txt secara manual menggunakan FTP

Untuk cara ini, Anda harus menggunakan klien FTP untuk mengedit robots.txt file. Cukup terhubung ke akun hosting WordPress Anda menggunakan klien FTP. Setelah masuk, Anda akan dapat melihat robots.txt file di folder root situs web Anda.

ftp robots txt
ftp robots txt

Jika Anda tidak melihatnya, maka Anda mungkin tidak memiliki robots.txt file. Dalam hal ini, Anda hanya bisa pergi ke depan dan membuat satu.

ftp no robots txt create new
ftp no robots txt create new

Robots.txt adalah file teks biasa, yang berarti Anda dapat mengunduhnya ke komputer Anda dan mengeditnya menggunakan editor teks biasa seperti Notepad atau TextEdit. Setelah menyimpan perubahan, Anda dapat mengunggahnya kembali ke folder root situs web Anda.

Bagaimana Cara Menguji Robots.txt Anda?

Setelah Anda membuat robots.txt file, selalu merupakan ide yang baik untuk mengujinya menggunakan robots.txt penguji. Ada banyak robots.txt tester di luar sana, tetapi kami sarankan menggunakan yang ada di dalam Google Search Console.

Pertama, Anda harus menautkan situs dengan Google Search Console. Kemudian, Anda dapat menggunakan Alat Pengujian Robot Google Search Console. Cukup pilih properti Anda dari daftar turun bawah.

Alat ini akan secara otomatis mengambil robots.txt situs web anda dan menyoroti kesalahan dan peringatan jika menemukan.

Robots txt tester results
Robots txt tester results

Tujuan mengoptimalkan robots.txt Anda adalah untuk mencegah mesin pencari meng-crawl halaman yang tidak tersedia untuk umum. Misalnya, halaman di folder atau halaman wp-plugins Anda di folder admin WordPress Anda.

Mitos umum di antara para ahli SEO adalah bahwa memblokir kategori WordPress, tag, dan halaman arsip akan meningkatkan tingkat crawling dan menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi.

Ini tidak benar. Ini juga bertentangan dengan pedoman webmaster Google. Kami menyarankan Agar Anda mengikuti format robots.txt di atas untuk membuat robot.txt web Anda. Kami harap artikel ini membantu Anda mempelajari Cara Mengoptimalkan Robots.txt WordPress untuk SEO.

Baca Juga : Cara Membuat XML Sitemap di WordPress dengan Mudah

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

You May Also Like
Nama Domain
Read More

12 Tips Memilih Nama Domain Yang Tepat

Memilih Nama Domain Yang Tepat untuk usaha Anda sangatlah penting, itu adalah bagaimana audiens Anda akan menemukan dan…