Cara Mencegah Google Mengindeks Halaman Web Tertentu – Dalam pengoptimalan mesin telusur, tujuan umumnya adalah mendapatkan sebanyak mungkin halaman di situs web Anda yang diindeks dan dirayapi oleh mesin telusur seperti Google.
Cara Mencegah Google Mengindeks Halaman Web Tertentu
indexunlimited – Kesalahpahaman yang umum adalah bahwa hal itu dapat menghasilkan peringkat SEO yang lebih baik. Namun, itu mungkin tidak selalu demikian.
Seringkali, perlu dengan sengaja mencegah mesin pencari mengindeks halaman tertentu dari situs web Anda untuk meningkatkan SEO.
Satu studi menemukan bahwa lalu lintas pencarian organik meningkat sebesar 22% setelah menghapus halaman web duplikat, sementara Moz melaporkan peningkatan 13,7% dalam lalu lintas pencarian organik setelah menghapus halaman bernilai rendah.
Baca Juga : 11 Alasan Teratas Google Tidak Mengindeks Situs Web Anda
Halaman Web yang Tidak Perlu Diindeks
Seperti yang disebutkan, tidak semua halaman di situs web Anda perlu diindeks oleh mesin pencari. Biasanya, ini termasuk, tetapi tidak terbatas pada, berikut ini:
- Halaman arahan untuk iklan
- Halaman terima kasih
- Halaman privasi dan kebijakan
- Halaman admin
- Halaman duplikat (mis., konten serupa yang diposting di beberapa situs web yang dimiliki oleh satu perusahaan)
- Halaman bernilai rendah (mis., konten usang dari tahun lalu, tetapi sesuatu yang cukup berharga untuk tidak dihapus dari situs web Anda)
Sebelum de-indeks, penting untuk melakukan audit konten menyeluruh dari situs web Anda sehingga Anda memiliki pendekatan sistematis dalam menentukan halaman mana yang akan disertakan dan dikecualikan.
Cara Mencegah Google Mengindeks Halaman Web Tertentu
Ada empat cara untuk menghapus indeks halaman web dari mesin pencari: metatag “noindex”, X-Robots-Tag, file robots.txt, dan melalui Alat Webmaster Google.
1. Menggunakan metatag “noindex”
Alat yang paling efektif dan termudah untuk mencegah Google mengindeks halaman web tertentu adalah metatag “noindex”. Pada dasarnya, ini adalah arahan yang memberi tahu perayap mesin telusur untuk tidak mengindeks halaman web, dan karenanya tidak ditampilkan di hasil mesin telusur.
Cara menambahkan metatag “noindex”:
Yang perlu Anda lakukan adalah menyisipkan tag berikut di bagian <head> markup HTML halaman:
- <meta name=”robots” content=”noindex”>
Bergantung pada sistem manajemen konten (CMS) Anda, memasukkan metatag ini seharusnya cukup mudah. Untuk CMS seperti WordPress yang tidak mengizinkan pengguna mengakses kode sumber, gunakan plugin seperti Yoast SEO. Satu hal yang perlu diperhatikan di sini adalah Anda perlu melakukan ini pada setiap halaman yang ingin Anda de-index.
Selain itu, jika Anda ingin mesin pencari menghapus indeks halaman web Anda dan tidak mengikuti tautan di halaman itu (seperti dalam kasus halaman terima kasih di mana Anda tidak ingin mesin pencari mengindeks tautan ke penawaran Anda), gunakan “noindex” dengan metatag “nofollow”:
- <meta name=”robots” content=”noindex,nofollow”>
2. Menggunakan header HTTP X-Robots-Tag
Atau, Anda dapat menggunakan X-Robots-Tag, yang Anda tambahkan ke header respons HTTP dari URL yang diberikan. Ini pada dasarnya memiliki efek yang sama dengan tag “noindex”, tetapi dengan opsi tambahan untuk menentukan kondisi untuk mesin pencari yang berbeda. Untuk informasi lebih lanjut, silakan lihat panduan Google di sini.
Cara menambahkan X-Robots-Tag:
Bergantung pada browser web yang Anda gunakan, menemukan dan mengedit header respons HTTP bisa jadi sangat sulit. Untuk Google Chrome, Anda dapat menggunakan alat pengembang seperti ModHeader atau Modify Header Value. Berikut adalah contoh X-Robots-Tag untuk fungsi tertentu:
Untuk menghapus indeks halaman web:
- X-Robots-Tag: noindex
Untuk menetapkan aturan de-pengindeksan yang berbeda untuk mesin telusur yang berbeda:
- X-Robots-Tag: googlebot: nofollow
- X-Robots-Tag: bot lain: noindex, nofollow
3. Menggunakan file robots.txt
File robots.txt terutama digunakan untuk mengelola lalu lintas perayap mesin telusur agar tidak membebani situs web Anda dengan permintaan. Namun harus diperhatikan bahwa jenis file ini tidak dimaksudkan untuk menyembunyikan halaman web dari Google; alih-alih, ini digunakan untuk mencegah gambar, video, dan file media lainnya muncul di hasil pencarian.
Cara menggunakan file robots.txt untuk menyembunyikan file media dari Google:
Menggunakan robots.txt cukup teknis. Pada dasarnya, Anda perlu menggunakan editor teks untuk membuat file teks ASCII atau UTF-8 standar, dan kemudian menambahkan file itu ke folder root situs web Anda. Untuk mempelajari lebih lanjut tentang cara membuat file robots.txt, lihat panduan Google di sini. Google juga telah membuat panduan terpisah untuk menyembunyikan file media tertentu agar tidak muncul di hasil pencarian:
- Menyembunyikan gambar dengan file robots.txt
- Menyembunyikan video dengan file robots.txt
4. Menggunakan Alat Webmaster Google
Anda juga dapat memilih untuk memblokir sementara halaman dari hasil pencarian Google menggunakan Alat Hapus URL Google Webmaster. Harap perhatikan bahwa ini hanya berlaku untuk Google; mesin pencari lain memiliki alat khusus mereka sendiri. Penting juga untuk mempertimbangkan bahwa penghapusan ini bersifat sementara. Untuk penghapusan permanen halaman web dari hasil mesin pencari, lihat instruksi Google di sini.
Cara menggunakan alat Google Hapus URL untuk mengecualikan halaman sementara:
Prosedurnya cukup mudah. Buka Alat Hapus URL dan pilih properti di Search Console yang Anda miliki. Pilih Sembunyikan Sementara dan masukkan URL halaman. Setelah itu, pilih Hapus URL dari cache dan hapus sementara dari Pencarian. Ini menyembunyikan halaman dari hasil pencarian Google selama 90 hari, dan juga menghapus salinan cache halaman dan cuplikan dari indeks Google.