March 29, 2024

Mencegah Mesin Pencari Mengindeks Situs Anda

Mencegah Mesin Pencari Mengindeks Situs Anda – Apabila Anda sudah melihat-lihat backend WordPress, Anda mungkin sudah memperhatikan pengaturan yg mengatakan “Harang mesin pencari buat mengindeks situs ini” & penasaran apa artinya. Atau mungkin Anda sedang mencari cara buat menyembunyikan situs Anda menurut pengunjung yg nir diinginkan & penasaran apakah kotak centang mini ini relatif buat menjaga kerahasiaan konten Anda menggunakan aman. Apa yg dimaksud menggunakan opsi ini? Apa sebenarnya manfaatnya buat situs Anda? Dan mengapa Anda wajib menghindari mengandalkannya bahkan apabila Anda mencoba menyembunyikan konten Anda?

Mencegah Mesin Pencari Mengindeks Situs Anda

 Baca Juga : Berapa Lamakah Google Mengindeks Situs Baru?

indexunlimited – Berikut adalah jawaban dan beberapa metode lain untuk mendeindeks situs Anda dan memblokir akses ke halaman tertentu.

Apa Artinya “Mencegah Mesin Pencari Mengindeks Situs Ini”?

Pernahkah Anda bertanya-tanya bagaimana mesin pencari mengindeks situs Anda dan mengukur SEO Anda? Mereka melakukannya dengan program otomatis yang disebut spider, juga dikenal sebagai robot atau crawler. Laba-laba “merangkak” web, mengunjungi situs web, dan mencatat semua konten Anda. Google menggunakannya untuk memutuskan bagaimana memberi peringkat dan menempatkan situs web Anda di hasil pencarian, mengambil uraian dari artikel Anda untuk halaman hasil pencarian, dan menarik gambar Anda ke dalam Gambar Google.

Saat Anda mencentang “Discourage search engine from indexing this site,” WordPress memodifikasi file robots.txt Anda (file yang memberikan instruksi kepada spider tentang cara merayapi situs Anda). Itu juga dapat menambahkan tag meta ke tajuk situs Anda yang memberi tahu Google dan mesin pencari lainnya untuk tidak mengindeks konten apa pun di seluruh situs Anda. Kata kuncinya di sini adalah “mencegah”: Mesin pencari tidak memiliki kewajiban untuk memenuhi permintaan ini, terutama mesin pencari yang tidak menggunakan sintaks robots.txt standar seperti yang dilakukan Google.

Perayap web akan tetap dapat menemukan situs Anda, tetapi perayap yang dikonfigurasi dengan benar akan membaca robots.txt Anda dan pergi tanpa mengindeks konten atau menampilkannya di hasil penelusuran mereka. Di masa lalu, opsi di WordPress ini tidak menghentikan Google untuk menampilkan situs web Anda di hasil pencarian, hanya dari mengindeks kontennya. Anda masih dapat melihat halaman Anda muncul di hasil pencarian dengan kesalahan seperti “Tidak ada informasi yang tersedia untuk halaman ini” atau “Deskripsi untuk hasil ini tidak tersedia karena robots.txt situs.”

Meskipun Google tidak mengindeks halaman, mereka juga tidak menyembunyikan halaman sepenuhnya. Anomali ini menyebabkan orang dapat mengunjungi halaman yang tidak seharusnya mereka lihat. Berkat WordPress 5.3, sekarang berfungsi dengan baik, memblokir pengindeksan dan daftar situs. Anda dapat membayangkan bagaimana ini akan menghancurkan SEO Anda jika Anda mengaktifkannya secara tidak sengaja. Sangat penting untuk menggunakan opsi ini hanya jika Anda benar-benar tidak ingin orang lain melihat konten Anda dan meskipun demikian, itu mungkin bukan satu-satunya tindakan yang ingin Anda ambil.

Mengapa Anda Mungkin Tidak Ingin Mengindeks Situs Anda

Website dibuat untuk dilihat oleh orang-orang. Anda ingin pengguna membaca artikel Anda, membeli produk Anda, mengonsumsi konten Anda mengapa Anda sengaja mencoba memblokir mesin telusur?

Ada beberapa alasan mengapa Anda mungkin ingin menyembunyikan sebagian atau seluruh situs Anda.

  • -Situs Anda sedang dalam pengembangan dan belum siap untuk dilihat oleh publik.
  • -Anda menggunakan WordPress sebagai sistem manajemen konten tetapi ingin menjaga kerahasiaan konten tersebut.
  • -Anda mencoba menyembunyikan informasi sensitif.
  • -Anda ingin situs Anda hanya dapat diakses oleh sejumlah kecil orang dengan tautan atau melalui undangan saja, bukan melalui halaman pencarian publik.
  • -Anda ingin meletakkan beberapa konten di balik paywall atau gerbang lainnya, seperti artikel eksklusif buletin.
  • -Anda ingin memotong lalu lintas ke artikel lama yang sudah ketinggalan zaman.
  • -Anda ingin mencegah hukuman SEO pada halaman pengujian atau konten duplikat.

Ada solusi yang lebih baik untuk beberapa di antaranya menggunakan server pengembangan offline yang tepat, menyetel artikel Anda ke pribadi, atau meletakkannya di belakang kata sandi tetapi ada alasan yang sah mengapa Anda mungkin ingin mendeindeks sebagian atau seluruh situs Anda.

Cara Memeriksa apakah Situs Anda Mengecilkan Mesin Pencari

Meskipun Anda mungkin memiliki alasan yang sah untuk mendeindeks situs Anda, mungkin sangat mengejutkan mengetahui bahwa Anda telah mengaktifkan pengaturan ini tanpa sengaja atau membiarkannya aktif secara tidak sengaja. Jika Anda mendapatkan nol lalu lintas dan mencurigai situs Anda tidak diindeks, berikut cara mengonfirmasinya. Salah satu cara mudah adalah dengan mencentang kotak At a Glance yang terletak di layar beranda dasbor admin Anda. Cukup masuk ke backend Anda dan centang kotaknya. Jika Anda melihat “Mesin Pencari Tidak Berminat”, maka Anda tahu bahwa Anda telah mengaktifkan pengaturan itu.

Cara yang lebih andal adalah dengan memeriksa robots.txt Anda. Anda dapat dengan mudah memverifikasi ini di browser bahkan tanpa masuk ke situs Anda. Untuk memeriksa robots.txt, yang perlu Anda lakukan hanyalah menambahkan /robots.txt di akhir URL situs Anda. Misalnya: https://kinsta.com/robots.txt. Jika Anda melihat Disallow: / maka seluruh situs Anda diblokir dari pengindeksan.

Jika Anda melihat Disallow: diikuti dengan jalur URL, seperti Disallow: /wp-admin/, artinya URL apa pun dengan jalur /wp-admin/ sedang diblokir. Struktur ini normal untuk beberapa halaman, tetapi jika, misalnya, memblokir /blog/ yang memiliki halaman yang ingin Anda indeks, itu bisa menyebabkan masalah. Sekarang WordPress menggunakan tag meta daripada robots.txt untuk mendeindeks situs Anda, Anda juga harus memeriksa header Anda untuk modifikasi. Masuk ke backend Anda dan buka Appearance > Theme Editor. Temukan Theme Header (header.php) dan cari kode.

Anda juga dapat memeriksa functions.php untuk tag noindex, karena dimungkinkan untuk memasukkan kode dari jarak jauh ke dalam header melalui file ini. Jika Anda menemukan kode ini di file tema Anda, berarti situs Anda tidak diindeks oleh Google. Tapi daripada menghapusnya secara manual, mari kita coba matikan pengaturan aslinya terlebih dahulu.

Cara Mencegah Pengindeksan Mesin Pencari di WordPress

Jika Anda ingin melewati langkah ekstra dan langsung ke pengaturan awal, berikut ini cara mengaktifkan atau menonaktifkan opsi “Hindari mesin pencari” di WordPress. Masuk ke dasbor WordPress Anda dan arahkan ke Pengaturan> Membaca. Cari opsi Visibilitas Mesin Telusur dengan kotak centang berlabel “Hindari mesin telusur mengindeks situs ini.”

Jika Anda menemukan bahwa ini sudah aktif dan ingin situs Anda diindeks, maka hapus centang. Jika Anda akan mencegah situs Anda diindeks, periksa (dan tulis catatan di suatu tempat yang mengingatkan Anda untuk mematikannya nanti!). Sekarang klik Simpan Perubahan, dan Anda siap melakukannya. Mungkin perlu beberapa saat agar situs Anda diindeks ulang atau ditarik dari hasil penelusuran. Jika situs Anda masih dideindeks, Anda juga dapat menghapus kode noindex dari file header, atau mengedit robots.txt secara manual untuk menghapus tanda “Disallow”. Jadi itu cukup sederhana, tetapi apa alasan mengapa Anda harus menghindari opsi ini, atau setidaknya tidak bergantung sepenuhnya padanya?

Kekurangan Menggunakan Opsi Mesin Pencari Kecilkan

Tampaknya sederhana centang kotak dan tidak ada yang dapat melihat situs Anda. Bukankah itu cukup baik? Mengapa Anda harus menghindari menggunakan opsi ini sendiri?. Saat Anda mengaktifkan setelan ini atau opsi apa pun yang serupa, yang dilakukan hanyalah menambahkan tag ke header atau robots.txt Anda. Seperti yang ditunjukkan oleh versi WordPress yang lebih lama yang masih mengizinkan situs Anda untuk terdaftar di hasil pencarian, kesalahan kecil atau kesalahan lain dapat menyebabkan orang melihat halaman Anda yang seharusnya tersembunyi.

Selain itu, sepenuhnya terserah mesin telusur untuk memenuhi permintaan untuk tidak merayapi situs Anda. Mesin pencari utama seperti Google dan Bing biasanya akan melakukannya, tetapi tidak semua mesin pencari menggunakan sintaks robots.txt yang sama, dan tidak semua laba-laba yang merayapi web dikirim oleh mesin pencari. Misalnya, salah satu layanan yang menggunakan perayap web adalah Mesin Wayback. Dan jika konten Anda diindeks oleh layanan semacam itu, itu ada di web selamanya. Anda mungkin berpikir hanya karena situs baru Anda tidak memiliki tautan ke sana sehingga aman dari laba-laba, tetapi itu tidak benar. Ada di server bersama, mengirim email dengan tautan ke situs web Anda, atau bahkan mengunjungi situs Anda di browser (terutama Chrome) dapat membuka situs Anda hingga dirayapi.

Jika Anda ingin menyembunyikan konten, itu bukan ide yang baik untuk menambahkan parameter dan berharap itu akan berhasil. Dan mari kita perjelas, jika konten yang Anda deindeks bersifat sensitif atau pribadi, Anda sama sekali tidak boleh mengandalkan robots.txt atau tag meta untuk menyembunyikannya. Last but not least, opsi ini akan sepenuhnya menyembunyikan situs Anda dari mesin pencari, sementara sering kali Anda hanya ingin menghapus indeks halaman tertentu. Jadi apa yang harus Anda lakukan selain atau di samping metode ini?

Cara Lain untuk Mencegah Pengindeksan Mesin Pencari

Sementara opsi yang disediakan oleh WordPress biasanya akan melakukan tugasnya, untuk situasi tertentu, seringkali lebih baik menggunakan metode lain untuk menyembunyikan konten. Bahkan Google sendiri mengatakan jangan gunakan robots.txt untuk menyembunyikan halaman. Selama situs Anda memiliki nama domain dan berada di server yang menghadap publik, tidak ada cara untuk menjamin konten Anda tidak akan terlihat atau diindeks oleh perayap kecuali Anda menghapusnya atau menyembunyikannya di balik kata sandi atau persyaratan masuk. Yang mengatakan, apa cara yang lebih baik untuk menyembunyikan situs Anda atau halaman tertentu di dalamnya?

Blokir Mesin Pencari dengan .htaccess

Meskipun implementasinya secara fungsional sama dengan hanya menggunakan opsi “Hindari mesin pencari”, Anda mungkin ingin menggunakan .htaccess secara manual untuk memblokir pengindeksan situs Anda. Anda harus menggunakan program FTP/SFTP untuk mengakses situs Anda dan membuka file .htaccess, biasanya terletak di folder root (folder pertama yang Anda lihat saat membuka situs) atau di public_html.

Catatan: Metode ini hanya berfungsi untuk server Apache. Server NGINX, seperti yang berjalan di Kinsta, perlu menambahkan kode ini ke file .conf, yang dapat ditemukan di /etc/nginx/

Lindungi Halaman Sensitif dengan Kata Sandi

Jika ada artikel atau halaman tertentu yang tidak ingin diindeks oleh mesin telusur, cara terbaik untuk menyembunyikannya adalah dengan melindungi situs Anda dengan kata sandi. Dengan begitu, hanya Anda dan pengguna yang Anda inginkan yang dapat melihat konten tersebut.

Leave a Reply

Your email address will not be published. Required fields are marked *