Panduan Utama untuk Pengindeksan SEO – Pengindeksan adalah proses menyimpan halaman web dalam indeks database mesin pencari. Ini adalah langkah penting sebelum Anda dapat melihat situs web Anda di Google. Dan rata-rata, 16% halaman berharga di situs web populer tidak diindeks. Masalah SEO ini adalah masalah bisnis yang kritis bagi seluruh organisasi Anda. Jika halaman Anda tidak diindeks, waktu penulis, desainer, pengembang, dan manajer Anda akan sia-sia.

Panduan Utama untuk Pengindeksan SEO

Indeks Google

indexunlimited – Lalu lintas organik adalah tulang punggung bisnis online, tetapi Anda tidak akan mendapatkannya jika Google tidak mengindeks konten Anda. Untuk memahami apa itu pengindeksan dan mengapa Google tidak mengindeks beberapa situs web dengan benar, kita perlu memahami dengan tepat apa itu indeks Google dan cara kerjanya.

Baca Juga : 5 Masalah Pengindeksan Google Paling Umum Berdasarkan Ukuran Situs Web

Google memiliki analogi yang bagus :

Intinya, indeks Google adalah basis data halaman web yang diketahui Google. Setelah halaman ini diindeks, Google dapat menggunakan informasi yang dimilikinya tentang halaman tersebut dan kontennya untuk memutuskan untuk menampilkannya di hasil penelusuran. Konsepnya cukup sederhana. Tapi jalan untuk diindeks itu rumit.

Saluran pengindeksan Google

Penemuan Pertama, Google harus menemukan URL. Dalam proses menjelajahi web, Google mengekstrak tautan dari halaman web yang baru ditemukan. Halaman-halaman ini dapat ditemukan dengan berbagai cara: mengikuti tautan di halaman internet lain atau di peta situs atau melihat dari mana asal tautan masuk.

Crawling Kemudian, Google harus mengunjungi halaman tersebut. Google memiliki algoritme canggih yang memungkinkan mereka menentukan URL mana yang harus diprioritaskan. Kemudian Googlebot mengunjungi halaman yang memenuhi ambang prioritas. Ini dikenal sebagai merangkak .

Pengindeksan Akhirnya, Google mengekstrak konten halaman. Google mengevaluasi kualitas dan memeriksa apakah kontennya unik. Juga, ini adalah langkah saat Google merender halaman untuk melihat semua kontennya, mengevaluasi tata letaknya, dan berbagai elemen lainnya. Jika semuanya baik-baik saja, halaman akan diindeks.

Ini adalah perincian yang cukup disederhanakan masing-masing langkah ini sebenarnya terdiri dari tahapan tambahan tetapi ini adalah langkah yang krusial. Setelah halaman Anda melewati fase ini dan berhasil diindeks, barulah halaman tersebut dapat diberi peringkat untuk kueri yang relevan dan ditampilkan kepada pengguna, membawa lalu lintas organik ke situs web Anda.

Satu pengecualian adalah saat Anda dengan sengaja mencegah Google mengunjungi laman Anda menggunakan file robots.txt , sehingga Google tidak dapat merayapinya. Google kemudian masih dapat mengindeks halaman menggunakan tautan yang ditemukan di halaman lain. Meskipun demikian, Anda kemungkinan besar tidak akan mendapatkan banyak lalu lintas ke halaman tersebut dari Google karena Google tidak akan mengetahui isi halaman tersebut dan tidak akan mengetahui apakah halaman tersebut relevan bagi pengguna.

Inilah contoh yang terjadi di alam liar dengan salah satu produk Google sendiri.

Dalam hal ini, Google memblokir robotnya sendiri, Googlebot, agar tidak merayapi semua halaman di subdomain Google Jamboard. Namun Googlebot masih dapat menemukan link ke halaman Jamboard di situs lain dan menggunakan link tersebut untuk pengindeksan.

Kasus ini menyoroti sesuatu yang vital.

Perhatikan bahwa beranda Google Jamboard yang diindeks tidak memiliki deskripsi yang ditampilkan di dalam cuplikan. Itu karena Googlebot tidak dapat mengaksesnya dan meneruskan informasi tersebut ke indeks. Sebagai pemilik situs web, Anda perlu memastikan bahwa Googlebot dapat mengakses sebanyak mungkin konten di situs Anda. Jika tidak, Google akan memiliki informasi terbatas tentang halaman Anda, dan visibilitas pencarian Anda akan berkurang.

Apakah Google mengindeks semua halaman?

Jawabannya jelas: Tidak.

Dalam beberapa tahun terakhir, saya menghitung angka beberapa kali, menggunakan database dengan ribuan situs web berbeda. Rata-rata, 16% halaman yang berharga dan dapat diindeks di situs web populer tidak diindeks. Pernah. Dan itu bukan rahasia. Google secara terbuka mengakui tujuan mereka bukan untuk mengindeks setiap halaman di web. John Mueller dari Google mengatakan ini tentang topik ini:

Dalam hal pengindeksan, kami tidak menjamin bahwa kami akan mengindeks semua halaman situs web. Dan terutama untuk situs web yang lebih besar, sangat normal jika kami tidak mengindeks semuanya. Itu bisa jadi mungkin kita hanya mengindeks 1/10 dari sebuah situs web karena itu adalah situs web yang sangat besar. Kami tidak benar-benar tahu apakah bermanfaat untuk mengindeks sisanya.

Anda mungkin berkata, “Oke, Google tidak mengindeks semuanya, jadi saya kira jika beberapa halaman saya yang berharga tidak diindeks, itu bukan masalah besar.” Tapi saya pikir ini adalah pendekatan yang salah. Sebenarnya ada banyak situs besar yang dapat diindeks sepenuhnya oleh Google. Upaya SEO lain yang Anda lakukan di situs web Anda akan memiliki ROI yang berkurang jika Anda masih memiliki konten yang tidak diindeks.

Berapa lama Google mengindeks halaman?

Seperti yang sudah saya tunjukkan, banyak halaman tidak diindeks oleh Google, dan lebih banyak lagi yang tidak pernah dirayapi. Lebih buruk lagi, biasanya pengindeksan terjadi dengan penundaan yang signifikan. Kami melacak pengindeksan banyak situs web populer. Ini memungkinkan kami mengamati rata-rata berapa lama waktu yang dibutuhkan Google untuk mengindeks halaman baru.

Google memiliki sistem yang canggih untuk mengelola cara merayapi situs web.

Beberapa situs web lebih sering dirayapi, dan beberapa situs web lebih jarang dikunjungi. Dalam jangka pendek, Anda tidak dapat memengaruhinya, tetapi ada banyak hal yang dapat Anda lakukan untuk meningkatkan posisi Anda dalam jangka panjang. Kita akan membicarakannya nanti.

Pengindeksan sebagian

Ada satu lagi masalah pengindeksan yang telah saya pelajari secara ekstensif, dan yang ini paling sulit untuk didefinisikan dan diatasi. Saya menyebutnya pengindeksan parsial. Meskipun saya menganggapnya sebagai masalah pengindeksan, argumen dapat dibuat bahwa ini juga merupakan masalah peringkat.

Inilah semua tentang itu:

Terkadang halaman diindeks oleh Google, tetapi sebagian konten halaman tersebut tidak. Penelitian saya menunjukkan bahwa fragmen konten yang tidak diindeks ini tidak berkontribusi pada peringkat halaman.

Mereka tidak dapat ditemukan saat Anda mencarinya secara khusus, dan tampaknya tidak berkontribusi pada peringkat keseluruhan halaman. Terkadang, fragmen konten ini kurang penting, misalnya item/produk terkait. Namun cukup sering, ini adalah konten utama halaman, seperti deskripsi produk utama di halaman produk situs eCommerce.

Menurut pendapat saya, penyebab paling umum untuk pengindeksan sebagian adalah duplikat konten . Situs web yang ditampilkan di atas biasanya menggunakan deskripsi produk produsen, dan tampaknya Google memfilternya dalam fase pengindeksan/peringkat.

Mengapa pengindeksan merupakan tantangan?

Jadi, mengapa Google tidak mengindeks saja setiap halaman yang diketahuinya?

Web berkembang

Alasan dasarnya adalah web terlalu besar. Dan itu masih tumbuh. Menurut WorldWideWebSize, ada lebih dari 5 miliar halaman di internet per Maret 2021. Dan sebagian besar halaman tersebut tidak terlalu berharga bagi pengguna Google. Web penuh dengan spam, konten duplikat, dan halaman berbahaya yang berisi malware dan konten phishing. Google telah belajar untuk menghindari merayapi halaman tersebut, apalagi mengindeksnya.

Website semakin berat

Situs web rata-rata semakin berat setiap tahun. Situs web semakin bergantung pada JavaScript dan format media modern, termasuk gambar dan video beresolusi tinggi yang biasanya lebih sulit diindeks. Meskipun hal ini menawarkan kemungkinan baru bagi pengguna, Google perlu merender semua kode berat itu dan mengakses media berat ini untuk memahami isi halaman tertentu. Karena semua tantangan ini semakin serius, kita harus berharap Google menjadi lebih pemilih saat mengindeks konten di masa mendatang.

Pemilihan indeks

Karena web terlalu besar untuk diindeks sepenuhnya oleh Google, Google harus memilih halaman mana yang ingin diindeks. Dan jelas, Google ingin fokus pada halaman berkualitas. Jadi para insinyur Google mengembangkan mekanisme untuk menghindari perayapan laman berkualitas rendah. Ini berarti bahwa Google dapat melewatkan perayapan beberapa halaman Anda karena, setelah melihat konten Anda yang lain, dianggap bahwa halaman tersebut berkualitas rendah. Dalam skenario ini, halaman Anda keluar dari saluran pengindeksan tepat di awal.

Kami mencoba mengenali konten duplikat di berbagai tahapan saluran kami. Di satu sisi, kami mencoba melakukan itu saat kami melihat konten. Itu seperti setelah pengindeksan kami melihat bahwa kedua halaman ini sama, jadi kami dapat menggabungkannya. Tapi kami juga melakukan itu, pada dasarnya, sebelum merayapi, di mana kami melihat URL yang kami lihat, dan berdasarkan informasi yang kami miliki dari masa lalu, kami berpikir, “Mungkin URL ini bisa berakhir sama, dan lalu kita lipat menjadi satu.

Data yang tersedia berkat Google Search Console mengonfirmasi hal ini sangat sering terjadi. “Ditemukan – saat ini tidak diindeks” adalah salah satu masalah pengindeksan yang paling umum, dan biasanya disebabkan oleh:

• Kualitas rendah (Google mendeteksi pola umum dan memutuskan untuk tidak menyia-nyiakan sumber daya untuk merayapi konten duplikat atau berkualitas rendah).
• Anggaran perayapan tidak mencukupi (Google memiliki terlalu banyak URL untuk dirayapi dan diproses semuanya).