Tinggalkan permintaan
File Robots.txt memberi tahu mesin pencari URL mana di situs Anda dapat tersedia untuk indeksasi mereka. File ini digunakan terutama untuk menghindari kelebihan situs Anda dengan permintaan; Ini bukan sarana untuk mengecualikan halaman web dari hasil pencarian Google. Jika Anda ingin mengecualikan halaman dari hasil pencarian di Google, gunakan NoIndex Methag atau lindungi halaman dengan kata sandi.
Jika Anda menggunakan CMS, seperti Wix atau Blogger, Anda mungkin tidak perlu (atau tidak mungkin) untuk mengedit file robots.txt secara langsung. Sebaliknya, CMS Anda dapat menyediakan halaman Pengaturan Pencarian atau mekanisme lain untuk menentukan mesin pencari, apakah halaman Anda harus dipindai.
Jika Anda ingin menyembunyikan atau membuka salah satu halaman Anda untuk mesin pencari, cari instruksi untuk mengubah visibilitas halaman di mesin pencari di CMS Anda (misalnya, cari "Wix Sembunyikan halaman dari mesin pencari").
File robots.txt terutama digunakan untuk mengontrol lalu lintas mesin pencari ke situs Anda, dan biasanya untuk mengecualikan file dari indeksasi Google, tergantung pada jenis file:
Anda dapat menggunakan file robots.txt untuk halaman web (, pdf atau format lain yang dapat dibaca Google) untuk mengontrol lalu lintas indeksasi jika Anda pikir server Anda akan kelebihan permintaan dari robot pencarian Google, atau untuk menghindari halaman pra-panjang atau duplikat di situs Anda.
Peringatan: Jangan gunakan file robots.txt sebagai cara untuk menyembunyikan halaman web (termasuk PDF dan format teks lainnya yang didukung oleh Google) dari hasil pencarian Google.
Jika halaman lain merujuk ke halaman Anda dengan teks deskriptif, Google dapat mengindeks URL tanpa mengunjungi halaman. Jika Anda ingin sepenuhnya mengecualikan halaman dari hasil pencarian, gunakan metode lain, seperti perlindungan kata sandi atau noindex metatheg.
Jika halaman web Anda diblokir di file robots.txt, URL -nya masih dapat muncul di hasil pencarian, tetapi deskripsi tidak akan ditampilkan dalam hasilnya. File media, video, PDF, dan file lain yang dibangun ke dalam halaman yang diblokir juga tidak akan dipindai jika tidak disebutkan di halaman lain yang diizinkan untuk indeksasi. Jika Anda melihat hasil pencarian ini untuk halaman Anda dan ingin memperbaikinya, hapus robots.txt. Jika Anda ingin menyembunyikan halaman sepenuhnya dari pencarian di Google, gunakan metode lain.
Anda dapat menggunakan file robots.txt untuk mengontrol indeksasi lalu lintas dan untuk mencegah penampilan gambar, video dan file audio dalam hasil pencarian Google. Ini tidak akan mencegah tautan ke file media Anda dari halaman lain atau dari pengguna.
Anda dapat menggunakan file robots.txt untuk memblokir file sumber daya, seperti gambar, skrip atau gaya yang tidak signifikan, jika Anda berpikir bahwa halaman tanpa sumber daya ini tidak akan diubah secara signifikan. Namun, jika tidak adanya sumber daya ini memperumit indeksasi robot Google, jangan memblokirnya, jika tidak, Google tidak akan dapat dengan benar menganalisis halaman yang bergantung pada sumber daya ini.
Sebelum membuat atau mengedit file robots.txt, Anda harus memahami batasan pada metode penguncian URL ini. Bergantung pada tujuan dan situasinya, Anda mungkin perlu mempertimbangkan mekanisme lain untuk memastikan bahwa URL Anda tidak akan ditemukan di internet.
Perhatian: Menggabungkan beberapa aturan untuk Kraling dan Indeksasi dapat menyebabkan konflik antara aturan. Cari tahu cara menggabungkan aturan Kraling dengan pengindeksan dan tampilan.
Jika Anda memutuskan bahwa Anda memerlukan file robots.txt, cari tahu cara membuatnya. Jika file sudah ada, cari tahu cara memperbaruinya.
File robots.txt harus berada di root situs Anda. Cari tahu cara membuat file robots.txt, lihat contoh dan pelajari aturan file robots.txt.
Menggunakan laporan robots.txt, Anda dapat dengan mudah memeriksa apakah Google dapat memproses file robots.txt Anda. Ikuti langkah -langkah ini untuk mengirim file robots.txt yang diperbarui ke Google.
Jelajahi rincian berbagai aturan untuk file robots.txt dan bagaimana Google menginterpretasikan spesifikasi file robots.txt.
Jika Anda memiliki pertanyaan tentang file robots.txt untuk situs Google Anda atau aspek SEO lainnya, Anda dapat menghubungi perusahaan SEO "SEO.Computer" melalui email: info@seo.computer atau melalui whatsapp: +79202044461.
ID 25
