Jika Anda menggunakan layanan hosting untuk situs Anda, seperti berbagai platform untuk membuat situs, Anda mungkin tidak perlu (atau tidak) mengedit file robots.txt secara langsung. Sebagai gantinya, platform Anda dapat menyediakan halaman Pengaturan Pencarian atau opsi lain yang dapat Anda tentukan mesin pencari, apakah situs Anda perlu diindeks.
Jika Anda ingin menyembunyikan atau membuka halaman situs Anda untuk mesin pencari, cari instruksi tentang cara mengkonfigurasi visibilitas halaman untuk mesin pencari pada platform hosting. Misalnya, Anda dapat menemukan permintaan seperti "cara menyembunyikan halaman dari mesin pencari di WIX."
Untuk memperbarui aturan di file robots.txt yang ada untuk situs web Google Anda, unduh salinan file robots.txt Anda dan buat perubahan yang diperlukan.
Untuk mengunduh file robots.txt, Anda dapat menggunakan beberapa metode:
Buka file robots.txt yang diunduh dari situs Anda di editor teks dan buat perubahan yang diperlukan pada aturan. Pastikan Anda menggunakan sintaks yang benar dan menyimpan file pengkodean UTF-8.
Unduh file robots.txt baru ke direktori root situs Anda sebagai file teks bernama robots.txt. Proses pemuatan tergantung pada platform dan server tempat situs Anda diposting. Lihat rekomendasi untuk mengunduh file robots.txt ke situs.
Jika Anda tidak memiliki hak untuk mengunduh file ke direktori root, hubungi administrator domain Anda untuk melakukan perubahan.
Misalnya, jika halaman utama situs Anda terletak di subdomain.example.com/site/example/, kemungkinan besar Anda tidak dapat memperbarui file robots.txt di subdomain.example.com/robots.txt. Dalam hal ini, hubungi pemilik example.com untuk membuat perubahan yang diperlukan pada file robots.txt.
Selama proses bypass otomatis, mesin pencari Google akan menemukan perubahan yang Anda buat pada file robots.txt dan akan memperbarui cache dalam 24 jam. Jika Anda ingin mempercepat pembaruan cache, gunakan fungsi "Permintaan untuk Bypass Berulang" dalam laporan Robots.txt.
Jika Anda memiliki pertanyaan tentang memperbarui file robots.txt untuk situs Google Anda, Anda dapat menghubungi perusahaan SEO SEO SEO melalui email info@seo.computer atau melalui whatsapp dengan nomor +79202044461.
ID 180