Cara membuat dan mengirim file robots.txt ke google untuk situs Anda

Jika Anda menggunakan layanan hosting untuk situs Anda, misalnya, Wix atau Blogger, Anda mungkin tidak perlu mengedit file robots.txt secara langsung. Sebagai gantinya, penyedia Anda dapat menyediakan halaman Pengaturan Pencarian atau mekanisme lain untuk menunjukkan mesin pencari, halaman mana dari situs tersebut dapat diindeks dan mana yang tidak.

Jika Anda ingin menyembunyikan atau membuka salah satu halaman dari mesin pencari, baca instruksi untuk mengubah visibilitas halaman di hosting Anda, misalnya, dengan kueri pencarian "Cara menyembunyikan halaman dari mesin pencari di WIX". Ini akan membantu Anda mengontrol file mana yang dapat tersedia untuk melewati robot pencarian menggunakan file robots.txt.

Dasar -dasar Membuat dan Menggunakan File Robots.txt untuk Situs Google Anda

File robots.txt terletak di root situs Anda. Misalnya, untuk www.example.com, file robots.txt akan berlokasi di www.example.com/robots.txt. Ini adalah file teks biasa yang mengikuti standar pengecualian eksklusi robot standar.

File robots.txt terdiri dari satu atau lebih arahan, yang masing -masing memblokir atau memungkinkan akses untuk robot tertentu ke jalur yang ditentukan di situs. Secara default, semua file di situs diizinkan untuk bypass, kecuali ditentukan lain.

Contoh file dasar robots.txt untuk situs google Anda

Berikut adalah contoh file robots.txt sederhana dengan dua aturan:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Apa arti file ini:

Robot GoogleBot tidak dapat melewati URL yang dimulai dengan https://example.com/nogooglebot/.
Semua robot lain dapat melewati seluruh situs. Aturan ini dapat dihilangkan, karena secara default semua robot dapat memotong situs.
Situs ini menggunakan kartu situs yang terletak di https://www.example.com/sitemap.xml.

Cara membuat dan menguji file robots.txt untuk situs web google Anda

Membuat file robots.txt dan pengujiannya terdiri dari beberapa tahap:

Buat file bernama robots.txt.
Tambahkan aturan pencarian yang relevan ke file.
Unduh file robots.txt ke root situs Anda.
Periksa ketersediaan file untuk mesin pencari dan kebenarannya.

Cara menulis aturan untuk rabots.txt di situs web google Anda

Aturan dalam file robots.txt dirancang untuk menentukan robot bagian mana dari situs Anda yang dapat dilewati. Berikut adalah beberapa rekomendasi untuk menulis aturan:

Setiap aturan dimulai dengan indikasi agen-pengguna, yang menentukan robot pencarian yang diterapkan aturan.
Setiap aturan juga dapat berisi larangan (untuk larangan bypass) dan mengizinkan (untuk menyelesaikan bypass). Misalnya:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Pengujian robots.txt untuk situs google Anda

Setelah mengunduh file robots.txt ke situs, pastikan untuk menguji bahwa itu tersedia untuk robot pencarian. Untuk melakukan ini, buka jendela penyamaran di browser Anda dan buka robots.txt Anda, misalnya, https://example.com/robots.txt. Jika Anda melihat isi file Anda, itu berarti tersedia untuk diproses.

Untuk menguji dan menghilangkan masalah dengan tanda, Anda dapat menggunakan:

Laporan Robots.txt di Google Search Console (jika file tersedia di situs Anda).
Menggunakan perpustakaan Google untuk menguji file lokal robots.txt.

Cara mengirim file robots.txt ke google

Setelah file robots.txt diunggah dan diuji, Google Robots akan secara otomatis menemukannya dan mulai menggunakannya. Tidak perlu mengirim file secara manual. Namun, jika Anda telah memperbarui file dan ingin Google dengan cepat meningkatkannya di cache, Anda dapat menggunakan fungsi Pembaruan Robots.txt di konsol pencarian Google.

Aturan robots.txt berguna untuk situs google Anda

Berikut adalah beberapa contoh yang berguna dari file robots.txt:

Untuk melarang bypass seluruh situs:

 User-agent: *
 Disallow: /

Untuk melarang jalan memutar direktori tertentu:

 User-agent: *
 Disallow: /private/

Untuk menyelesaikan bypass hanya ke robot tertentu:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /

Kontak untuk Klarifikasi tentang Robots.txt dan SEO untuk situs Anda di Google

Jika Anda memiliki pertanyaan tentang menyiapkan file robots.txt atau masalah SEO lainnya, Anda dapat menghubungi teman SEO kami info@seo.computer atau melalui whatsapp dengan nomor +79202044461.

ID: 4