Faktor Peringkat SEO Teknis: Bagian Kedua

Bagian pertama artikel.

Jika Anda tidak ingin menjelaskan lebih lanjut, hubungi spesialisnya dan dapatkan uji gratis sistem kami!

Mengelola file robots.txt

File robots.txt digunakan untuk mengontrol bagaimana situs Anda diindeks oleh mesin pencari. Ini memungkinkan Anda menentukan halaman atau direktori situs mana yang harus diindeks dan mana yang tidak.

Berikut adalah aturan dasar untuk bekerja dengan file ini:

• Ini adalah file teks yang harus disimpan dalam format teks biasa (ASCII atau UTF-8) dan diberi nama robots.txt.
• File dibuat dalam editor teks seperti Notepad, bukan editor format berpemilik seperti Microsoft Word.
• File robots.txt harus ditempatkan di direktori root situs Anda. Misalnya, untuk situs di http://contoh.com, file tersebut harus tersedia di http://example.com/robots.txt.
• Untuk situs yang dibangun dengan CMS tertentu, file robots.txt dapat dibuat secara otomatis.

Di dalam file robots.txt, crawler memeriksa arahan yang dimulai dengan bidang Agen pengguna. Bidang ini menunjukkan robot mesin pencari tertentu yang menerapkan aturan pengindeksan terkait.

Saat mendeskripsikan alamat di situs web, Anda dapat menggunakan simbol universal “*”, yang menunjukkan urutan karakter apa pun. Ini memungkinkan Anda menentukan awalan atau akhiran jalur ke direktori atau halaman.

Berikut beberapa arahan dasar yang dapat digunakan dalam file robots.txt:

• Disalov: Menentukan halaman atau direktori mana yang tidak boleh diindeks oleh robot pencari. Jika nama direktori ditentukan, jalurnya harus diakhiri dengan garis miring.
• Semua: Arahan ini mengizinkan pengindeksan halaman atau direktori tertentu yang mungkin telah dibatasi oleh arahan Disallow. Karakter "*" didukung untuk menunjukkan jalur yang berbeda.
• Peta Situs: Menentukan jalur ke file Peta Situs. Ini mungkin opsional dan muncul dalam banyak salinan. Peta situs membantu mesin pencari mengindeks halaman situs lebih cepat.
• Arahan yang tidak dikenal diabaikan, sehingga komentar dapat ditambahkan ke dalam file.

Perlu diperhatikan juga bahwa persyaratan file robots.txt mungkin sedikit berbeda tergantung pada mesin pencari. Untuk mengetahui rekomendasi terbaru untuk sistem populer seperti Yandex atau Google, lihat sumber resmi mereka.

Jika Anda memiliki pertanyaan, Anda selalu dapat menghubungi spesialis studio SEO kami dengan menulis ke info@seo.computer.

ID 9119