Cara mengonfirmasi bahwa GoogleBot dan robot pencarian Google lainnya benar -benar pergi ke situs Anda melalui Google

Anda dapat memeriksa apakah robot web yang beralih ke server Anda adalah GoogleBot yang nyata. Ini berguna jika Anda khawatir bahwa spammer atau penyerang lain dapat mengakses situs Anda, berpura -pura menjadi GoogleBot.

Robot Google dibagi menjadi tiga kategori:

Google Robots, periksa situs web Google Anda

Deskripsi Google Robots yang dapat mengunjungi situs Anda, serta band IP mereka yang sesuai:

Robot Google biasa di situs web Google Anda

Ini adalah robot yang digunakan untuk produk Google, seperti GoogleBot. Robot ini selalu mengikuti aturan robots.txt untuk bypass otomatis.

Contoh domain: Crawl-***-***-***-***. Googleebot.com atau geo-crawl-***-***-***-***. Geo.googleebot.com

Contoh file json: googleebot.json

Robot Google Khusus di situs web Google Anda

Robot ini melakukan fungsi spesifik untuk produk Google (misalnya, ADSBOT) ketika ada kesepakatan antara situs web dan produk pada proses bypass. Robot ini dapat atau tidak dapat mengikuti aturan robot.txt.

Contoh: rate-limited-proxy-***-***-***-***. Google.com, crawlers.json

Robot diaktifkan oleh pengguna di situs Anda di Google

Alat dan produk produk ini di mana pengguna akhir mengaktifkan permintaan data. Misalnya, Google Site Verifier, yang diluncurkan atas permintaan pengguna. Robot ini mengabaikan aturan robot.txt.

Contoh: ***-***-***-***. Gae.googleusercontent.com atau Google-proxy-***-***-***-***. Google.com.

Metode Pengujian GoogleBot di situs web Google Anda

Ada dua cara untuk memeriksa apakah robot web GoogleBot adalah:

• Metode manual: Untuk cek tunggal, gunakan alat perintah. Metode ini cocok untuk kebanyakan kasus.
• Cara Otomatis: Untuk inspeksi massal, gunakan solusi otomatis untuk membandingkan alamat IP robot dengan IP-band GoogleBot yang diterbitkan.

Menggunakan alat perintah untuk memeriksa GoogleBot di situs web Google Anda

• Jalankan permintaan DNS terbalik ke alamat IP yang membahas server Anda menggunakan perintah host.
• Pastikan bahwa nama domain sesuai dengan salah satu dari yang berikut: googleebot.com, google.com atau googleusercontent.com.
• Jalankan permintaan DNS-langsung ke nama domain yang diperoleh pada langkah sebelumnya menggunakan perintah host.
• Pastikan bahwa nama domain sesuai dengan alamat IP asli, yang dicatat dalam log Anda.

Contoh 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Contoh 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Contoh 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Menggunakan solusi otomatis untuk memeriksa GoogleBot di situs web Google Anda

Anda juga dapat mengidentifikasi GoogleBot dengan alamat IP dengan membandingkannya dengan alamat IP yang diterbitkan untuk GoogleBot dan Robo Google Robot lainnya:

• Robot biasa seperti GoogleBot
• Robot khusus seperti adsbot
• Permintaan yang diaktifkan oleh pengguna (pengguna)
• Permintaan yang diaktifkan oleh pengguna (Google)

Untuk alamat IP Google lainnya, dari mana akses ke situs Anda (misalnya, untuk aplikasi) dapat dibuat, bandingkan alamat IP dengan daftar umum alamat IP Google. Harap dicatat bahwa alamat IP dalam file JSON disajikan dalam format CIDR.

Jika Anda memiliki pertanyaan atau bantuan, Anda dapat menghubungi perusahaan SEO "SEO.Computer" melalui email info@seo.computer Atau whatsapp +79202044461.

ID 41