Tinggalkan permintaan
Robot pencarian khusus digunakan oleh layanan terpisah, sementara perjanjian khusus ditetapkan antara situs dan layanan dalam kondisi pemindaian. Misalnya, robot terpisah dapat mengabaikan aturan umum dalam robot.txt untuk semua agen (*) jika ada persetujuan dari pemilik situs.
Robot semacam itu berfungsi sesuai dengan band IP lain daripada mesin pencari standar. Daftar alamat IP ini ditempatkan dalam file JSON khusus. Rekaman DNS terbalik dari IP ini mungkin sesuai dengan laju-terbatas-proxy-***. ***. ***. ***. Google.com.
Di bawah ini adalah daftar robot khusus yang digunakan oleh berbagai layanan, garis agen pengguna mereka dalam pemeriksaan HTTP, penunjukan untuk robot.txt, serta deskripsi pengaruh pengaturan mereka pada perilaku pengindeksan. Daftar ini tidak lengkap, tetapi berisi agen paling umum dalam log situs web.
Pengguna-agen dalam pemeriksaan http: APIS-HOOOOGLE
Token Agen Pengguna di Robots.txt: APIS-HOOOOGLE
Aturan umum ditunjukkan melalui *, tidak diperhitungkan oleh robot ini.
Contoh Pengaturan di Robots.txt:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Pengaturan untuk agen pengguna ini memengaruhi pengiriman pemberitahuan push melalui API.
Pengguna-agen dalam pemeriksaan http: ADSBOT-GOOGLE-Mobile
Token Agen Pengguna di Robots.txt: ADSBOT-GOOGLE-Mobile
Arahan umum diabaikan.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Agen ini memeriksa kualitas iklan di halaman situs Anda yang digunakan dalam produk iklan.
Pengguna-agen dalam pemeriksaan http: ADSBOT-GOOGLE
Token Agen Pengguna di Robots.txt: ADSBOT-GOOGLE
Agen pengguna umum diabaikan.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Digunakan untuk menilai kualitas konten iklan di halaman situs.
Pengguna-agen dalam pemeriksaan http: Mediapartners-Google
Token Agen Pengguna di Robots.txt: Mediapartners-Google
Mengabaikan arahan umum di robot.txt.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Digunakan untuk memindai situs untuk menunjukkan iklan yang relevan.
Pengguna-agen dalam pemeriksaan http: Google-Safety
Token Agen Pengguna di Robots.txt: Tidak diterapkan - mengabaikan aturan.
Ini digunakan untuk mendeteksi tautan berbahaya dan aktivitas mencurigakan lainnya di halaman situs. Agen ini tidak mematuhi pengaturan robots.txt, karena berfungsi untuk melindungi pengguna.
Berikut ini adalah agen terdaftar yang sebelumnya digunakan, tetapi saat ini tidak lagi aktif. Informasi diberikan untuk referensi.
Pengguna-agen: ADSBOT-GOOGLE-Mobile
Token agen-pengguna: ADSBOT-GOOGLE-Mobile
Itu digunakan untuk menilai kualitas iklan di perangkat seluler, misalnya, smartphone.
Pengguna-agen: Duplexweb-google
Token agen-pengguna: Duplexweb-google
Agen ini dapat mengabaikan aturan umum, digunakan dalam layanan interaktif.
Pengguna-agen: Google Favicon
Token agen-pengguna: GoogleBot-Image, GoogleBot
Dia bertanggung jawab atas pengumpulan dan tampilan situs Faviko di berbagai antarmuka.
Pengguna-agen: ADSBOT-GOOGLE-Mobile-Apps
Token agen-pengguna: ADSBOT-GOOGLE-Mobile-Apps
Melakukan pemindaian halaman aplikasi Android untuk mengevaluasi kualitas dan kepatuhan mereka dengan iklan.
Pengguna-agen: GoogleWebLight
Token agen-pengguna: GoogleWebLight
Itu hanya digunakan dalam transisi pengguna nyata melalui mode pencarian khusus. Saya mengabaikan robots.txt, karena tidak dianggap sebagai pemindai otomatis.
Agen ini memeriksa ketersediaan header no-transform pada halaman situs untuk mengoptimalkan tampilan mereka selama koneksi lambat.
Jika Anda perlu mengklarifikasi aturan untuk menyiapkan robot.txt, robot khusus atau pertanyaan SEO lainnya, hubungi SEO.COMPUTER Melalui email: info@seo.computer atau whatsapp: +7 920 204-44-61
ID: 86
