Daftar robot situs web khusus di Google untuk konfigurasi SEO yang akurat

Beberapa robot pencarian tidak digunakan oleh sistem pengindeksan standar, tetapi oleh masing -masing produk yang dengannya pemilik situs Anda dapat memiliki perjanjian khusus tentang persyaratan pemindaian. Misalnya, robot tertentu dapat melewati arahan global robots.txt, ditunjukkan untuk semua agen (*), jika ada izin.

Robot khusus seperti itu bekerja dengan band IP lain daripada mesin pencari biasa. Rentang aktual tercantum dalam file JSON tujuan khusus. Rekor DNS terbalik mereka memiliki jenis jenis rate-limited-proxy-***-***-***-***.google.com.

Daftar agen tersebut diberikan di bawah ini, baris agen pengguna, nilai yang digunakan untuk robots.txt Dan deskripsi pengaruh pengaturan mereka pada pekerjaan layanan. Daftar ini tidak lengkap, tetapi termasuk robot -robot yang paling sering muncul di log dan mengajukan pertanyaan di antara pemilik situs.

Situs situs di Google dan interaksinya dengan pemberitahuan

Pengguna-agen: APIS-HOOOOGLE

Rekam dalam Robots.txt:user-agent: APIs-Google

Mengabaikan aturan global *.

user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/

Digunakan oleh Layanan API untuk mengontrol pengiriman pesan dorong ke situs Anda.

Agen Pencarian Seluler Google untuk Analisis Periklanan

Pengguna-agen: ADSBOT-GOOGLE-Mobile

Rekam dalam Robots.txt:user-agent: AdsBot-Google-Mobile

Itu juga mengabaikan aturan global.

user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/

Ini digunakan untuk menganalisis kualitas iklan pada versi seluler halaman situs Anda.

Mesin Pencari Situs Google untuk Iklan Desktop

Pengguna-agen: ADSBOT-GOOGLE

Rekam dalam Robots.txt:user-agent: AdsBot-Google

user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/

Robot memeriksa efektivitas dan kepatuhan iklan di halaman situs.

Agen situs Google, menganalisis konten untuk iklan kontekstual

Pengguna-agen: Mediapartners-Google

Rekam dalam Robots.txt:user-agent: Mediapartners-Google

Berkeliling arahan *.

user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/

Kunjungi situs Anda untuk memilih iklan yang relevan dan penempatannya di halaman.

Robot Keamanan Situs Google untuk Melindungi Pengguna

Pengguna-agen: Google-Safety

Robots.txt: Itu benar -benar diabaikan

Robot berfungsi untuk mengidentifikasi tautan berbahaya dan penyalahgunaan pada halaman -halaman situs. Tidak patuh robots.txtkarena berfungsi secara eksklusif untuk alasan keamanan.

Agen pencarian khusus yang sudah ketinggalan zaman situs di Google

Di bawah ini adalah agen yang tidak lagi digunakan, tetapi sebelum mereka dapat hadir dalam log atau pengaruh perilaku pemindaian.

Agen situs seluler lama di Google untuk menilai kualitas iklan

Pengguna-agen: Adsbot-Google-Mobile (usang)

Robots.txt: Saya mengabaikan aturan global

Itu digunakan untuk menilai kualitas iklan di halaman yang terbuka dari perangkat seluler.

Agen Situs Google untuk Layanan Interaktif Otomatis

Pengguna-agen: Duplexweb-google

Robots.txt: Bisa mengabaikan arahan *

Itu digunakan oleh layanan otomatis untuk berinteraksi dengan konten halaman situs.

Robot situs di google untuk mengumpulkan favikonok

Pengguna-agen: Google Favicon

Robots.txt: Token standar yang digunakan Googlebot-Image Dan Googlebot

Dia bertanggung jawab atas tampilan dan pilihan ikon situs di antarmuka pencarian.

Mesin Pencari Situs Google untuk menganalisis halaman aplikasi seluler

Pengguna-agen: ADSBOT-GOOGLE-Mobile-Apps

Robots.txt: Mengikuti aturan adsbot-google, mengabaikan *

Menganalisis halaman aplikasi Android untuk mengevaluasi kepatuhan mereka dengan persyaratan iklan.

Agen situs yang lebih ringan di Google, dirancang untuk pemuatan cepat

Pengguna-agen: GoogleWebLight

Robots.txt: Saya mengabaikan aturannya, karena itu aktif hanya untuk permintaan pengguna

Agen ini memberikan versi yang disederhanakan dari halaman situs selama koneksi lambat, memeriksa keberadaan header no-transform.

Untuk semua masalah pengaturan robot.txt, manajemen pemindai, serta dengan optimisasi seo, Anda dapat menghubungi SEO Perusahaan SEO.COMPUTER:info@seo.computer Whatsapp: +7 920 204-44-61

ID: 86