Tinggalkan permintaan
Chorelers umum dari situs ini digunakan untuk mencari informasi dan membuat mesin pencari Google. Mereka juga digunakan untuk tugas -tugas spesifik produk dan analis. Perayap ini selalu mengikuti aturan robot.txt dengan bypass otomatis. Karakteristik teknis dari Kralers utama situs berlaku untuk umum Kraler.
Sebagai aturan, chulet umum situs bekerja dengan alamat IP yang tercantum dalam fasilitas GoogleBot.json khusus, dan DNS terbalik memeriksa hostemam mereka sesuai dengan perayapan-***-***-***-***. Googleebot.com atau ***-***-***. Geo-Crawl-***-***-***-***. Geo.googleebot.com.
Daftar ini menunjukkan gubuk umum situs, baris agen pengguna mereka dalam pemeriksaan HTTP, sesuai dengan token agen pengguna untuk directive robot.txt, serta produk yang dipengaruhi oleh pengaturan perangkap untuk setiap Kraler. Beberapa Kralers memiliki beberapa token agen-pengguna-itu sudah cukup untuk membandingkan salah satunya untuk menerapkan aturan. Daftar ini tidak lengkap, itu hanya mencakup permintaan yang paling umum dan pertanyaan yang diajukan.
Perhatian: Baris agen pengguna dalam permintaan HTTP dapat dipalsukan. Disarankan untuk memeriksa apakah pengunjung benar -benar pengejar dari situs mesin pencari Google.
Baris agen pengguna dalam pemeriksaan http untuk googleebot memiliki dua jenis utama untuk smartphone dan untuk perangkat desktop. Contoh untuk smartphone: Mozilla/5.0 (Linux; Android) AppleWebKit/... Chrome/... Mobile Safari/... (kompatibel; GoogleBot/2.1; ...). Untuk Perangkat Desktop - Mozilla/5.0 AppleWebKit/... (kompatibel; GoogleBot/2.1; ...).
Lebih jarang ada opsi seperti Mozilla/5.0 (kompatibel; GoogleBot/2.1; ...) atau hanya GoogleBot/2.1 (...).
Robots.txt menggunakan token GoogleBot untuk mengelola perayap situs ini.
Pengaturan GoogleBot mempengaruhi produk pencarian Google, termasuk pencarian, penemuan, pencarian gambar dan berita, video dan berita.
Line User-Agent: GoogleBot-Image/1.0.
Token di robots.txt: GoogleBot-image.
Manajemen Crauling oleh Kraler dari situs ini tercermin dalam pencarian gambar, penemuan, konten video dan tampilan logo dan phavicon dalam hasil pencarian Google.
String User-Agent: GoogleBot-Video/1.0.
Token di robots.txt: GoogleBot-Video.
Crauls dari situs ini memengaruhi fungsi mencari video dan produk yang terkait dengan konten video.
Perayap situs ini tidak menggunakan agen pengguna HTTP yang terpisah. Crauling of News Content dilakukan dengan menggunakan garis agen pengguna GoogleBot yang berbeda.
Token di robots.txt: GoogleBot-News.
Pengaturan Crowling memengaruhi layanan Google News, termasuk berita dan aplikasi seluler.
Barisan agen pengguna adalah untuk desktop dan perangkat seluler yang menunjukkan storebot-google.
Token di robots.txt: Storebot- google.
Situs ini digunakan untuk mengumpulkan data untuk produk perdagangan, seperti bagian pembelian dalam mencari Google.
Garis agen USR untuk desktop dan perangkat seluler berisi Google-InfectionTool.
Token di Robots.txt: Google-InspectionTool.
Situs ini digunakan untuk menguji hasil pencarian dan tidak mempengaruhi hasil umum pencarian Google.
LINE Pengguna-agen: mozilla/... (kompatibel; googleometer) untuk perangkat seluler dan desktop.
Token di robots.txt: Googleother.
Situs ini digunakan untuk berbagai tugas tunggal atau internal, tanpa mempengaruhi hasil pencarian Google.
Baris agen pengguna: Googleometer-gambar/1.0.
Token di robots.txt: Googleometer-gambar.
Crowler dari situs ini dioptimalkan untuk mengumpulkan gambar tanpa mempengaruhi produk Google tertentu.
Baris agen pengguna: Googleometer-Video/1.0.
Token di robots.txt: Googleometer-video.
Digunakan untuk mengumpulkan file video tanpa mempengaruhi hasil pencarian.
Baris agen-pengguna berisi Google-cloudvertexbot.
Token di robots.txt: Google- cloudvertexbot.
Ini digunakan untuk Kraling terkait dengan konstruksi agen AI dan tidak mempengaruhi hasil pencarian Google.
Itu tidak memiliki agen pengguna http string terpisah. Token di robots.txt: google- extended.
Memungkinkan pemilik situs untuk mengontrol penggunaan konten untuk pelatihan model AI tanpa mempengaruhi peringkat dalam pencarian Google.
Penunjukan chrome/w.x.y.z dalam baris agen pengguna adalah templat yang menunjukkan versi browser chrome yang digunakan oleh crauls dari situs. Nomor versi diperbarui dari waktu ke waktu.
Saat mencari atau memfilter oleh agen pengguna dalam log, disarankan untuk menggunakan tanda-tanda substitusi untuk versi tersebut alih-alih nomor yang akurat.
Untuk pertanyaan apa pun, Anda dapat menghubungi SEO SEO.Computer melalui email info@seo.computer Atau melalui whatsapp +79202044461.
ID 141
