Tinggalkan permintaan
Google menggunakan Kraler dan rompi untuk melakukan berbagai tindakan untuk produknya, baik secara otomatis maupun atas permintaan pengguna. Crowler (kadang -kadang juga disebut "robot" atau "laba -laba") adalah nama umum untuk program yang digunakan untuk secara otomatis mendeteksi dan memindai situs web. Thets bertindak sebagai program yang mirip dengan WGET, dan biasanya melakukan satu permintaan atas nama pengguna. Produk Google dapat dibagi menjadi tiga kategori:
Kraler konvensional yang digunakan untuk produk Google (misalnya, GoogleBot) selalu mengikuti aturan robots.txt untuk pemindaian otomatis.
Kraler khusus mirip dengan yang biasa, tetapi mereka digunakan dalam produk tertentu di mana ada kesepakatan antara situs yang dipindai dan produk Google mengenai proses pemindaian. Misalnya, Adsbot mengabaikan robot global.txt-agen pengguna dengan resolusi pemilik situs.
Pemain pengguna adalah bagian dari fungsi produk dan produk ketika pengguna akhir memulai permintaan. Misalnya, Google Site Verifier berfungsi atas permintaan pengguna.
Google Craolers dan Veters dirancang untuk bekerja secara bersamaan pada ribuan mesin untuk meningkatkan kinerja dan skalabilitas seiring pertumbuhan internet. Untuk mengoptimalkan penggunaan bandwidth, pelanggan ini didistribusikan sesuai dengan banyak pusat data di seluruh dunia, sehingga mereka terletak lebih dekat ke situs yang dapat dihubungi. Oleh karena itu, kunjungan dari berbagai alamat IP dapat ditunjukkan dalam log Anda. Google Egress terutama terjadi dengan alamat IP di Amerika Serikat. Jika Google menemukan bahwa situs tersebut memblokir permintaan dari Amerika Serikat, ia dapat mencoba memindai dari alamat IP yang berlokasi di negara lain.
Google Craolers dan Veters mendukung HTTP/1.1 dan HTTP/2. Craolers akan menggunakan versi protokol, yang memberikan kinerja pemindaian terbaik, dan dapat beralih di antara protokol tergantung pada statistik sesi pemindaian sebelumnya. Secara default, Google Kraler menggunakan protokol HTTP/1.1. Pindai melalui HTTP/2 dapat menghemat sumber daya komputasi (misalnya, CP, RAM) untuk situs Anda dan GoogleBot, tetapi jika tidak, ia tidak memberikan keuntungan spesifik untuk Situs (misalnya, ini tidak mempengaruhi peringkat dalam pencarian Google). Untuk menolak pemindaian melalui HTTP/2, atur server sehingga merespons dengan Status 421 ketika Google mencoba mengakses situs Anda melalui HTTP/2. Jika ini tidak memungkinkan, Anda dapat mengirim pesan ke tim pemindaian (meskipun ini adalah keputusan sementara).
Infrastruktur Google Croilers juga mendukung pemindaian melalui FTP (sebagaimana didefinisikan dalam RFC959 dan pembaruannya) dan FTP (sebagaimana didefinisikan dalam RFC4217 dan pembaruannya), bagaimanapun, pemindaian melalui protokol ini jarang terjadi.
Google Craolers dan penguji mendukung metode kompresi konten berikut (encoding): GZIP, mengempiskan dan Brotli (BR). Pengkodean konten yang didukung untuk setiap agen pengguna Google ditunjukkan dalam header penyandian penerimaan untuk setiap permintaan yang mereka buat. Misalnya: Accept-Encoding: GZIP, mengempis, br.
Tujuan kami adalah memindai sebanyak mungkin halaman situs Anda pada setiap kunjungan tanpa membebani server. Jika situs Anda mengalami kesulitan menyajikan permintaan dari Google, Anda dapat mengurangi kecepatan pemindaian. Harap dicatat bahwa mengirim status HTTP yang salah ke Google Kraolers dapat memengaruhi bagaimana situs Anda akan ditampilkan di Google Products.
Infrastruktur Google Kraler mendukung HTTP-Shows heuristik, sebagaimana ditentukan oleh standar caching HTTP, khususnya melalui tajuk ETAG dan IF-None-Match, serta melalui judul linen yang dimodifikasi dan dimodifikasi IF-Modifikasi.
Catatan: Disarankan untuk mengatur nilai ETAG dan dimodifikasi terakhir, terlepas dari preferensi Google CRULS. Header ini juga digunakan oleh aplikasi lain seperti CMS.
Jika bidang ETAG dan yang dimodifikasi terakhir hadir dalam judul pengembalian, Google Kraler menggunakan nilai ETAG, seperti yang dibutuhkan oleh standar HTTP. Untuk Google Croiler, kami sarankan menggunakan ETAG alih-alih dimodifikasi terakhir untuk menunjukkan preferensi caching, karena ETAG tidak memiliki masalah dengan format tanggal.
Arahan caching HTTP lainnya tidak didukung.
Crowlers dan Google Veters yang terpisah dapat atau tidak dapat menggunakan caching tergantung pada kebutuhan produk yang terkait dengannya. Misalnya, GoogleBot mendukung caching saat URL pemindaian berulang untuk pencarian Google, dan Storebot-Google mendukung caching hanya dalam kondisi tertentu.
Untuk mengimplementasikan pengkodean HTTP untuk situs Anda, hubungi penyedia hosting Anda atau pemasok sistem manajemen konten.
Infrastruktur Google CRAUL mendukung ETAG dan IF-None-Match, sebagaimana ditentukan oleh standar HTTP-Caching. Pelajari lebih lanjut tentang header ETAG dan permintaannya jika tidak cocok.
Infrastruktur Google Kraler mendukung S-SCINE yang dimodifikasi terakhir dan jika dimodifikasi, sebagaimana ditentukan oleh standar HTTP-Caching, dengan reservasi berikut:
Pelajari lebih lanjut tentang tajuk yang dimodifikasi terakhir dan permintaannya yang dimodifikasi jika dimodifikasi.
Google Craules mengidentifikasi diri mereka dalam tiga cara:
Cari tahu cara menggunakan data ini untuk memeriksa Google Cholera dan Frinders.
Jika Anda memiliki pertanyaan tentang SEO atau Anda akan membutuhkan bantuan, hubungi teman SEO kami melalui email info@seo.computer atau melalui whatsapp: +79202044461.
ID 61
