Alat ini menawarkan berbagai fungsi, mulai dari memeriksa kebenaran tag meta hingga menganalisis markup mikro, sehingga sangat diperlukan untuk analisis mendetail situs dengan berbagai ukuran.
Dalam panduan ini, kita akan melihat pengaturan dan fitur dasar SEO Spider yang akan membantu Anda menganalisis dan meningkatkan situs Anda secara efektif.
Isi:
- Menyiapkan program
- Metode pemindaian
- Temukan duplikat konten
- Halaman dengan konten yang tidak memadai
- Menemukan Halaman Kosong
- Memeriksa ketersediaan meter analitik
- Analisis Judul, Deskripsi dan Heading (H1, H2)
- Analisis respons server
- Integrasi dengan API eksternal
- Memeriksa ketersediaan dan ukuran gambar
- Memeriksa markup mikro
Menyiapkan program
Pengaturan memori
Buka menu File → Pengaturan → Alokasi Memori.
Disarankan untuk mengalokasikan memori sebesar 8 GB untuk proyek besar, atau setengah dari memori yang tersedia.
Menyiapkan penyimpanan data
Buka File → Pengaturan → Mode Penyimpanan.
Standarnya adalah Penyimpanan Memori. Disarankan untuk beralih ke Database Storage (harddisk), terutama jika drive tersebut adalah SSD, untuk mempercepat proses pemindaian.
Instalasi proksi
Dalam pengaturan (File → Pengaturan → Proxy) Anda dapat mengatur server proxy jika IP Anda diblokir di situs tertentu, yang akan membantu melewati pemblokiran tersebut.
Mengatur kecepatan pemindaian
Buka Konfigurasi → Konfigurasi Perayapan → Kecepatan.
Nilai optimal untuk Max Threads adalah hingga 5. Menambah jumlah thread dapat menyebabkan pemblokiran atau kelebihan beban situs selama pemindaian.
Biarkan parameter Batasi URL/s pada 2,0 URL per detik. Untuk kesalahan 5XX, kurangi nilainya menjadi 1,0 atau 0,5 untuk stabilitas.
Pengaturan perayap
Buka Konfigurasi → Konfigurasi Perayapan → Spider → Perayapan.
Jika Anda ingin memindai hanya bagian situs yang dipilih, hapus centang pada opsi "Periksa Tautan di Luar Folder Awal". Mengaktifkan "Perayapan di Luar Folder Awal" akan memperluas area perayapan ke semua tautan di situs.
Jika perlu, aktifkan opsi "Perayapan Semua Subdomain" untuk merayapi subdomain, dan juga mengonfigurasi tautan perayapan dengan atribut nofollow.
Menyiapkan pemrosesan Peta Situs XML
Jangan lupa untuk mengaktifkan opsi "Perayapan Peta Situs XML Tertaut" untuk menganalisis halaman yang mungkin tidak memiliki tautan langsung, tetapi terdaftar di peta situs.
Metode pemindaian
Mode Laba-laba (default)
Mode ini meniru perilaku mesin pencari: dari halaman utama, situs dirayapi menggunakan tautan internal, masuk lebih dalam melalui tingkat struktur.
Modus daftar
Anda dapat mengunggah file dengan URL untuk dirayapi, memasukkannya secara manual, atau menggunakan tautan ke Peta Situs XML.
- Dari File—upload file dengan URL.
- Masukkan Secara Manual — memasukkan URL secara manual.
- Tempel - tempelkan URL yang disalin.
- Unduh Peta Situs XML — mengirim tautan ke Peta Situs XML.
Modus SERP
Mode ini hanya menganalisis Judul dan Deskripsi. Mode ini lebih jarang digunakan dan cocok untuk pemeriksaan metadata sederhana.
Bandingkan mode
Memungkinkan Anda membandingkan hasil dari pemindaian yang berbeda, berguna untuk melacak perubahan atau memecahkan masalah kesalahan.
Temukan duplikat konten
Buka Konfigurasi → Konfigurasi Perayapan → Konten → Duplikat.
Ketika opsi "Hanya Periksa Halaman yang Dapat Diindeks untuk Duplikat" diaktifkan, program akan mencari duplikat hanya di antara halaman yang tersedia untuk diindeks.
Opsi "Aktifkan Dekat Duplikat" memungkinkan Anda mengatur persentase kecocokan konten, yang membantu Anda menemukan duplikat tersembunyi.
Halaman dengan konten yang tidak memadai
Anda dapat melihat hasilnya di bagian Content → All, mengurutkan halaman berdasarkan jumlah kata. Halaman dengan sedikit konten mungkin kurang bermanfaat bagi mesin pencari.
Menemukan Halaman Kosong
Sangat berguna untuk situs dengan katalog produk, tempat Anda dapat mengidentifikasi halaman dengan konten unik yang tidak memadai. Tentukan kelas atau id yang benar untuk kartu produk dan atur pemfilteran.
Memeriksa penghitung di halaman
Untuk memeriksa ketersediaan penghitung analitik (misalnya, Yandex.Metrica atau Google Analytics), Anda dapat menggunakan mode pencarian berdasarkan kode halaman dengan memasukkan nomor penghitung ke dalam pengaturan pencarian.
Analisis Judul, Deskripsi dan Heading (H1, H2)
Setelah memindai situs, Anda dapat melihat meta tag dan judul di bagian Judul Halaman. Penting untuk memeriksa poin-poin seperti:
- Hilang - tidak adanya tag Judul.
- Duplikat - pengulangan Judul pada halaman berbeda.
- Sama seperti H1 - jika Judul cocok dengan H1.
- Multipel—adanya beberapa Judul dalam satu halaman.
Analisis respons server
Kami melihat hasilnya di bagian Kode Respons. Penting untuk memperhatikan kesalahan seperti 4xx dan 5xx; kesalahan tersebut harus diperbaiki agar halaman dimuat dengan benar.
