Penyiapan dasar parser SEO: petunjuk langkah demi langkah

Mengurai situs web bisa memakan waktu, terutama jika Anda menggunakan alat umum. Namun banyak di antaranya yang dapat disesuaikan untuk tugas tertentu agar prosesnya lebih efisien. Mari kita lihat bagaimana melakukan ini menggunakan contoh parser SEO yang populer.

Lokasi penyimpanan data;Agen Pengguna;Kecepatan parsing;Bagian parsing;Apa yang harus diurai;Akses akun;robots.txt;Menyimpan pengaturan.

Menyiapkan lokasi penyimpanan data

Langkah pertama dalam menyiapkan parser adalah memilih lokasi penyimpanan data. Untuk melakukan ini, buka menu "File" dan pilih "Pengaturan". Pilih "Jenis penyimpanan data" dari daftar drop-down. Ada dua opsi yang tersedia di bagian ini:

Dalam RAM. Ini cocok untuk pengunduhan cepat jika Anda memiliki cukup RAM tetapi ruang hard drive terbatas. Namun, ini mungkin tidak cukup untuk situs berukuran besar.

Di hard drive Anda. Dalam hal ini, Anda memilih jalur untuk menyimpan data. Prosesnya akan lebih lambat, tetapi file akan memakan lebih sedikit RAM.

Kemudian kembali ke Pengaturan dan pilih "Alokasi Memori" untuk menentukan jumlah RAM yang dapat digunakan sistem. Ini berguna jika Anda memiliki tugas lain yang berjalan di komputer Anda secara paralel.

Menyiapkan Agen Pengguna

Selanjutnya Anda perlu mengkonfigurasi Agen Pengguna. Buka menu "Konfigurasi" dan pilih "Agen Pengguna". Di sini Anda dapat mengonfigurasi agen pengguna yang akan digunakan saat mengurai situs.

Anda dapat memilih agen standar, misalnya untuk perangkat seluler, sehingga parser menyamar sebagai bot dan menerima informasi lengkap tanpa diblokir oleh situs.

Mengatur kecepatan penguraian

Sekarang kita mengatur kecepatan parsing. Buka menu "Konfigurasi" dan pilih "Kecepatan". Di sini Anda dapat menentukan jumlah thread yang akan digunakan saat mendownload data. Untuk komputer yang lemah, optimal untuk memilih 3 hingga 5 thread.

Menyiapkan bagian untuk parsing

Jika Anda hanya perlu mengaudit bagian tertentu dari situs, konfigurasikan bagian tersebut di bagian "Konfigurasi" melalui item "Sertakan". Di sini Anda dapat memasukkan jalur ke partisi yang diinginkan untuk memeriksa apakah partisi tersebut akan disertakan dalam proses parsing.

Jika suatu bagian tidak termasuk dalam pilihan, pemberitahuan tentang hal itu akan muncul. Untuk mengecualikan bagian dari penguraian, gunakan item "Kecualikan".

Menyiapkan Perayapan Laba-laba

Buka "Konfigurasi", pilih "Spider" dan konfigurasikan jenis pemindaian data. Di sini Anda dapat memilih dengan tepat data apa yang akan dipindai, menonaktifkan jenis informasi yang tidak diperlukan.

Jika situs tidak terlalu besar, Anda dapat membiarkan pengaturan default dan meng-crawl semua data yang tersedia.

Menghubungkan akun Google

Untuk mencari halaman yang bermasalah, sambungkan akun Google Anda. Buka "Konfigurasi", lalu "Akses API" dan pilih Google Search Console. Ini akan memungkinkan Anda dengan cepat menemukan halaman yang tidak tertaut dan memperbaiki masalahnya.

Menyiapkan pekerjaan dengan robots.txt

Selanjutnya, pilih cara kerja parser dengan file robots.txt. Di "Konfigurasi" pilih salah satu opsi berikut:

Abaikan – jika Anda perlu menganalisis seluruh situs;

Hormat – jika parser harus mematuhi aturan robots.txt;

Abaikan robots.txt tetapi laporkan status – jika Anda perlu menerima data tentang status halaman.

Menyimpan pengaturan

Jika Anda sering menggunakan pengaturan yang sama, disarankan untuk menyimpannya sebagai default. Untuk melakukan ini, di menu "Konfigurasi", pilih "Simpan Konfigurasi Saat Ini sebagai Default". Anda juga dapat membuat beberapa profil untuk tugas berbeda dan beralih antar profil dengan cepat.

Jika Anda memiliki pertanyaan atau memerlukan bantuan dalam menyiapkan alat SEO, tulislah ke studio SEO "SEO COMPUTER" melalui email info@seo.komputer.

ID 4473