Laba-laba SEO Katak Berteriak. Bagaimana manajer akun menyiapkan perangkat lunak

Artikel ini akan berguna bagi mereka yang pekerjaannya mencakup pemindaian proyek, serta pengaturan parameter yang cocok untuk situs berukuran sedang dengan hingga 500 ribu URL, dan untuk sumber daya web yang lebih ringkas.

Di perusahaan kami, seperti halnya agensi digital besar lainnya, aspek penting adalah optimalisasi dan otomatisasi proses rutin. Ini membebaskan waktu untuk tugas-tugas yang lebih strategis.

Setelah saya berada di agensi tersebut selama dua bulan, saya ditugaskan untuk memindai beberapa proyek setiap bulan. Saya bukan orang baru dalam SEO, tetapi spesialisasi utama saya adalah manajemen akun dan pemasaran.

Dari waktu ke waktu, sebagai manajer akun, saya menganalisis visibilitas situs klien dalam hasil pencarian, dan juga melakukan pemindaian sumber daya web secara mendetail. Untuk melakukan ini, saya menggunakan program Screaming Frog SEO Spider. Setelah menginstal perangkat lunak, saya menerima lisensi dari manajemen dan tidak menyentuh pengaturan program, karena semuanya berfungsi dengan baik, dan seperti yang Anda tahu, Anda tidak boleh mengubah sesuatu yang tidak rusak.

Namun, semuanya berubah ketika saya ditugaskan memimpin proyek yang lebih besar dengan 430 ribu URL. Sebelumnya saya mengerjakan proyek dengan maksimal 1700 URL. Masalahnya bukan karena pemindaian proyek memakan waktu satu hari (yang ternyata merupakan hal biasa), tetapi saat memulai pemindaian, program sering kali terhenti pada proses 88-94%.

Meskipun instruksi untuk Screaming Frog cukup rinci, instruksi tersebut tidak memberikan rekomendasi khusus untuk menyiapkan program untuk proyek besar. Lalu saya mulai mencari informasi bagaimana cara menggunakan SEO Spider Tool yang benar. Setelah membaca kembali beberapa artikel, saya menyadari bahwa mereka mengulangi hal yang sama seperti pada instruksi, hanya saja lebih singkat.

Oleh karena itu, saya memutuskan untuk meminta bantuan rekan-rekan yang berpengalaman, yang, untuk itu saya sangat berterima kasih kepada mereka, menjelaskan kepada saya cara kerja program dan memberi saya beberapa rekomendasi berguna untuk menyiapkannya.

Setelah tiga hari bereksperimen, trial and error, dan berkonsultasi dengan rekan-rekan, saya sampai pada kesimpulan sebagai berikut:

Karakteristik perangkat:

  • Prosesor - CPU Intel® Core™ i3-7020U 2,30 GHz
  • RAM-nya 8GB
  • Tipe sistem - sistem operasi 64-bit, prosesor x64

Seperti yang Anda lihat, karakteristik perangkat ini rata-rata dan cukup cocok untuk melakukan tugas saya. Saya tidak memerlukan perangkat keras yang kuat, karena ini cukup untuk tugas sehari-hari.

Pengaturan program Screaming Frog SEO Spider (versi 14.1):

  • Data proyek dicatat pada disk SSD (107 GB). Kepenuhan disk harus dipantau, dan data usang harus dihapus secara manual, jika perlu, dengan mengekspor proyek.
  • Rendering JavaScript diaktifkan.
  • Batasan jumlah thread pemindaian dinonaktifkan.
  • Jumlah maksimum URL per detik adalah 2.
  • Jika proses intensif sumber daya lainnya berjalan secara paralel pada perangkat yang berfungsi (misalnya, penguraian di aplikasi lain), perayapan harus dihentikan sementara.

Penting! Dalam pengaturan program, pastikan untuk menentukan bahwa informasi proyek ditulis ke disk SSD; ini secara signifikan mempercepat proses pemindaian.

Dengan karakteristik perangkat dan pengaturan yang ditentukan, pemindaian proyek dengan 420-450 ribu URL membutuhkan waktu sekitar 30 jam, jika setidaknya 12 jam pemindaian dilakukan secara paralel dengan tugas lain.

Keputusan untuk menulis dan menerbitkan artikel ini diambil setelah upaya yang gagal untuk menemukan rekomendasi untuk menyiapkan program Screaming Frog di sumber terbuka. Sebagian besar artikel hanya menjelaskan apa dan bagaimana program ini bekerja, namun tidak memberikan saran praktis dalam menyiapkannya untuk proyek-proyek besar. Saya harap informasi ini bermanfaat. Baca, gunakan, bagikan dengan kolega, dan semoga Force menyertai Anda!

Jika Anda memiliki pertanyaan, Anda dapat menghubungi studio SEO "SEO COMPUTER" untuk pertanyaan apa pun melalui email info@seo.computer.

ID 1744

Kirim permintaan dan kami akan memberikan konsultasi pada SEO promosi situs web Anda