Este artigo será útil para aqueles cujo trabalho inclui a digitalização de projetos, bem como a configuração de parâmetros adequados tanto para sites de médio porte com até 500 mil URLs, quanto para recursos web mais compactos.
Na nossa empresa, como em qualquer grande agência digital, um aspecto importante é a otimização e automatização dos processos rotineiros. Isso libera tempo para tarefas mais estratégicas.
Depois de trabalhar na agência por dois meses, fui designado para digitalizar alguns projetos todos os meses. Não sou novo em SEO, mas minha principal especialização é gerenciamento de contas e marketing.
De vez em quando, como gerente de contas, analisava a visibilidade dos sites dos clientes nos resultados de pesquisa e também fazia uma varredura detalhada dos recursos da web. Para fazer isso, usei o programa Screaming Frog SEO Spider. Depois de instalar o software, recebi uma licença da administração e não mexi nas configurações do programa, pois tudo funcionou bem e, como você sabe, não deve alterar algo que não esteja quebrado.
Porém, tudo mudou quando fui designado para liderar um projeto maior com 430 mil URLs. Anteriormente, trabalhei em projetos com no máximo 1700 URLs. O problema não era que a digitalização do projeto demorasse um dia (o que, como se viu, é a norma), mas que, ao iniciar a digitalização, o programa frequentemente travava em 88-94% do processo.
Embora as instruções do Screaming Frog sejam bastante detalhadas, elas não fornecem recomendações específicas para a configuração do programa para grandes projetos. Então comecei a procurar informações sobre como usar corretamente a ferramenta SEO Spider. Depois de reler vários artigos, percebi que eles repetem a mesma coisa das instruções, só que de forma mais breve.
Como resultado, decidi pedir ajuda a colegas experientes, que, pelo que muito agradeço, me explicaram como funciona o programa e me deram várias recomendações úteis para a sua implementação.
Após três dias de experimentação, tentativa e erro e consulta com colegas, cheguei às seguintes conclusões:
Características do dispositivo:
Como você pode ver, as características do aparelho são medianas e bastante adequadas para realizar minhas tarefas. Não precisei de hardware poderoso, pois é suficiente para as tarefas diárias.
Configurações do programa Screaming Frog SEO Spider (versão 14.1):
Importante! Nas configurações do programa, certifique-se de especificar que as informações do projeto sejam gravadas em um disco SSD; isso acelera significativamente o processo de digitalização;
Com essas características do dispositivo e as configurações especificadas, a digitalização de um projeto com 420-450 mil URLs leva cerca de 30 horas, se pelo menos 12 horas de digitalização forem realizadas em paralelo com outras tarefas.
A decisão de escrever e publicar este artigo veio após tentativas frustradas de encontrar recomendações para a criação do programa Screaming Frog em fontes abertas. A maioria dos artigos apenas explicava o que e como funciona o programa, mas não dava conselhos práticos sobre a sua configuração para grandes projetos. Espero que esta informação seja útil. Leia, use, compartilhe com os colegas e que a Força esteja com você!
Se você tiver alguma dúvida, pode entrar em contato com o estúdio SEO "SEO COMPUTER" para qualquer dúvida pelo e-mail info@seo.computer.
ID 1744