尖叫青蛙 SEO 蜘蛛。客户经理如何设置软件

本文对于那些工作包括扫描项目以及设置适用于具有最多 50 万个 URL 的中型网站和更紧凑的 Web 资源的参数的人员来说非常有用。

在我们公司，与任何大型数字机构一样，一个重要方面是日常流程的优化和自动化。这可以腾出时间来执行更具战略性的任务。

在该机构工作了两个月后，我被分配每个月扫描几个项目。我对 SEO 并不陌生，但我的主要专业是帐户管理和营销。

作为客户经理，我有时会分析客户网站在搜索结果中的可见性，并对网络资源进行详细扫描。为此，我使用了 Screaming Frog SEO Spider 程序。安装软件后，我收到了管理层的许可证，并且没有触及程序设置，因为一切运行良好，而且如您所知，您不应该更改未损坏的内容。

然而，当我被指派领导一个拥有 43 万个 URL 的更大项目时，一切都发生了变化。之前，我参与过最多包含 1700 个 URL 的项目。问题不在于扫描项目需要一天时间（事实证明，这很正常），而在于开始扫描时，程序经常冻结在进程的 88-94% 处。

尽管 Screaming Frog 的说明非常详细，但它们没有提供为大型项目设置程序的具体建议。然后我开始寻找有关如何正确使用 SEO Spider Tool 的信息。重新阅读几篇文章后，我意识到它们重复了与说明中相同的内容，只是更简短。

因此，我决定向经验丰富的同事寻求帮助，我非常感谢他们，他们向我解释了该程序的工作原理，并为我提供了一些关于设置该程序的有用建议。

经过三天的实验、试错以及咨询同事，我得出以下结论：

设备特点：

• 处理器 - Intel® Core™ i3-7020U CPU 2.30 GHz
• 内存 - 8 GB
• 系统类型 - 64 位操作系统、x64 处理器

正如您所看到的，该设备的特性很平均，非常适合执行我的任务。我不需要强大的硬件，因为这对于日常任务来说已经足够了。

尖叫青蛙SEO蜘蛛程序设置（版本14.1）：

• 项目数据记录在SSD磁盘（107 GB）上。应监控磁盘的充满度，并在必要时通过导出项目手动删除过时的数据。
• JavaScript 渲染已启用。
• 扫描线程数的限制已禁用。
• 每秒的最大 URL 数量为 2。
• 如果工作设备上正在并行运行其他资源密集型进程（例如，在其他应用程序中进行解析），则应暂停抓取。

重要的！ 在程序设置中，请务必指定将项目信息写入SSD磁盘；这会显着加快扫描过程。

根据这样的设备特性和指定的设置，如果与其他任务并行执行至少 12 小时的扫描，则扫描具有 420-45 万个 URL 的项目大约需要 30 小时。

在尝试寻找在开源中建立 Screaming Frog 程序的建议失败后，我决定撰写并发表本文。大多数文章只解释了该程序的工作原理和工作方式，但没有提供有关为大型项目设置该程序的实用建议。我希望这些信息有用。阅读、使用、与同事分享，愿原力与你同在！

如果您有任何疑问，可以通过电子邮件 info@seo.computer 联系 SEO 工作室“SEO COMPUTER”。

编号 1744