Revamping Test Automation and Performance for Solebit (MimeCast)

技术

应用基础设施与中间件 - 事件驱动型应用
机器人 - 并联机器人

适用行业

水泥
设备与机械

适用功能

产品研发
质量保证

用例

实验自动化
时间敏感网络

服务

云规划/设计/实施服务
测试与认证

挑战

Solebit (MimeCast) 提供对零日恶意软件和未知威胁的识别和预防。

从我们加入项目的那一刻起，就有内部开发团队设计和开发的自动化测试。测试没有用，因为每次开发人员触发测试时，都是在终端中手动进行的。结果，该团队有一个包含结果的大而复杂的文件。

此外，测试需要 20 多个小时才能完成，而且构建历史也不可用。

测试套件架构不可扩展，难以维护大量测试机器。

任务是为测试创建一个简单的运行器并提高它们的速度。我们学到了一些宝贵的经验。我们应该重新设计架构以支持云平台集成，使测试运行更加容易，并生成包含所有必要细节的干净报告。

同时，我们应该对当前的测试流程提出改进建议，并进行一些手动测试。

客户

单比特

关于客户

Solebit是一家私营网络安全公司，主要办事处位于美国和以色列。

Solebit 基于云的实时 SaaS 平台专注于零日恶意软件和未知威胁。 Solebit 通过流量分析、去混淆和内容评估来阻止恶意活动内容。

Solebit 的应用程序被金融服务、医疗保健、信息技术、公共部门以及零售和消费品等行业的组织使用

解决方案

DeviQA 使用 Faraday 库创建了用于测试 REST API 的复杂而详细的自动化场景。我们构建了一个软件开发工具包应用程序，可以在各种机器上运行，包括 Azure、Google Cloud、Docker，以及特权和非特权 LXC 容器。 QA 团队使用 SSH 和 SFTP 连接为这些集成创建了复杂的方法。我们总共设计和开发了 25,000 多项测试。每个测试运行 500,000 个文件，然后上传。

我们将构建时间减少了 10 倍，并配置了如何在没有技术人员参与的情况下以简单的方式运行测试。我们还创建了一个报告系统，即使结果包含 10k 行，团队也可以查看干净的报告。最后，我们在机器数量（Azure Cloud、Google Cloud）上配置文件处理选择。

运营影响

The solution provided by DeviQA significantly improved the testing processes at Solebit (MimeCast). The automated scenarios for testing REST APIs were complex and detailed, ensuring thorough testing of the system. The software development kit application was versatile, working on various machines including Azure, Google Cloud, Docker, and both privileged and unprivileged LXC containers. This flexibility allowed for more comprehensive testing across different platforms. The reporting system was a significant improvement, allowing the team to view clean reports even if the results contained 10k rows. This made it easier to interpret the results and make necessary adjustments. The UI testing of the application and the comprehensive test documentation prepared also contributed to a more efficient and effective testing process.

数量效益

Reduced the build time by a factor of 10
Configured tests to run in a simple way without the involvement of a tech person
Created a reporting system that allowed the team to view clean reports even if the results contained 10k rows