作为Netflix SDK团队的一份子,我们需要负责确保新版Netflix应用程序经历彻底的测试,以最高运维质量部署到游戏主机平台,并以SDK(以及参考应用程序)的方式交付给Netflix设备合作伙伴,最终发布到数百万智能电视和机顶盒中。总的来说,我们的测试需要确保Netflix能够在数百万游戏主机和网络电视/机顶盒中流畅运行。
与服务器端的软件发布不同,针对这类设备发布会面临一些独特挑战,因为无法进行,出现故障也无法立刻回滚。在将代码发布到客户端之后,如果客户端存在Bug,修复成本将非常高。Netflix必须重新召集已获得Netflix认证的设备合作伙伴,并在Bug修复后重新进行整个认证过程以进行确认,这需要我们与合作伙伴公司重新投入大量工程时间。而在这个过程中,客户可能无法解决自己所遇到的问题,只能暂时忍受不甚理想的Netflix使用体验。为了避免出现这种问题,最适合的做法是确保对设备进行全面测试,在最终发布前找出应用程序中可能存在的问题。
本文是系列文章中的第1篇,主要介绍了我们在不同设备上针对Netflix SDK进行自动化的功能、性能,以及压力测试过程中所涉及的重要概念和所使用的基础架构。
来源: http://www.infoq.com/cn/articles/equipment-automation-test