物联网测试地图

物联网的出现，给测试带来了很多有意思的挑战，使得众多QA开始重新思考传统的测试过程。

例如，我最近测试了一个产品，在这个产品中的移动APP会跟连接的机器产生会话。这两个设备各种各样的状态给测试场景的设计带来了特别大的挑战。下面给大家介绍一个很有用的物联网产品测试框架——物联网测试地图，它可以帮助我们管理物联网设备多种排列的复杂状态。

物联网测试因素

当我们测试简单的web应用时，通常要考虑的状态有：
 

• 服务器宕机
• HTTP请求超时
• 网速慢​
• ​​​授权和认证错误

测试任何互联网应用的时候，需要警惕这四种状态。对于移动应用，操作的是移动环境，需要关注额外的几种情况：
 

• 离线模式
• 在线模式
• 杀掉Activity
• 后台行为
• 语言
• 地理位置

我们再看“连接的机器”所带来的状态多样性，通常还有：
 

• 机器WiFi断开
• 机器WiFi连接
• 机器繁忙
• 机器休眠

这意味着即使只有上述给定的状态集，整个系统在任何时间点上可能会有96（4x6x4）种状态。

由于系统中状态转换会引入附加的约束，这些状态都不能当做独立的实体。例如，状态从“离线”变成“在线”很可能触发一系列的事件。

上述因素还仅仅是冰山一角。随着对规范的深入了解，把不同的状态跟逻辑场景结合起来将会更加的复杂。

对于静态系统的可变数据集，已有的web测试技术可以很好的用来抽取测试场景，比如all pairs（开源的配对测试工具）、等价类划分、边界值分析法等。这些技术通过淘汰的逻辑来优化测试数据集。

例如，all pairs技术会淘汰重复的数据配对组合。但是，对系统的可变状态设计测试场景时，这些技术是不可靠的，废弃的系统状态会使得系统通讯不畅。当然，这些技术对于物联网系统中的单个单元还是很适用的。

因此，非常有必要搞一个物联网测试地图。

可视化地图

大家肯定都在地理课上看过地图。但我这里所说的地图是针对测试场景的，它列出所有潜在的系统因素，在测试某个特性时可以从中抽取必要的测试场景。

产品的每个系统的n种状态在同一个可转动的圆环中列出，逻辑上相邻的状态在环中相互挨着。非功能需求（NFR）在测试复杂集成的时候很容易被忽略掉，于是把它们在一个环中单独列出。

下图就是我所说的物联网测试地图：



下面以一个例子介绍地图的使用场景，该例子仅涉及移动设备和机器交互部分，需要关注的环是设备、机器和网络。
 

• 把移动设备和机器固定在WiFi连接的状态，转动网络环，可以得到下面这些场景：
  • 未授权用户尝试访问机器会在App上触发“访问被拒绝”的错误消息
  • 服务器宕机和服务器错误会触发相应的业务错误消息——“程序出错，请稍后重试”
  • 响应超时可能有两种情形：重发同一个请求并显示“正在加载”图示，或者显示上面那样相似的错误消息
  • 非法请求会触发消息“请更新你的App”

• 继续保持移动设备的WiFi为连接状态，转动机器环：
  • 当机器是离线模式的时候，App应该显示“请检查机器的网络连接”
  • 当机器繁忙的时候，弹出警告“机器繁忙，无法完成请求”
  • 当机器休眠或者在另一个网络上的时候，应该显示“没找到机器”等类似的消息
  • 然后，机器调到正确的网络，应该恢复移动设备和机器的连接
• 切换机器环为WiFi连接，转动移动设备环：
  • 当移动设备离线时，应该弹出对应的消息或者禁掉操作按钮
  • 当移动设备恢复在线模式时，App应该发送相应的请求去连接机器
  • 当移动设备的网络从WiFi切换到3G，应该有什么样的行为？
  • 当用户正在试图连接物联网设备的时候突然接到电话，将App置于后台运行，这时候还能收到完整的请求还是需要从头开始发送请求?
  • 安卓设备杀掉一个在后台运行了一段时间的App，用户的最后屏幕状态还会保存吗？
  • 有本地化需求的App要在每个场景层面进行验证

就这样，多次旋转地图可以扩展产生多个场景。尽管有些场景可能不适合当前的特性，有些甚至跟业务需求无关，这个测试地图还是非常详尽的。

在实践层面，对于有多个QA在测试同一个物联网产品的团队，地图可以作为大家共同参考的手册。这个地图把工具、设备、场景和协议的排列以易于理解的方式呈现出来，覆盖了测试场景设计这个独特的需求，是一种非常高效的合作方式。