深度资料：使用智能手表和深度学习进行间谍活动

点击下方小卡片关注情报分析师

可穿戴技术如今正在兴起而且变得越来越普遍，并且可供主流用户广泛使用。事实上，智能手表和健身追踪器等腕带和臂带设备已经在消费电子市场占据重要地位，并且正变得无处不在。 然而，由于它们可穿戴的特性，这些设备提供了一个新的普遍攻击面，威胁到用户的隐私等。

与此同时，机器学习的进步为高效处理复杂数据提供了前所未有的可能性。允许模式从高维不可避免的嘈杂数据中出现。

这项工作的目标是提高对与内置可穿戴设备的运动传感器相关的潜在风险的认识，并展示先进神经网络架构利用的滥用机会。

本研究中提出的基于 LSTM 的实现可以在 12 键键盘上执行触摸记录和键盘记录，即使面对未处理的原始数据，其准确性也高于平均水平。因此，通过消除对非平凡的预处理管道和精心设计的特征提取策略的需求，证明了深度神经网络能够使基于运动传感器的击键推理攻击更容易实现。结果表明，当佩戴可穿戴腕带设备时，用户的完整技术生态系统可能会受到损害。

绪论

本章将首先向读者介绍本研究中要解决的问题和相关的影响。最后，将简短地描述为提供一个实用的概念验证系统而采用的方法。

1.1 问题陈述

键盘是最古老的人机界面之一，至今仍是向各种类型的机器输入信息的最常用的设备之一。其中一些信息可能很敏感且非常有价值，例如密码、PIN 码、社会保险号和信用卡号。 相关工作表明，来自智能手机运动传感器的数据可用于推断在其触摸屏上输入的击键 。

其他研究证明，站立在平面上的智能手机的运动传感器可用于推断在附近的物理计算机键盘上键入的击键。此外，最近发表的作品表明，可以利用智能手表运动传感器来推断虚拟和物理键盘上的击键 。

智能手表和健身追踪器等可穿戴腕带和臂带设备 (WAD) 的安全性备受关注，这并非直接因为设备本身可被利用，而是因为可穿戴设备的本质是可穿戴的。智能手表确实有可能长时间佩戴，例如一整天，为网络犯罪分子提供了普遍的攻击面。

因此，其意义重大：只要佩戴 WAD，利用运动传感器进行击键推理就可以连续发生。更引人注目的是，每次佩戴 WAD 都会损害用户的整个技术生态系统。人们确实可以推断，在一个人戴着 WAD 时使用的任何键盘都可能发生击键推理攻击。

例如，平板电脑的虚拟键盘、智能手机触摸屏、笔记本电脑的物理键盘、电子楼宇门禁系统的键盘、酒店房间保险箱的键盘，甚至银行 ATM 的键盘。因此，窃听 WAD 传感器的影响远远超出简单的隐私泄露，并有可能造成重大损害。

此外，人工智能和特别是深度学习的最新进展使算法能够以令人印象深刻的性能解决问题，有时甚至超过人类专家。 深度神经网络能够处理嘈杂的真实世界数据，并且可以自动从原始数据中学习特征。 

这些强大的模型已成功应用于计算机视觉、自然语言处理和语音识别领域的复杂任务 。然而，深度学习在处理时间序列数据方面的应用相对较差。这些最先进的科学工具过去需要先进的知识得以成功实施和应用。

然而，它们卓越的品质导致了各种开源项目的开发使它们可供任何人免费使用。尽管这为从企业到业余爱好者的每个人提供了巨大的可能性，但它可能会将深度学习置于网络犯罪分子的工具箱中。

据所知，相关工作中的击键推断仅使用需要手动特征提取和精心设计的信号处理管道的浅层模型进行。使用深度神经网络方法可以大大减少成功进行击键推理的技术步骤数量。从而使攻击成为对 WAD.2 用户的更合理的威胁。

因此可以制定两个研究目标：

•使用可穿戴腕带/臂带技术评估基于运动的击键推理攻击的实用性。

•使用深度神经网络模型评估基于运动的击键推理攻击的实用性。

1.1 方法

第 1.1 节阐述的研究问题以实用的方式回答。首先，实施一个系统来收集、处理、分析在进行此研究项目时发现了 Android 中的一个错误，并被认为会导致漏洞。事实上，该错误会导致针对 Android Wear 的应用程序授予某些权限，而无需在清单文件 中明确定义这些权限。

因此，谷歌启动了一个负责任的披露程序来解决这个问题。经过进一步调查，问题原来是 Android SDK 中的一个错误，对用户没有严重的安全隐患。传感器数据并执行实验性间接被动攻击，例如键盘记录和触摸记录。其次，进行实验以在部署环境中收集数据。最后，对结果进行解释和讨论。

将特别解决的挑战是：

1、数据采集：系统应允许传感器在连续数据流中以特定击键间隔进行记录。

2、数据预处理：为了在不同情况下进行比较，从传感器输出获得的数据需要简化为有意义的合成，以限制噪声的影响。

3、特征提取：为了与传统方法进行比较，成功的分类传统上依赖于精心选择的判别特征。

4、分类：应该尽可能优化地训练人工神经网络，以避免过度拟合并提高泛化能力。

5、评估：必须量化分类器的质量，以评估其在实践中的性能，并将外来数据作为输入。

相关研究

本章的目标是双重的。首先定义这项工作所依据的理论和技术背景的关键概念。这个研究项目是高度多学科的，并且建立在各种研究领域的交叉点上（如图 2.1 所示）。 因此，第二个目标是回顾和反思以前的相关研究和相关领域的当前最新技术。核心焦点是可穿戴技术的安全性，主要依靠机器学习方法进行数据分析。

2.1 关键概念

2.1.1 计算机安全

被动攻击：被动攻击的特点是攻击者窃听通信信道。 在这种攻击中，攻击者不会尝试破坏系统或更改传输的数据（即主动攻击）。相反，攻击者正在监视交换的数据包以获取有关目标的信息（例如用户、系统、通信实体）。

侧信道攻击：侧信道攻击是由攻击者使用侧信道信息来获取有关系统的洞察力来定义的。侧信道信息可以从物理层泄露的数据中获得（例如时序信息、功耗、电磁辐射、声音）。

键盘记录和触摸记录：键盘记录是记录用户在键盘上输入的键的操作。 类似地，触摸记录是记录在触摸屏上按下的按钮的动作，或触摸事件的坐标，允许推断用户虚拟触摸的键[23]。击键推断是指用于从侧通道执行键盘记录或触摸记录的技术。

2.1.2 可穿戴计算

可穿戴技术：可穿戴技术被设想为集成到衣服中或连续佩戴的小型便携式计算机（例如眼镜、臂章、腕带）。这些设备被设计为可广泛移动并在可能具有有限计算基础设施支持的环境中运行。

运动传感器：现代移动和可穿戴设备通常带有内置运动传感器，用于测量设备的运动。 分析此类传感器的输出数据可以估计设备经历的特定类型的运动，例如平移、倾斜、摇晃、旋转或摆动。 表 2.1 列出了标准设备中可用的典型运动传感器。基于软件的传感器通常从基于硬件的传感器获取数据，即加速度计（每个轴 x、y 和 z 一个）和陀螺仪。

目录：

‍‍1、简介

‍‍1.1问题陈述

1.2方法‍

2、相关工作

2‍.1关键概念

‍‍2.‍1.1计算机安全 

2.1.‍2可穿戴计‍算‍‍

‍2.1.3机器学习

‍‍2.2背景： 人工‍神经网络

‍2.2.1 循环神经网络

‍‍2.2.2 长短期记忆‍

2.2.3 反向传播‍‍‍

‍‍2.3 文献综述‍‍

‍2.3.1基于运动的击键推理攻击

‍‍2‍.3.1.1 按键记录

‍2.‍3.1.2 触摸记录

2.3.2运动传感器信号分类

‍2.3.2.1 分类器模型‍‍

2.3.2.2 数据分析和特征提取‍‍

‍2.3.3 其他提到的问题 ‍‍‍

‍3、攻击描述 ‍‍

3.1攻击者的目标 

3.2威胁模型 

3.3 攻击场景

4、系统 

4.1系统结构 

4.2客户端 ‍

4.2.1可穿戴应用 ‍

4.2.2移动应用 

4.2.3培训应用 

4.3服务器 

5、数据分析

5.1数据采集 ‍

5.2预处理 ‍

5.2.1校准 ‍

5.2.2中位数滤波器 

5.2.3巴特沃斯滤波器 

5.2.4卡尔曼滤波 

5.3特征提取 

5.3.1传感器融合 

5.3.2分割 

5.3.2.1根据标签进行分割 

5.3.2.2启发式分割 

5.3.3统计学特征 

5.4分类器模型 

5.4.1性能评估 

5.4.2传感器融合基准 

5.4.3模型基准 

6、评价 

6.1经验数据收集 

6.2实验 

6.2.1实验1: 触摸记录攻击 

6.2.2实验2: 键盘记录攻击 

6.2.3实验3：从触摸记录到键盘记录 

6.3讨论 

7、结论 

7.1总结 

7.2未来的工作 

参考书目 

本书完整版中英文已上传至情报学院知识星球

长按识别下方二维码加入知识星球下载

知识星球APP内有3000+情报专业资料可供下载