本文出自论文 Neural Networks Meet Physical Networks:Distributed Inference Between Edge Devices and the Cloud，提出来一个分布式DNN架构，学习端到端如何表示原始传感数据，很好适应传感设备和云之间不同的网络带宽。

数据收集和分配机制应当与最终的传感目标共同设计，因此我们提出来一个分布式DNN架构，它可以学习端到端如何表示原始传感数据，并通过网络发送数据，以满足最终的传感任务的需求。这样的设计可以很自然地适应传感器和云之间不同的网络带宽，并自动发送适合任务的数据特征。

一、简介

1. 分布式设备通常将它们的信息聚合在一个集中的数据中心，用于感知任务例如计算密集型映射、计算机视觉任务，或者查询经常更新的数据库例如Google图像。传感器本身越来越多地使用可在云环境中大规模运行的计算密集型神经网络（预先训练好）来执行。为了构造这样的系统，这些分布式传感设备必须要进行编码，并通过无线且带宽受限的网络来发送它们的大型输入流，在输入到预先训练过的机器学习模型之前对它们进行解码，因为它们需要原始数据。一个自然的方法是使用标准格式通过网络发送压缩视频，然后再使用一个预训练好的视觉DNN模型例如ResNet或者GoogleNet之前在云端进行解压缩。
2. 一个视觉模型所感兴趣的是视频的特定特征，而不是可能包含大量无关信息的一般场景。虽然DNNs在内容感知视频传输方面的使用在系统社区中得到了解决，但是这项工作的重点是用于人类感知的视频流，而不是自动化机器感知。由于边缘设备的多样性和感知任务的规模，我们认为数据收集和分布应该与最终的感知目标共同设计。对于分布式、网络传感设备的问题，我们称为带宽和任务感知编码，即分布式传感设备应该如何表示和压缩通过带宽受限的链接发送的数据，从而最好地实现数据中心的一个下游感知任务。
3. 我们提出了一种分布式神经网络架构，利用边缘设备上的浅层神经网络动态地压缩有用的数据，在数据中心的深层神经网络对其进行解压，并根据数据相关性向边缘编码器提供积极的反馈。我们所提出的贡献涵盖了系统和机器学习/AI研究，主要包括：系统设计（带宽和任务感知编码的架构）、带宽和任务感知训练算法。

二、动机和背景

1. 无人机目标跟踪问题：我们使用三架无人机(有着限制区域的视野)必须在数据中心使用像GoogleNet这样的预先训练过的图像分类器来跟踪一个人(抽象的说是一个红色像素)。每架无人机都有一个大型视频输入，这对于有着随机带宽的无线网络来说，视频太大而无法发送出去。因此，这必须在利用无人机有部分重叠视野这一事实的同时，有限考虑图像的哪些变化特征，从而通过高效带宽的方式来发送出去。
2. 对于视觉和控制的神经网络：CNNs已经被成功应用于计算机视觉中，我们也可以考虑使用自编码器NNs，它可以学会如何最好地编码和解码信息来最小化重建误差。DNNs可以作为解决动态控制问题的决策逻辑，这可以被表示为马尔可夫决策过程(MDPs)。求解MDP相当于找到最优控制策略： $\pi:S \rightarrow A$来最大化期待 $\gamma$折扣奖励，深度强化学习(Deep RL)通过使用一个DNN来表示一个控制策略 $a^t=\pi(s^t)$来近似一个MDP求解，DNN的所有参数 $\theta$都通过模拟进行优化。

三、系统设计

1. 设计的主要目标：(1)传感任务可知性：为了压缩信息，边缘设备必须动态地发送重要的、快速变化的特征，这些特征是通过预训练的模型最大化一个端到端目标所必需的。(2)网络带宽可知性：由于边缘设备传感器输入数据较大，边缘设备必须动态地压缩相关信息，并考虑链路的不可靠性。(3)模块化：可允许复杂的预训练决策模型，应当适合云上软件更新而不是将改变推送到边缘设备。(4)边缘设备计算有效性：边缘编码器NNs必须要足够浅来达到内存、功耗和计算效率。
   

2. 系统架构：边缘设备可以是带有视频流输入的无人机，或者有时间序列输入的物联网传感器，总体预测目标可以被无人机或者分布式地图制作机器人所搜寻和捕捉到。系统的主要组成部分为：(1)分布式边缘编码器：对于边缘设备输入数据 $x_i^t$，边缘编码器 $i$必须优先考虑重要的特征，并将它们有效压缩成一个信息段 $z_i^t$，再通过物理网络进行发送。

   (2)物理网络链接：关键挑战是信息 $z_i^t$由于低网络通道带宽 $B_i^t$不能在有限时间内被数据中心所接收到，因此关键数据可以在数据中心的下游决策有效地被“删除”掉。

   (3)集中式解码器：位于数据中心的集中式解码器必须要重构大型传感输入数据 $x_i^t$，它们来自于压缩特征 $z_i^t$所属的每个边缘设备，如果部分被丢弃了可以用过去的信息所代替，重构估计 $\hat x_i^t$应当利用边缘设备的重叠试图来考虑所丢失的特征 $z_i^t$。

   (4)预训练决策模型：可以周期性提供并获得来自外部服务的软件更新(S/W)，预训练决策者并不需要是一个神经网络，可以简单输出一个预测 $y=f_{pretrain}(\bar x^t)$。

   (5)动态特征选择代理：解码器是一个控制器，正如一个数据驱动的强化学习agent，在每个边缘设备上选择一个行为 $a_i^t$，表示优先特征来通过网络发送。解码控制策略 $\pi_{decode}$基于当前压缩输入 $\bar z^t$、过去的解码估计 $\hat x^{t-1}$和物理链接带宽的评估 $\hat B^t$从所有的无人机 $\bar a^t$中选择一个行为向量，表示为： $\bar a^t=\pi_{decode}(\hat x^{t-1},\bar z^t,\hat B^t)$，从解码器给定的重建输出可表示为： $\hat x^t=f_{decode}(\hat x^{t-1},\bar z^t,\hat B^t)$。解码策略 $\pi_{decode}$被优化来最大化预测精度，因此其奖励 $r^t$将来自预训练模型的真实输出 $y^t=f_{pretrain}(\bar x^t)$和来自重构输入 $\hat y^t=f_{pretrain}(\hat x^t)$进行对比，损失函数可定义为 $y^t$和 $\hat y^t$的均方误差。整体奖励 $R^t$通过损失函数、带宽使用惩罚 $r_{BW}^t$和可能的控制奖励 $r_{ctrl}^t$来权重预测精度，表示为： $r^t=-Loss(y^t,\hat y^t)+\beta_{BW} r_{BW}^t+\beta_{ctrl} r_{ctrl}^t$。

   (6)从数据中心到边缘设备的反馈：主要目标是根据数据中心的全局动态带宽波动、快速变化但输入内容重要性以及整体的准确性，动态地优先处理来自边缘设备 $i$的感官输入流 $x_i^t$。边缘设备 $i$的编码器基于反馈 $a_i^t$和一个可能的自身带宽 $\hat B_i$的评估，来创造一个压缩编码 $z_i^t$，表示为： $z_i^t=f_{encode}(x_i^t,a_i^t,\hat B_i^t)$。我们期望从数据中心到边缘设备的行为反馈可以使用最小的网络带宽，另外大部分网络是上行带宽受限的(从边缘到数据中心)，而不是下行带宽受限的(行为反馈)。
   

3. 数学公式定义：我们考虑一个固定的计划周期，它有着T个离散的步长，给定来自N架无人机的传感输入和带宽，包括来自预训练模型 $\{\bar x^t,y^t,\hat B^t\} _{t=1}^T$给出的精确标签 $y$，该控制问题被定义为： $maximize_{a^0,...,a^{T-1}\quad \frac{1}{T}\sum_{t=1}^T \Xi(r^t)}$。我们可以将其表示为MDP问题，使用一个数据驱动模拟器利用强化学习来递归求解，每次迭代持续着计划周期。RL找到一个控制策略 $\pi_{decode}:S \rightarrow A$来最大化所返回的奖励 $R(\pi_{decode}=\sum_{t=1}^T\gamma^{t-1}r^t)$。

四、评估

1. 评估准备：(1)感知任务：无人机必须优先考虑可能有目标的区域，这需要在无先前知识的情况下学习目标和网络带框的转换，实验中我们假定无人机作为固定的传感设备，只有目标在移动。

   (2)无人机图像内容：一个无人机图像由16个像素组成，被分成4个带有4个像素的区域，强度随机分布在[0,1]之间，数据中心可以观察到所有的区域。

   (3)网络带宽约束：每架无人机可能只能够发送图像的一部分，因此在数据中心只更新全局评估 $\hat x_i^t$的一部分，一个RL代理必须要以带宽和任务感知的方式学会目标可能出现在哪片区域。我们定义 $\hat B_i^t \in [0,16]$，16意味着它可以发送整个图像，0意味着它不能发送任何像素。

   (4)RL解决方法：我们训练一个深度RL代理，其驻留在数据中心，并使用学习到的策略 $\pi_{decode}$来解码输入。RL代理的状态是 $s_t=[\hat x_i^{t-1},\hat B_i^t]$，它由三种可测量的带宽和在数据中心的先前图像评估所组成，基于状态 $s^t$，RL选择 $\bar a^t=\pi_{decode}(s^t)$，行为 $a_{i,j}^t \in [0,1]$表示无人机 $i$应当从区域 $j$发送的输入比例，导致了3架无人机和4个区域块的12个维度。无人机 $i$尝试基于它的行为 $a_{i,j}^t$在它的所有区域 $j$中发送 $\tilde B_i^t=4 \times \sum_j a_{i,j}^t$个像素，由于带宽限制，RL代理必须要发送少量但是重要的像素到数据中心，如果另一架无人机有好的连接则利用区域重叠技术。我们定义任务奖励为： $r^t=-Loss(y^t,\hat y^t)+ \begin{Bmatrix} \beta_{BW} . (\tilde B_i^t-B_i^t),\quad if \; \tilde B_i^t>B_i^t\\ 0, \quad otherwise \end{Bmatrix}$。

2. RL评估指标及结果：(1)性能(涉及一个离线最优解的奖励)：我们对RL的每段总奖励和一个离线优化解决方案总奖励进行比较，离线优化有着对当前和未来图像、红色像素位置以及带宽的完美认知。尽管离线优化方案在实际操作上并不可行，RL代理仍然可以达到最好评估阶段的84%，显示了它能够适应纯数据驱动学习的传感任务和带宽。
   
   (2)任务感知(正确跟踪目标像素)：下图展示了目标像素如何在RL行为覆盖的区域之间移动，以及这个特定的移动区域的带宽。关键方法是当目标切换区域并快速响应一个接近1的行为 $a_{i,j}^t$来发送所改变的位置时，RL如何学习。当红色目标像素移动时，RL知道它此时应该发送一个更新。
   
   (3)带宽感知(智能分配有限带宽)：我们展示了当目标移动区域时的RL行为在热点图中的空间分布，热点图范围表示在该区域中所采取的行为，其中最大的行为是2，因为在重叠区域，有着两架无人机都可以发送整个区域。RL只能看到目标的先前位置，必须要发送相关的子区域将目标定位到新位置。热点图展示出代理优先考虑上次观察到目标的区域，并预测目标可能移动的邻近区域。

五、相关工作和讨论

1. 我们所提出的系统必须要对真实世界的不确定性具有鲁棒性，为了对不断变化的动态网络具有鲁棒性，我们建议使用一组不同的模拟吞吐量跟踪来进行训练。另外，从云到边缘服务器的反馈可以被一系列通用的控制理论方法所实现，例如模型预测控制(MPC)而不是Deep RL。
2. 在边缘设备和云之间对大型DNNs进行分割，通常是卷积层运行在边缘，使用JPEG或者变体来压缩中间结果，然后在云端计算全连接层。一个合适的分割方法可以通过分析每层的能耗和延迟来确定，因此要求对快速发展的CNN内部进行分析。
3. 另一个相关工作是在空间分布的边缘DNNs和云上共享输入，可以使用一个特殊的BranchyNet架构来避免对后面层的计算，前提是前面层的结果已经足够精确。一个非常重要的工作重点是为移动设备构造压缩的DNNs，可以通过权重量化、修剪连接或者使用更有效的卷积单元。

六、未来研究方向

1. 初始评估：(1)表达行为空间：一个关键设计问题是选择一个简洁但有力的反馈行为，使边缘设备以任务感知的方式来压缩数据而不是简单地丢弃子区域，行为集合对于采集压缩、编码和目标检测应当是通用的。(2)控制和行为感知：无人机可以被指导移动到何处来收集感知目标的最新消息，我们也可以解决控制问题，较差的带宽条件和任务感知可以被调整来避免控制风险。
2. 结论：随着分布式网络传感设备及其自动化传感任务的多样性，我们认为端到端的目标共同设计数据编码和传输变得越来越重要。因此我们提出来一种最新的分布式DNN架构，在设计过程中将传感目标和限制网络带宽看作第一要素。