控制器的原始输入状态是一幅图像，它在计算机中的存储形式是Q×P×3维的矩阵，参数Q和P取决于图像的分辨率。在人脸检测步骤中，首先将Q×P×3 维的原始输入图像x灰度化，得到 Q×P×1维的灰度图像。然后，使用参考文献中的人脸检测器检测灰度图像中的人脸位置，得到人脸所在矩形区域的左上角坐标(x_l,y_l)和右下角坐标(x_r,y_r)。在截取人眼图像的步骤中，以人脸检测步骤中得到的(x_l,y_l)和(x_r,y_r)为参考文献中的人脸关键点检测器的输入状态，从灰度图像中估计68个人脸关键点的坐标。在这68个人脸关键点坐标中，第37个坐标(x_re,y_re)和第46个坐标(x_le,y_le)分别代表右眼的最右端和左眼的最左端。在(x_re,y_re)上减去一个常数 M 得到，在(x_le,y_le)上加上一个常数M得到。和分别代表了眼部图像的左上角和右下角坐标。人眼周围坐标点的相对位置如图1所示。接下来，根据和从灰度图像中截取人眼灰度图像，并将其大小调整为q× p×1，q和p是预设的参数。人眼灰度图像就是预处理后的状态，设为，其维度为q× p×1。

其中，d₂、d₃、d₅、d₆是分布在右眼上下边缘的关键点坐标，d₁、d₄是分布在右眼左右边缘的点坐标。从式（1）可以看出，EAR^r等于右眼的纵向距离除以横向距离。当眼睛处于张开状态时，EAR^r基本保持不变；当眼睛闭合时，EAR^r接近0；当眨眼时， EAR^r迅速变化。因此，本文实时检测人眼的EAR^r值，通过判断EAR^r是否快速变化判断人是否处于眨眼状态，将EAR^r平稳时的值作为衡量人困意的依据。

其中，和分别表示状态和状态的EAR^r值。在t-1时刻，控制器的输入状态为，控制器执行动作u_t-1后，得到下一个时刻的状态，此时即可由和计算奖励r_t。奖励函数表达了这样的理念：当控制器的动作使人困意增大时，即

，这个动作是不被鼓励的；当控制器的动作使人兴奋时，即，这个动作是被极度鼓励的。

首先，介绍使用近似 Q 函数的深度 Q 网络。为了衡量在状态x下执行控制动作u所能获得的平均报酬，引入动作值函数，也称Q函数。由于本文的状态是图像，因此使用深度神经网络参数化动作值函数，被称为Q网络，其中θ是Q网络的参数。Q网络的输入是预处理后的状态和控制动作u，输出是状态下执行动作u获得的平均报酬。在本文中，将Q网络的结构设计为卷积神经网络。Q网络的输入是预处理后的状态。经过多层卷积层，的空间维度减小，通道维度增加。最后一层卷积层的输出将被展开成一个一维向量v，这个向量就是由卷积神经网络从图像中自动提取出的特征。暖气设备当前的阀门开度也是控制器输入状态的一部分，在这里，将阀门开度与v合并，输入卷积层之后的全连接层。

其次，介绍双深度Q网络方法的经验回放机制和目标网络机制。在双深度Q网络方法中，笔者使用了经验回放机制打破样本之间的关联性，从而减小神经网络更新时的方差。经验回放机制为：在每一个时间步，控制器接收状态，做出动作u_t，得到奖励r_t，获得下一个状态，控制器将得到的经验存储到缓冲区D中。当需要训练Q网络时，就从D中抽取小批量的经验来训练Q网络。双深度Q网络方法引入目标网络机制来降低训练Q网络时输入值和目标值之间的相关性，增强算法的收敛性。目标网络机制为：建立一个与Q网络结构相同的目标网络。的参数θ^-周期性地更新，在两次更新的间隔，θ^-保持不变。

最后，介绍双深度Q网络方法的损失函数。在第i个训练回合，Q 网络中的参数为θ_i，目标网络中的参数为。第i个训练回合的训练目标是使Q网络尽可能接近目标网络，在第i个训练回合的损失函数如式（5）所示：

3.仿真环境与实验结果

本节将介绍仿真环境的搭建以及仿真实验的结果。智能体在仿真环境中的工作流程如下：控制器实时检测人眼的运动情况，在t时刻，控制器采集到人非眨眼状态下的表情，并将其作为t时刻的状态，预处理得到。接下来，控制器将输入Q网络，根据ε-贪婪策略改变暖气设备的阀门开度，进而房间温度会随着时间改变。一段时间之后（假设此时房间温度已经达到稳定），控制器再次执行上述过程，直到能使人保持在最亢奋的状态。

为了模拟房间中的温度变化，本文建立了一个简化的房屋热模型。由热力学定律可解得室温变化的微分方程：

其中，τ_r和τ_o分别代表室内温度和室外温度，μ_r和ρ_r分别代表房间的热容和热阻，σ_i代表房间的输入热量。由式（6）可以看出，稳态室温为。可以看到，房间稳态温度τ_∞与暖气设备向房间输入的热量σ_i呈线性关系，因此，可以认为房间稳态温度τ_∞与暖气设备的阀门开度近似为线性关系。

为了模拟人的表情随温度的变化，需要建立一个温度-表情数据库，在这个数据库中，人脸的图片与温度一一对应，输入房间温度，就能得到一张人脸表情的图片。设定房间温度的取值范围是18 ℃到34 ℃之间的6个值。各个温度下的眼睛闭合程度见表1。从表1可以看出，当室内温度为26 ℃时，EAR^r最大。

在实验中，每个回合开始时的初始温度将从18 ℃、20 ℃、32 ℃和34 ℃中随机选择。控制器将根据人的表情调整暖气设备的阀门开度。当房间温度被调整到最合适的温度时，人的困意最少，此时认为控制器已经达到目的，本回合结束，重新开始新的回合，房间温度将被重新初始化。

控制器训练过程中的回合总长度、回合总奖励、回合损失的变化分别如图2、图3、图4所示。回合总长度代表调节暖气设备阀门开度的次数。从图2 可以看出，训练初期的回合总长度要明显长于训练末期。在训练末期，回合总长度会稳定在3或4。在训练末期，控制器仍对环境保持着一定的探索性，因此训练末期的回合总长度会在3和4附近有微小的波动。为了展示所提方法的有效性，将双深度Q网络方法与采取随机动作的方法进行对比，通过对比可以看出，双深度Q网络方法的回合总长度明显更小。回合总奖励表示智能体在这一回合中获得的奖励总数。随着训练的进行，智能体能够在每个状态下都做出正确的决定。因此在训练末期，回合总奖励稳定在10 附近。同样地，由于在训练末期，控制器仍保持一定的探索性，曲线在10 附近有轻微的波动。回合损失指损失函数在这一回合结束时的值。从图4可以看出，随着训练的进行，回合损失逐渐接近于0。