博文
数据中心计算资源优化调度管理的一些关键问题
||
“今后数年的核心竞争将是在数据中心。”
就云计算本身而言，它将很有可能彻底改变用户使用电脑的习惯，使用户从以桌面为核心使用各项应用转移到以Web为核心进行各种活动。而计算机也有可能退化成一个简单的终端，不用再像现在一样需要安装各种软件，同时为这些软件的配置和升级费心费神。未来的计算机可能仅仅用作网络连接以及使用云计算之上的各项服务。
一样，云计算将首先给企业（尤其是中小企业）带来最为直接的变化：他们能够快速搭建自己想要的各种应用，而不用再为服务器资源而烦恼。而云计算最终能否普及至个人，恐怕还需看未来一段时间的发展。
当然，云计算的在未来的发展也面临着各种挑战，其中安全和隐私将成为首要问题，同时还包括可靠性问题，动态按需分配，标准化问题和资源管理调度问题等。
来自IBM公司的图-1分析数据显示，三种类型的开销（能耗，管理维护，服务器购置）的对比表明，随着购置服务器的成本逐年下降，数据中心的管理维护和能耗的开销逐年增加，其中管理维护所占比重最大。
图-1 数据中心三种类型开销对比
1. 动态多层次分布式资源监控
计算资源的状态和使用信息准确及时提供是其它调度策略和决策的依据。
如图-2所示，自底向上需要动态监控状态和利用率的资源主要包括物理服务器，虚拟机，物理服务器集群，虚拟机集群，单个数据中心，整个数据中心等。监控也需要及时高效地反映网络资源状态和利用率。目前很多监控系统比较庞大，暂用较多资源，需要更加专业精简的监控系统。拓展至包括对网络资源，存储以及环境和应用程序的监控。 另外如何进一步提升监控系统的性能，减少开销和缩短响应时间都是值得探讨的问题。
图-2 监控对象的层次结构
2. 动态综合调度策略和算法研发
本书介绍的调度策略和算法主要包括负载均衡，高效节能，最大化利润；还有其它多种策略和算法未详细介绍，包括成本优先，性能优先等调度策略和算法。
表-1主要调度策略对比分析
分类 | 策略 | 优化目标 | 复杂度 | 优点 | 缺点 |
性 能 优 先 | 负载均衡 | 使各类资源的CPU，存储，带宽等利用率基本一致（趋于平均值） | 较低 | 资源性能基本得到保障 | 主要从保障性能方面考虑，其他方面难以兼顾 |
高可靠性 | 使各类资源的可靠性达到指定的具体要求 | 较低 | 使得业务可靠性可以有保障 | 依据可靠性要求不同，可能增加相当数量的资源 | |
最大化满足用户需求 | 无具体目标函数 | 低 | 按用户级别（优先级，安全级等）分类 | 只能定性分配，很难量化 | |
成 本 优 先 | 最大化利用率 | 资源利用率最大，使得所有数据中心计算资源最大程度的利用。 | 较高 | 使得资源利用率较高（相应的成本较低） | 难以满足相关的性能（负载均衡，可靠性，快速服务）等需求 |
最大化利润 | 最大化利润，即使用各种资源的收入（单位时间）减去使用各种资源的总成本最大化。 | 高 | 符合大多数商业提供商的利益要求 | 难以满足相关的性能（负载均衡，可靠性，快速服务）等需求 | |
节能 优先 | 节能算法 | 最大程度降低数据中心的能耗 | 高 | 能够降低数据中心的能耗，节约成本 | 难以满足其它相关的性能（负载均衡，可靠性，快速服务）等需求 |
5
在实际调度中需要考虑实际业务需求和商业目标而选取不同的调度策略。对于满足公司内部业务需求为主的应用，可以考虑最大化利用率和负载均衡等策略；对于商业应用为主的需求，可能考虑最大化利润，最小化成本等策略。建议兼顾性能和成本的方式，比如选择最大化利润但同时把（适当的负载均衡和满足可靠性要求作为限制条件）。
3. 多数据中心（多调度域）的调度策略和算法动态可选择
图 -3 多数据中心部署简略图
如图-3 所示，为满足不同类型用户的需要，调度系统可设计成多数据中心（多调度域）调度策略和算法动态可选择。调度系统可采用分布式调度域设计方式,与调度系统紧密相关的两类节点（一类是超级调度中心；另一类是调度节点（调度域管理节点）），超级调度中心:负责接收来自用户的任务请求;维护和更新各调度域可用资源信息;管理调度域;管理调度策略(算法);将用户请求依据其特征(包括优先级，服务质量等)分流到个调度域;与各调度域之间通过广域网或局域网链接通信;需要高性能的硬件服务器和相关的数据库系统及管理软件。另一类是调度节点#1-#N: 需要高性能的硬件服务器和相关的数据库系统及管理软件,执行该调度域内的调度算法。
4. 绿色节能数据中心的综合解决方案
目前业界非常关注的数据中心节能调度管理技术。该方向还处在初步探索阶段，是一个重点研究领域。热点问题包括：
1) 针对离线调度算法，拓展考虑物理机异构和请求容量任意的情况。目前的研究大多考虑数据中心物理机同构的情况，或者在异构时通过简单的计算能力等价转换为同构。近似比接近优化值的离线调度算法也是探索的一个重点内容, 并进一步考虑异构的情况。
2) 针对在线调度，设计更加节能地调度算法。目前公开文献中已知的在线调度算法只考虑了请求容量为单位值时的竞争比，该竞争比还较大，在此种情况下能否设计出进一步降低竞争比的调度算法是一个关键问题。同时还缺少考虑请求容量为任意值的在线算法设计。
3) 随机算法需要考虑更多的模型和提出更具体的评价指标: 目前的研究相对较少，并且考虑的排队模型主要是经典的M/M/1和M/M/k两个，还有更多的排队模型需要考虑。目前研究考虑的度量指标主要是针对计算任务的平均响应时间，最少机器数量等，需要拓展更多的度量指标，包括影响机器能耗的负载率和总运行时间等因素。
4) 深入考虑虚拟机的迁移与总能耗之间的关系。由于虚拟机任务有开始时间和结束时间所以任务在运行一段时间后可能就会离开，这时有些物理机的利用率就会比较低，开启的物理服务器过多就会浪费能源，需要对利用率比较低的物理服务器上面的虚拟机进行迁移。系统要每隔一段时间监测和分析是否有虚拟机需要迁移。不过虚拟机的迁移本身需要一定的代价，比如说性能、能耗方面的影响，所以虚拟机的迁移不易过多。对于离线的情况在分配时并不进行虚拟机的迁移操作。而在线调度由于只知道当前任务的信息，并不能通盘考虑整个调度过程的情况，所以在合理分配请求的情况下会配合少量迁移以帮助实现节能效果。
5) 深入考虑延时策略对能耗的影响和对服务质量的影响。由于物理机资源是有限的，所以有可能在虚拟机请求任务比较多的时候，物理服务器资源并不能满足所有虚拟机请求，对于那些不能满足的请求可以对他们的开始时间进行适当调整，找到物理服务器下一个的空闲时间段，把这些虚拟机请求合理的推迟到这些时间段进行分配。
6) 针对一个区域(例如一个数据中心)一定时间内总功率和能耗受限额要求下的优化管理配置问题；
7) 节能调度与负载均衡相互结合的调度算法；
8) MapReduce海量处理系统的节能与负载均衡；
9) 内容传递网的节能与负载均衡综合调度管理。
5. 从基础资源调度拓展到应用任务调度
调度管理可以拓展至针对应用任务，如大规模计算任务和网络服务任务等调度管理。特别是针对MapReduce多任务环境下的优化调度问题值得深入研究。其中MapReduce多任务环境下的优化调度问题主要包括：
1). 优化的性能分析模型；
2). 优化的负载均衡分析模型和真实环境配置技术；
3). 优化的节能调度分析模型和真实环境中的实施技术；
4). 针对不同业务特征的分类模型和实施；
5). 满足一定服务质量（例如响应时间要求或可靠性要求）的动态集群资源配置技术;
6). 多任务环境下的任务优化调度顺序与性能指标综合考虑。
总之，数据中心的能耗敏感调度技术的研究还刚刚起步，还有很多问题需要进一步系统深入的研究以便为数据中心建设者，运营商和用户提供更系统的行之有效的高效节能调度管理方法。综合考虑以上挑战问题的理论研究和实践应用, 有望为数据中心计算资源优化调度管理提供良好的解决方案, 适应新的发展趋势例如大数据处理, 高性能和高可靠性服务质量要求, 真正实现新的计算和服务模式。
(节选自田文洪, 赵勇主编<云计算:资源调度管理>一书).
https://blog.sciencenet.cn/blog-1028294-726682.html
上一篇：近五年国家自然基金委资助的云计算资源调度相关项目
下一篇：重温《师说》，兼谈教学科研与服务
