网络辅助全双工（NAFD）系统能够在相同的时频资源内实现上行链路和下行链路通信，从而避免切换模式切换的开销。但随着用户和接入点（AP）数量激增，大规模接入为模式选择带来了极大的开销。此外，用户的差异化服务需求也使得资源的有效利用变得困难。结合网络切片技术提出一种以切片容量为中心的模式选择和资源优化方案，该方案采用一种双层深度强化学习机制，通过AP的聚类协作和资源隔离，不仅实现了上下行资源的自适应配置，并且适应网络规模扩增，快速响应环境变化。相比于传统方案有效兼顾了灵活扩展性和用户需求性。

        Slicing capacity-centered NAFD cell-free distributed massive MIMO system

本文提出了一种以切片容量为中心的模式选择和资源优化方案，将网络切片结合NAFD技术不仅进一步提高有限资源的利用率，而且满足用户的定制化服务。另外AP聚类与切片形成子系统，创新出AP模式选择新范式，减小了协作开销。为了有效地实施该方案，本文提出一种能够适应切片需求长期趋势的双层深度强化学习机制，上层根据下层反馈信息以及流量状态，使用DQN算法得到AP与切片的关联方案；下层根据上层关联方案以及本地网络状态，通过MADDPG算法实现子系统内的模式选择和资源分配。上下层之间相互耦合，互为反馈。

本文的创新点如下：

（1）引入网络切片来辅助NAFD技术，通过用户之间的资源隔离减少资源竞争的压力。

（2）以用户的差异化服务需求为驱动，AP与切片进行关联形成互不重叠的子系统，并且在子系统内部进行模式选择和资源分配的联合优化。

（3）提出了双层深度强化学习机制，上层控制策略使用DQN算法来形成灵活双工子系统，下层控制策略使用MADDPG协同选择工作模式，并在每个子系统中执行无线电资源分配。 

本文所提出的以切片容量为中心的方案以及双层深度强化学习机制在PYTHON平台中进行了仿真验证。仿真结果表明所提出的以切片容量为中心的模式选择和资源优化方案，相比于以全局容量为中心的传统方案，不仅提高了系统性能，并且通过优化AP与切片的关联方案，提高切片需求和切片效用的适配度满足用户的定制化需求。此外，相比于静态资源分配方案和K-means-MADDPG学习机制，双层深度强化学习机制通过AP之间的协作达到了更优越的系统性能，进一步证明了所提出的双层深度强化学习机制通过上下层之间的互相反馈实现对网络状态的追踪优化。

Results of the lower-layer control policy under different association schemes between APs and slices in the upper-layer control

Simulation results of the upper-layer control policy

Sum rate of the global capacity-centered scheme and system convergence and performance comparison of different schemes