摘要：片上网络( Network on Chip, NoC )的诞生可以解决基于总线架构的多核片上系统(Multiprocessor System on Chip, MPSoC)的诸多问题，但是由于IP核的增加，片上网络的延迟和功耗也会增加，这就会出现报文不可达或者局部过热等问题，限制了它的进一步应用。由于某些应用（如图片数据，机器学习等）有一定的容错能力，在IP核中可以把数据进行近似处理之后再进行通信，从而减少了数据包的传递，缓解了网络拥塞情况同时也降低了功耗。由于不能严重损害传输数据的准确性，近似通信不可以无限制地近似，所以在使用近似通信时必须把质量损失和延迟、功耗等因素综合考量。如何在满足质量要求的情况下得到一个合适的丢包率是设计中的关键问题，由于片上网络的设计大而复杂（链路带宽、数据包的大小、路由器与计算核的数量以及流量模式等），使得它很难在合适的时间得到最佳的近似结果，因此我们提出了基于强化学习的近似通信结构。

本文首先利用了强化学习对每个节点的丢包率进行训练，把训练好的丢包率固定，使用这个丢包率对节点进行控制，然后将近似后的数据包注入网络，以实现最大程度改善传输延迟和数据的质量。通过强化学习，可以动态控制不同网络环境下的丢包率，仿真结果表明，对于不同的流量模式，基于强化学习的近似算法都对饱和注入点有明显的改善，尤其是对random模式，饱和注入点从原来无近似的0.05提高到0.055以上，并且在饱和注入点位置，平均延迟下降了30%以上，但质量损失小于6%，而固定丢包率的质量损失高达10%。

关键字：强化学习；近似通信；低延迟；高质量

目录

摘要

Abstract

第一章 绪论-1

1.1课题研究背景和意义-1

1.2 国内外研究现状-1

1.3主要研究内容-3

1.3.1主要研究内容-3

1.3.2拟采用的研究方法-3

1.4本文结构流程-3

第二章 近似片上网络的相关技术与改进方向-5

2.1 近似片上网络技术指标-5

2.1.1 片上网络-5

2.1.2 近似技术-6

2.2 近似片上网络现有设计思想-6

2.3 改进方向及优势-8

2.4 仿真软件的介绍-8

2.5 本章小结-8

第三章 强化学习算法在近似器上的实现-9

3.1 评估网络状态-9

3.2 近似模块的设计-10

3.3 强化学习算法的实现-11

3.3.1 拥塞评价模型与质量评价模型-12

3.3.2 策略评估-13

3.3.3 策略改善-13

3.4 本章小结-14

第四章 仿真结果与分析-15

4.1 各类指标介绍-15

4.2 传统片上网络仿真结果分析-15

4.3 改进片上网络与传统片上网络对比分析-17

4.4 不同流量模式下改进片上网络适用性-20

4.5 本章小结-22

第五章 总结与展望-23

5.1 结论-23

5.2 下一步研究方向和展望-23

致谢-24

参考文献-25