基于鸽群的鲁棒强化学习算法
2022-12-06 14:42:40   来源：    点击：

摘 要:强化学习是一种人工智能算法，具有计算逻辑清晰、模型易扩展的优点，可以在较少甚至没有先验信息的前提下，通过和环境交互并最大化值函数，调优策略性能，有效地降低物理模型引起的复杂性。基于策略梯度的强化学习算法目前已成功应用于图像智能识别、机器人控制、自动驾驶路径规划等领域。然而强化学习高度依赖采样的特性决定了其训练过程需要大量样本来收敛，且决策的准确性易受到与仿真环境中不匹配的轻微干扰造成严重影响。特别是当强化学习应用于控制领域时，由于无法保证算法的收敛性，难以对其稳定性进行证明，为此，需要对强化学习进行改进。考虑到群体智能算法可通过群体协作解决复杂问题，具有自组织性及稳定性强的特征，利用其对强化学习进行优化求解是一个提高强化学习模型稳定性的有效途径。结合群体智能中的鸽群算法，对基于策略梯度的强化学习进行改进:针对求解策略梯度时存在迭代求解可能无法收敛的问题，提出了基于鸽群的强化学习算法，以最大化未来奖励为目的求解策略梯度，将鸽群算法中的适应性函数和强化学习结合估计策略的优劣，避免求解陷入死循环，提高了强化学习算法的稳定性。在具有非线性关系的两轮倒立摆机器人控制系统上进行仿真验证，实验结果表明，基于鸽群的强化学习算法能够提高系统的鲁棒性，降低计算量，减少算法对样本数据库的依赖。