企业官网建设流程全解析

程序员知识网站需要多少钱,寮步网站建设价钱,邢台又一地被划定高风险区域,一个空间怎么做多个网站算法涉及理论知识概要强化学习作为一种强大的机器学习范式#xff0c;为解决这类复杂的控制问题提供了有效的途径。其中#xff0c;Q-learning算法因其简单性和通用性#xff0c;在Cart-Pole推车杆平衡控制系统中得到了广泛应用。本文将深入探讨基于Q-learning强化学习的Car…算法涉及理论知识概要强化学习作为一种强大的机器学习范式为解决这类复杂的控制问题提供了有效的途径。其中Q-learning算法因其简单性和通用性在Cart-Pole推车杆平衡控制系统中得到了广泛应用。本文将深入探讨基于Q-learning强化学习的Cart-Pole推车杆平衡控制系统的原理。Cart-Pole物理模型Cart-Pole系统由一个可在水平轨道上移动的推车和一根通过铰链连接在推车上的杆组成。假设推车的质量为6这些方程描述了系统状态随时间的变化规律是理解和控制Cart-Pole系统的基础。Cart-Pole推车杆平衡控制系统的目标是设计一个控制器通过施加合适的力F使杆在尽可能长的时间内保持垂直平衡状态即 θ≈0同时确保推车不超出轨道边界。在实际应用中这一问题的解决方案可以推广到机器人平衡控制、火箭姿态调整等领域。Q-learning强化学习强化学习是一种通过智能体Agent与环境Environment进行交互以最大化累积奖励Reward为目标的机器学习方法。在Cart-Pole系统中智能体就是负责控制推车运动的控制器环境则是Cart-Pole系统本身。7Q值函数的更新规则为8控制每次更新的步长。学习率越大新的经验对Q值的影响越大学习率越小Q值的更新越依赖于之前的估计。在训练完成后使用训练好的Q表进行测试。在测试过程中智能体采用贪心策略即 ϵ0选择动作观察Cart-Pole系统在不同初始状态下的平衡控制效果。可以通过计算系统保持平衡的平均时间、成功平衡的次数等指标来评估控制器的性能。3.MATLAB核心程序123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960.............................................................% 绘制新的状态figure(1);% 计算杆的两个端点的 x 坐标X [Pos_car, Pos_carLens*sin(Ang_car)];% 计算杆的两个端点的 y 坐标Y [0.1, 0.1Lens*cos(Ang_car)];% 绘制小车用绿色矩形表示objrectangle(Position,[Pos_car-0.1,0,0.2,0.1],facecolor,g);hold on% 绘制杆用蓝色粗线表示obj2plot(X,Y,b,LineWidth,4);hold on% 设置坐标轴范围axis([-0.5 0.5 0 2]);% 根据外力方向显示图例if F 0legend(,FontSize, 15);elselegend(,FontSize, 15);end% 更新图形窗口的标题显示训练次数和最大成功次数title(strcat(训练次数,num2str(iters)));hold off% 绘制平均 Q 值随训练次数的变化曲线figureplot(Q_save);% 设置 x 轴标签xlabel(训练次数);% 设置 y 轴标签ylabel(Q value收敛值);% 绘制子图figure% 绘制第一个子图显示杆的角速度随训练次数的变化subplot(221);plot(Vang_car_save);% 设置子图标题title(pole角速度);% 绘制第二个子图显示杆的角度随训练次数的变化subplot(222);plot(Ang_car_save);% 设置子图标题title(pole角度);% 绘制第三个子图显示小车的速度随训练次数的变化subplot(223);plot(V_car_save);% 设置子图标题title(pole速度);% 绘制第四个子图显示小车的位置随训练次数的变化subplot(224);plot(Pos_car_save);% 设置子图标题title(pole位置);0Z_016m