Q学习
Q-学习（）是强化学习的一种方法。Q-学习就是要記錄下学习過的策略，因而告诉智能体什么情况下采取什么行动會有最大的獎勵值。Q-学习不需要对环境进行建模，即使是对带有随机因素的转移函数或者奖励函数也不需要进行特别的改动就可以进行。 对于任何有限的馬可夫決策過程（FMDP），Q-学习可以找到一个可以最大化所有步骤的奖励期望的策略，在给定一个部分随机的策略和无限的探索时间，Q-学习可以给出一个最佳的动作选择策略。 「Q」这个字母在强化学习中表…
标签：#强化学习
共 6 篇文章
强化学习
强化学习（，簡稱）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。与监督学习不同的是，强化学习不需要带标签的输入输出对，同时也无需对非最优解的精确地纠正。其关注点在于寻找（对未知领域的）探索和（对已有知识的）利用的平衡，强化学习中的“探索-利用”的交换，在多臂赌博机问题和有限MDP中研究得最多。 其灵感来源于心理学中的行为主义理论，即有机体如何在环…
近端策略优化
近端策略優化（，PPO）是OpenAI公司于2017年开发的一系列无模型强化学习算法。该算法采用了策略梯度算法，这意味着它们的做法是搜索策略空间而非状态-动作对的值。 近端策略优化包含了置信域方法的一些优点，如更易于实现，更通用，并且具有更好的样本复杂度。该算法是通过使用不同的目标函数来完成的。 另见 强化学习 时序差分学习 博弈论 参考文献 外部链接 [https://openai.com/blog/openai-baselines-…
时序差分学习
时序差分学习（，TD learning）是一类无模型强化学习方法的统称，这种方法强调通过从当前价值函数的估值中自举的方式进行学习。这一方法需要像蒙特卡罗方法那样对环境进行取样，并根据当前估值对价值函数进行更新，宛如动态规划算法。 和蒙特卡罗法所不同的是，时序差分学习可以在最终结果出来前对其参数进行不断地调整，使其预测更为准确，而蒙特卡罗法只能在最终结果产生后进行调整。这是一种自举式的算法，具体的例子如下： 假設你需要預測星期六的天氣，並…
基于人类反馈的强化学习
基于人类反馈的强化学习（，简称），包括基于人类偏好的强化学习（），是一种直接根据人类反馈训练“奖励模型”的机器学习技术，并使用该模型作为强化学习中的奖励函数，再通过近端策略优化等算法以优化智能体（agent）策略。奖励模型在进行策略优化之前预先训练，以预测给定的输出是好（高奖励）还是坏（低奖励）。RLHF可以提高强化学习智能体的鲁棒性（robustness）和探索性（exploration），尤其适用于奖励函数稀疏或有噪声（不确定性）的…
深度强化学习
深度強化學習（英語：Deep reinforcement learning，簡稱 Deep RL 或 DRL）是機器學習的一個子領域，結合了強化學習和深度學習。強化學習探討如何在嘗試錯誤的過程中讓智慧型代理人學習做更好的決策。深度強化學習採用了深度學習的方法，讓智慧型代理人可以直接基於非結構化資料來做決策，而不需要人為設計的狀態空間。深度強化學習演算法可以讀取非常大的輸入資料（像是電玩畫面上的每個像素），來判斷哪個動作可以達到最好的目標…