机器学习深度学习【免费下载链接】dopamineDopamine is a research framework for fast prototyping of reinforcement learning algorithms.项目地址https://gitcode.com/gh_mirrors/do/dopamine点击查看免费下载ClassicControlRainbowNetwork 是 Dopamine 强化学习框架中为 CartPole、Acrobot、LunarLander、MountainCar 等经典控制classic control环境量身打造的 JAX Rainbow 网络它以全连接多层感知机MLP替代 Atari 场景下的卷积网络并内置特征归一化逻辑直接适配 Gym 低维连续观测。本文将以官方 API 文档为核心结合仓库源码、Gin 配置文件与 Colab 示例完整讲解该网络的字段含义、前向计算流程、归一化原理以及如何在 Rainbow/C51 智能体中将其配置落地。一、网络定位从 Atari 像素到经典控制向量Dopamine 的 JAX 实现dopamine/jax/networks.py中同时存在两类网络面向 Atari 2600 图像输入的卷积网络如RainbowNetwork、ImplicitQuantileNetwork以及面向 Gym 经典控制任务的稠密网络。ClassicControlRainbowNetwork属于后者官方文档对其的定位描述为 “Jax Rainbow network for classic control environments”即经典控制环境专用的 JAX Rainbow 网络。经典控制环境的观测不是 84×84 的像素帧而是低维连续向量例如环境观测维度形状栈大小stack_sizeCartPole(4, 1)1Acrobot(6, 1)1LunarLander(8, 1)1MountainCar(2, 1)1上述形状与栈大小常量定义于 dopamine/discrete_domains/gym_lib.py如gym_lib.CARTPOLE_OBSERVATION_SHAPE、gym_lib.CARTPOLE_STACK_SIZE等。正因为观测是 48 维的小向量网络完全不需要卷积层一个数层 MLP 即可高效拟合价值分布。二、字段Attributes完整解析官方 API 文档将该类标记为 dataclass 风格模块公开字段如下全部为 Flax Linennn.Module的 dataclass 字段在实例化网络时以关键字参数传入字段含义默认值num_actions智能体可选动作数由环境动作空间决定必填无num_atoms分布强化学习中的原子atom数量即 C51/Rainbow 的回报分布支撑点个数无num_layers隐藏层数量2hidden_units每个隐藏层的神经元数量512min_vals观测归一化使用的最小值元组对应环境各观测维度的下界Nonemax_vals观测归一化使用的最大值元组对应环境各观测维度的上界Noneinputs_preprocessed输入是否已预处理为 True 时跳过网络内部的归一化与展平FalseparentFlax Module 的父模块框架通用字段无nameFlax Module 名称框架通用字段无其中parent与name是 Flaxnn.Module的通用元数据字段num_actions、num_atoms、num_layers、hidden_units、min_vals、max_vals、inputs_preprocessed才是该网络的核心配置。三、源码级实现setup 与前向计算ClassicControlRainbowNetwork定义于 dopamine/jax/networks.py#L337-L377其核心实现分为setup与__call__两部分。3.1 setup构建权重层def setup(self): if self.min_vals is not None: self._min_vals jnp.array(self.min_vals) self._max_vals jnp.array(self.max_vals) initializer nn.initializers.xavier_uniform() self.layers [ nn.Dense(featuresself.hidden_units, kernel_initinitializer) for _ in range(self.num_layers) ] self.final_layer nn.Dense( featuresself.num_actions * self.num_atoms, kernel_initinitializer )要点使用xavier_uniform初始化器初始化所有 Dense 层这一初始化策略适合 ReLU 之前的线性变换有助于训练稳定网络由num_layers个隐藏 Dense 层每层hidden_units个神经元加一个最终 Dense 层构成最终层输出维度为num_actions * num_atoms即每个动作对应一条长度为num_atoms的回报分布支撑若传入了min_vals则将其缓存为 JAX 数组供前向归一化使用。3.2call归一化、前向传播与分布输出def __call__(self, x, support): if not self.inputs_preprocessed: x x.astype(jnp.float32) x x.reshape((-1)) # flatten if self.min_vals is not None: x - self._min_vals x / self._max_vals - self._min_vals x 2.0 * x - 1.0 # Rescale in range [-1, 1]. for layer in self.layers: x layer(x) x nn.relu(x) x self.final_layer(x) logits x.reshape((self.num_actions, self.num_atoms)) probabilities nn.softmax(logits) q_values jnp.sum(support * probabilities, axis1) return atari_lib.RainbowNetworkType(q_values, logits, probabilities)前向流程可拆解为四步类型与形状归一输入先转为jnp.float32并展平为一维向量reshape((-1))。注意inputs_preprocessedTrue时跳过这一步适用于输入已经完成预处理与展平的场景。特征缩放核心亮点当配置了min_vals/max_vals时对每个观测维度执行 min-max 归一化后再映射到 [-1, 1] 区间x 2.0 * (x - min_vals) / (max_vals - min_vals) - 1.0。这一设计对经典控制环境至关重要——不同环境观测的数值量纲差异极大例如 CartPole 的角度范围约 ±0.26 rad而 MountainCar 的位置范围是 [-1.2, 0.6]统一到 [-1, 1] 可显著改善 MLP 的训练稳定性。MLP 特征提取依次经过num_layers个 Dense ReLU 隐藏层再通过最终 Dense 层输出num_actions * num_atoms的原始 logits。分布输出logits 重塑为(num_actions, num_atoms)经 softmax 得到每个动作上的回报概率分布probabilities再与支撑向量support做加权求和得到期望 Q 值q_values最终以RainbowNetworkType(q_values, logits, probabilities)三元组返回。3.3 返回类型RainbowNetworkType返回的命名元组RainbowNetworkType定义于 dopamine/discrete_domains/atari_lib.py#L53-L55RainbowNetworkType collections.namedtuple( c51_network, [q_values, logits, probabilities] )q_values每个动作的期望 Q 值用于动作选择argmaxlogits每个动作的原子 logits用于 C51 交叉熵损失计算probabilities每个动作的回报分布概率用于构建目标分布。该命名元组同时被 Atari 版RainbowNetwork复用保证了网络接口的一致性智能体无需关心底层是 CNN 还是 MLP。四、与 Rainbow 智能体的协作机制ClassicControlRainbowNetwork由JaxRainbowAgentdopamine/jax/agents/rainbow/rainbow_agent.py驱动。在训练时智能体调用network_def.apply(params, state, support)获取 logits 并计算 C51 交叉熵损失在目标分布构建时target_distribution使用next_state_target_outputs.q_values选最优动作、用probabilities做支撑投影project_distribution动作选择阶段则直接取network_def.apply(params, state, support).q_values的 argmax见 rainbow_agent.py#L200-L204。support由智能体根据vmin/vmax与num_atoms生成默认参数为num_atoms51、vmax10.0。五、Gin 配置实战四环境完整示例在 Dopamine 中网络通过 Gin 配置文件绑定到智能体。以 CartPole 的 C51 配置 dopamine/jax/agents/rainbow/configs/c51_cartpole.gin 为例import dopamine.jax.agents.rainbow.rainbow_agent import dopamine.jax.networks import dopamine.discrete_domains.gym_lib import dopamine.discrete_domains.run_experiment JaxRainbowAgent.observation_shape %gym_lib.CARTPOLE_OBSERVATION_SHAPE JaxRainbowAgent.observation_dtype %jax_networks.CARTPOLE_OBSERVATION_DTYPE JaxRainbowAgent.stack_size %gym_lib.CARTPOLE_STACK_SIZE JaxRainbowAgent.network networks.ClassicControlRainbowNetwork JaxRainbowAgent.num_atoms 201 JaxRainbowAgent.vmax 100. JaxRainbowAgent.gamma 0.99 JaxRainbowAgent.epsilon_eval 0. JaxRainbowAgent.epsilon_train 0.01 JaxRainbowAgent.update_horizon 1 JaxRainbowAgent.min_replay_history 500 JaxRainbowAgent.update_period 1 JaxRainbowAgent.target_update_period 1 JaxRainbowAgent.epsilon_fn dqn_agent.identity_epsilon JaxRainbowAgent.replay_scheme uniform create_optimizer.learning_rate 0.00001 create_optimizer.eps 0.00000390625 ClassicControlRainbowNetwork.min_vals %jax_networks.CARTPOLE_MIN_VALS ClassicControlRainbowNetwork.max_vals %jax_networks.CARTPOLE_MAX_VALS create_gym_environment.environment_name CartPole create_gym_environment.version v0 create_runner.schedule continuous_train create_agent.agent_name jax_rainbow create_agent.debug_mode True TrainRunner.create_environment_fn gym_lib.create_gym_environment Runner.num_iterations 400 Runner.training_steps 1_000 Runner.evaluation_steps 1_000 Runner.max_steps_per_episode 200 # Default max episode length. ReplayBuffer.max_capacity 50_000 ReplayBuffer.batch_size 128 PrioritizedSamplingDistribution.max_capacity 50_0005.1 归一化边界常量min_vals / max_vals 的来源ClassicControlRainbowNetwork.min_vals与max_vals直接引用 dopamine/jax/networks.py#L35-L51 中注册的 Gin 常量各环境取值如下环境MIN_VALSMAX_VALSCartPole(-2.4, -5.0, -π/12, -2π)(2.4, 5.0, π/12, 2π)Acrobot(-1, -1, -1, -1, -5, -5)(1, 1, 1, 1, 5, 5)MountainCar(-1.2, -0.07)(0.6, 0.07)LunarLander—不配置 min_vals/max_vals—这些常量对应各环境的物理边界如 CartPole 的位置 ±2.4、速度 ±5、角度 ±π/12 rad、角速度 ±2π rad/s因此归一化无需从数据中统计直接使用环境定义即可。值得注意CARTPOLE_OBSERVATION_DTYPE、ACROBOT_OBSERVATION_DTYPE等常量将观测 dtype 注册为jnp.float64以保证数值精度而 Acrobot/MountainCar/CartPole 均有配套的 rainbow 与 c51 两套配置如 rainbow_acrobot.gin、c51_mountaincar.gin、rainbow_lunarlander.gin区别主要在于num_atomsC51 配置用 51Rainbow 配置用 201与vmax取值。5.2 运行方式配置完成后可通过dopamine.discrete_domains.train启动训练python -m dopamine.discrete_domains.train \ --base_dir/tmp/dopamine/cartpole \ --gin_filesdopamine/jax/agents/rainbow/configs/c51_cartpole.gin另外官方 Colab 示例 dopamine/colab/cartpole.ipynb 中也以相同的 Gin 绑定方式JaxRainbowAgent.network networks.ClassicControlRainbowNetwork、ClassicControlRainbowNetwork.min_vals/max_vals演示了 CartPole 上的 Rainbow 训练可作为交互式入门参考。六、测试与验证仓库中 tests/dopamine/jax/networks_test.py 对 JAX 网络族含经典控制网络进行单元验证tests/dopamine/jax/agents/rainbow/下的智能体测试则覆盖了JaxRainbowAgent与网络绑定的端到端行为。如需修改或扩展该网络建议同步补充对应测试以验证输出形状、归一化效果与分布计算逻辑。七、小结ClassicControlRainbowNetwork是 Dopamine JAX 体系中将分布强化学习C51/Rainbow从 Atari 视觉任务迁移到经典控制任务的关键桥梁它以可配置深度的 MLP 处理低维连续观测用环境物理边界驱动的 min-max 归一化保证训练稳定并通过RainbowNetworkType(q_values, logits, probabilities)这一统一接口无缝接入 Rainbow 智能体的损失计算与动作选择流程。理解它的字段语义与前向流程即可在 CartPole、Acrobot、MountainCar 等环境中快速复现和定制分布强化学习算法。赞分享机器学习深度学习【免费下载链接】dopamineDopamine is a research framework for fast prototyping of reinforcement learning algorithms.项目地址https://gitcode.com/gh_mirrors/do/dopamine点击查看免费下载相关推荐Dopamine legacy_networks 模块解析TensorFlow 离散域网络架构与实战配置指南Dopamine legacy_networks 模块解析TensorFlow 离散域网络架构与实战配置指南 导读 dopamine.discrete_dom机器学习深度学习maths-cs-ai-compendium 计算机视觉卷积神经网络全解——卷积机制、经典架构演进与 JAX 实战maths cs ai compendium 计算机视觉卷积神经网络全解——卷积机制、经典架构演进与 JAX 实战 卷积神经网络CNN不依赖人工设计的滤波文档教程知识库使用Matcha-gtk-theme打造专业开发环境程序员桌面美化的10个技巧使用Matcha gtk theme打造专业开发环境程序员桌面美化的10个技巧 想要为你的Linux桌面打造一个既美观又高效的开发环境吗Matcha gtk上一篇QMCDecode深度解析QQ音乐加密格式转换的终极技术方案下一篇QMCDecode3步解锁QQ音乐加密格式的免费macOS工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
