简介本资源面向计算机、自动化等专业的学生与开发者提供基于Python与DQN强化学习实现海防场景导弹目标选择任务的完整项目方案适用于毕业设计、课程设计及项目开发参考。任务中敌方舰艇以固定阵型排列我方18枚导弹需依次选择攻击目标并沿直线轨迹飞行进入防御舰艇防御半径后存在被拦截概率舰艇被命中一定次数后死亡且可通过调整不同舰艇价值改变攻击侧重点核心在于合理规划攻击目标与顺序以实现期望伤害最大化。资源包共474个文件约80.7MB包含15个Python源码文件、108组模型checkpoint与data分片、6个yml配置、2张png示意图、1个mp4演示视频及md项目文档覆盖训练权重、配置与说明材料。已有40人学习下载读者可获取可运行源码、算法解析文档与演示视频并在此基础上延伸改造。1. 导弹目标选择任务为什么适合用 DQN 入门强化学习导弹目标选择本质是在多目标、多威胁、多约束的战场态势里让导弹在飞行中动态决定“打谁、先打谁、要不要换目标”。传统做法是写死优先级规则比如“先打距离最近”或“先打威胁值最高”但真实场景里目标会机动、威胁会变化、拦截概率会波动规则一多就互相打架。DQNDeep Q-Network把这件事建模成序贯决策状态是当前态势动作是选择某个目标奖励综合命中概率、威胁削减和资源消耗让网络自己学出策略。Python 生态里 PyTorch 或 TensorFlow 都能快速搭出可训练的 DQN配合仿真环境就能跑通从环境封装、经验回放到目标网络更新的完整链路。这套东西适合毕业设计、课程设计里需要“有算法、有代码、有可视化”的题目也适合想从零理解强化学习落地流程的开发者——它比打游戏更贴近工程约束又比真实火控系统简单到能在一台笔记本上复现。2. 把导弹目标选择建模成 MDP状态、动作、奖励怎么定2.1 状态空间设计别把原始坐标直接塞给网络状态设计是 DQN 能不能收敛的第一道坎。常见做法是把每个目标的信息整理成固定长度的向量再拼上导弹自身状态。假设场景里有 N 个目标每个目标提取 6 个特征相对距离、相对方位角、相对速度、威胁等级、目标类型编码、是否已被分配。导弹自身状态包括剩余燃料、当前速度、当前高度。这样状态维度就是6 * N 3。如果 N 会变化要么固定最大目标数并用掩码标记无效目标要么用注意力机制但入门阶段建议固定 N比如 N5先把流程跑通。import numpy as np def build_state(missile, targets, max_targets5): missile: dict, 包含 fuel, speed, altitude targets: list of dict, 每个目标含 dist, angle, rel_speed, threat, type_id, assigned 返回: np.array, shape (6 * max_targets 3,) state [] for i in range(max_targets): if i len(targets): t targets[i] state.extend([ t[dist] / 10000.0, # 归一化到 0~1 附近 t[angle] / np.pi, # 角度归一化 t[rel_speed] / 1000.0, t[threat] / 10.0, t[type_id] / 5.0, 1.0 if t[assigned] else 0.0 ]) else: state.extend([0.0] * 6) # 无效目标补零 state.extend([ missile[fuel] / 100.0, missile[speed] / 2000.0, missile[altitude] / 15000.0 ]) return np.array(state, dtypenp.float32)这段代码的关键是归一化。距离除以 10000、速度除以 1000 这类操作不是可选项而是必须做——DQN 对输入尺度敏感未归一化的特征会让梯度更新方向被大数值主导表现为 loss 震荡不降。assigned字段用来标记该目标是否已经被其他导弹锁定避免多弹重复打同一个目标这是多导弹协同里常见的约束。如果目标数少于 max_targets补零并配合动作掩码防止网络选到无效目标。2.2 动作空间与奖励函数稀疏奖励是最大的坑动作空间最直接的设计是离散化动作 选择第 i 个目标i 从 0 到 N-1再加上一个“保持当前目标”的动作总共 N1 个离散动作。这样 DQN 的输出层就是 N1 个 Q 值取 argmax 即可。不要一上来就做连续动作空间那需要 DDPG 或 SAC复杂度翻倍毕业设计周期内很难调稳。奖励函数决定策略长什么样。一个可用的奖励结构是命中目标100同时按目标威胁值加成比如100 threat * 10导弹被拦截或燃料耗尽-50每步时间惩罚-0.1鼓励尽快决策切换目标惩罚-1避免频繁换目标导致震荡选中已分配目标-5惩罚重复分配def compute_reward(missile, target, done, hit, fuel_out, switched, already_assigned): reward -0.1 # 每步基础惩罚 if hit: reward 100 target[threat] * 10 if fuel_out: reward - 50 if switched: reward - 1 if already_assigned: reward - 5 return reward血泪经验是稀疏奖励下 DQN 几乎学不动。如果只有命中才给奖励前期随机探索很难碰到命中Q 值长期为 0网络输出退化为常数。解决办法是加中间奖励比如“距离缩短”给小额正奖励“威胁值降低”也给正奖励让 agent 有梯度可爬。但中间奖励不能太大否则 agent 会刷奖励而不去命中这就是 reward hacking。我一般把中间奖励控制在每步 ±0.5 以内命中奖励保持 100 量级比例大约 200:1。3. 用 PyTorch 搭 DQN网络结构、经验回放和目标网络3.1 Q 网络结构两层全连接够用别堆太深导弹目标选择的状态维度通常在 30 到 50 之间动作数在 6 到 10 之间这种规模用两层 128 维全连接加 ReLU 就足够。层数太深反而容易过拟合训练慢且难调。输出层不加激活函数直接输出 Q 值。import torch import torch.nn as nn class QNetwork(nn.Module): def __init__(self, state_dim, action_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, action_dim) ) def forward(self, x): return self.net(x)state_dim由上一章的6 * max_targets 3决定action_dim是max_targets 1。hidden 取 128 是经验值64 可能欠拟合256 在几千条经验的数据量下容易过拟合。如果训练 loss 下降但评估回报不涨优先检查是不是网络太大记住了训练样本。3.2 经验回放与目标网络两个稳定训练的关键组件DQN 相比普通 Q-learning 的核心改进就是经验回放和目标网络。经验回放把(state, action, reward, next_state, done)存进缓冲区训练时随机采样打破时间相关性。目标网络是 Q 网络的副本每隔 C 步同步一次参数用来计算 TD 目标避免“自己追自己”导致发散。import random from collections import deque class ReplayBuffer: def __init__(self, capacity10000): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states, dones zip(*batch) return (np.stack(states), np.array(actions), np.array(rewards, dtypenp.float32), np.stack(next_states), np.array(dones, dtypenp.float32)) def __len__(self): return len(self.buffer)容量设 10000 到 50000 都常见。太小则样本重复率高容易过拟合近期经验太大则早期差经验长期污染缓冲区。我一般从 10000 起步训练稳定后如果发现策略退化再考虑减小容量或加优先级采样。目标网络同步步数 C 通常取 100 到 500环境步数多就取大一点。同步太频繁等于没有目标网络同步太慢则目标滞后严重TD 误差长期偏大。3.3 训练循环epsilon 衰减和梯度裁剪训练循环里两个参数最影响成败epsilon 衰减和梯度裁剪。epsilon 控制探索率从 1.0 线性或指数衰减到 0.05 左右。衰减太快则探索不足策略早熟衰减太慢则训练前期大量随机动作收敛慢。梯度裁剪用torch.nn.utils.clip_grad_norm_限制梯度范数防止个别 batch 的 TD 误差过大把网络打飞。def train_step(q_net, target_net, optimizer, buffer, batch_size, gamma): if len(buffer) batch_size: return None states, actions, rewards, next_states, dones buffer.sample(batch_size) states torch.FloatTensor(states) actions torch.LongTensor(actions) rewards torch.FloatTensor(rewards) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones) q_values q_net(states).gather(1, actions.unsqueeze(1)).squeeze(1) with torch.no_grad(): next_q target_net(next_states).max(1)[0] target rewards gamma * next_q * (1 - dones) loss nn.MSELoss()(q_values, target) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(q_net.parameters(), max_norm10.0) optimizer.step() return loss.item()gamma取 0.95 到 0.99。导弹目标选择是回合制任务一个回合可能几十步gamma 取 0.95 意味着约 20 步外的奖励衰减到一半比较合理。max_norm10.0是常用值如果 loss 出现 NaN先降到 1.0 试试。训练时每 C 步执行target_net.load_state_dict(q_net.state_dict())C 取 200 左右。4. 仿真环境搭建与训练调参从零跑通第一个回合4.1 用 Gym 风格封装环境reset 和 step 的边界为了复用 DQN 训练代码环境最好按 Gym 接口封装reset()返回初始状态step(action)返回(next_state, reward, done, info)。导弹目标选择的仿真不需要真实物理引擎用简化的运动学模型即可目标按预设轨迹移动导弹按当前目标方向飞行每步更新距离和角度。class MissileEnv: def __init__(self, max_targets5, max_steps100): self.max_targets max_targets self.max_steps max_steps self.reset() def reset(self): self.step_count 0 self.missile {fuel: 100.0, speed: 800.0, altitude: 8000.0} self.targets [self._random_target() for _ in range(self.max_targets)] self.current_target None return build_state(self.missile, self.targets, self.max_targets) def step(self, action): self.step_count 1 switched False if action self.max_targets: if self.current_target ! action: switched True self.current_target action # 简化运动学更新 self.missile[fuel] - 0.5 for t in self.targets: t[dist] - self.missile[speed] * 0.1 hit any(t[dist] 0 for t in self.targets) fuel_out self.missile[fuel] 0 done hit or fuel_out or self.step_count self.max_steps reward compute_reward(self.missile, self.targets[0], done, hit, fuel_out, switched, False) next_state build_state(self.missile, self.targets, self.max_targets) return next_state, reward, done, {}max_steps100是回合上限防止 agent 无限绕圈。fuel每步减 0.5100 步耗尽和 max_steps 对齐。目标距离每步减speed * 0.1这是把速度单位换算成“每步飞行距离”的简化。真实项目里可以用更细的积分步长但入门阶段这个精度足够验证算法。注意done的判断顺序先判命中再判燃料最后判步数避免命中时被步数截断。4.2 超参数表与训练曲线判读下面这张表是我调过几轮后比较稳的起点不是唯一解但能让你第一轮就跑出下降的 loss 和上升的回报。参数取值说明学习率1e-3Adam 优化器太大易震荡太小收敛慢batch_size64经验回放采样批量gamma0.95折扣因子回合约 100 步epsilon 起始1.0完全随机探索epsilon 终止0.05保留少量探索epsilon 衰减步数5000线性衰减目标网络同步每 200 步硬更新回放缓冲区10000经验容量梯度裁剪10.0范数上限训练曲线判读有几个典型模式。Loss 持续下降但评估回报不涨多半是过拟合或奖励设计有问题。Loss 震荡剧烈检查学习率是否太大或 batch_size 是否太小。回报曲线先升后降常见于 epsilon 衰减太快导致策略早熟或者目标网络同步太频繁。我一般每 100 回合跑一次评估评估时 epsilon 设为 0看纯贪心策略的表现避免探索噪声干扰判断。5. 避坑与排查导弹目标选择 DQN 训练中最容易翻车的 5 个点5.1 现象Q 值爆炸成 NaNloss 直接变 inf原因通常是奖励量级过大或梯度未裁剪。命中奖励 100 加上威胁加成可能到 200TD 目标里reward gamma * max Q在 Q 值本身已经偏大时进一步放大几轮更新后超出浮点范围。解决方法是先把奖励整体除以 100让命中奖励回到 1 量级同时确认clip_grad_norm_已启用且 max_norm 不超过 10。如果仍然 NaN把学习率降到 1e-4 再试。5.2 现象agent 学会原地不动或反复选同一个目标这是 reward hacking 的典型表现。如果“保持当前目标”有隐性正奖励或者切换惩罚过大agent 会发现不动最安全。检查奖励函数里是否有未预期的正项比如距离缩短奖励在目标不动时也持续给。解决办法是给“保持当前目标”加微小时间惩罚或者把切换惩罚从 -1 降到 -0.2让 agent 有动力重新评估。5.3 现象训练回报波动极大同一策略两次评估差一倍多半是环境随机性太强或评估回合数太少。目标初始位置、速度如果每次 reset 都大幅随机策略很难稳定。把随机范围收窄比如距离在 5000 到 10000 之间而不是 1000 到 20000。评估时至少跑 20 个回合取平均单回合结果没有参考价值。另外检查回放缓冲区是否太小导致采样方差大。5.4 现象loss 正常下降但 agent 从不命中目标这是稀疏奖励下探索不足的经典问题。epsilon 衰减太快agent 还没碰到过命中就进入利用阶段Q 网络对命中动作的估值始终是随机初始值。解决办法是延长 epsilon 衰减步数到 10000 以上或者加中间奖励引导。另一个检查点是动作掩码如果无效目标的 Q 值没有被屏蔽agent 可能一直选无效动作表现为“不命中也不报错”。5.5 现象换一台机器或换随机种子后结果完全不可复现DQN 对随机种子敏感是常态。要复现结果需要固定 Python 的random.seed、NumPy 的np.random.seed、PyTorch 的torch.manual_seed还要设置torch.backends.cudnn.deterministic True。但即使这样不同 GPU 上的浮点运算顺序差异仍可能导致微小偏差进而影响策略。我的习惯是报告结果时跑 3 个不同种子取均值和标准差而不是只报最好的一次。6. 进阶技巧用动作掩码和优先经验回放把命中率再提一档动作掩码解决的是“无效动作被高估”的问题。在导弹目标选择里已经被分配的目标、距离超出射程的目标、燃料不足以到达的目标都应该在动作选择时屏蔽。实现方式是在 Q 网络输出后把无效动作的 Q 值设为一个极小值再取 argmax。训练时计算 TD 目标也要用掩码后的 next Q否则目标网络会把无效动作的估值传播回来。def masked_q_values(q_values, valid_mask): q_values: tensor, shape (batch, action_dim) valid_mask: tensor, 1 表示有效, 0 表示无效 invalid_mask (valid_mask 0) q_values q_values.masked_fill(invalid_mask, -1e9) return q_values # 训练时计算 next_q with torch.no_grad(): next_q_all target_net(next_states) next_q_all masked_q_values(next_q_all, next_valid_masks) next_q next_q_all.max(1)[0]-1e9而不是-inf避免后续计算出现 NaN。valid_mask 的构造逻辑是目标存在且未被分配且距离在射程内则为 1否则为 0。这个掩码在环境 step 里生成随状态一起返回。优先经验回放Prioritized Experience Replay让 TD 误差大的样本被采样概率更高。实现上可以用 SumTree 或者简化版给每个样本存一个优先级p |TD error| epsilon采样时按 p 归一化后的概率抽。简化版用 NumPy 的np.random.choice配合p数组即可不用手写 SumTree。优先级参数 alpha 取 0.6重要性采样权重 beta 从 0.4 线性升到 1.0。这套组合在导弹目标选择任务里通常能把命中率从 60% 左右提到 80% 以上但训练时间会增加约 30%。验证改进是否有效不能只看训练回报。我一般固定 50 个测试场景每个场景跑 10 次取平均命中率和平均决策步数对比加掩码前后、加优先回放前后的数值。如果命中率提升但决策步数大幅增加说明 agent 在犹豫需要检查时间惩罚是否太小。最后说个习惯每次改奖励函数或网络结构只改一个变量跑完对比再改下一个。同时改三四个地方结果好了也不知道是哪个起作用结果差了更不知道回退哪个。希望帮到你。本文还有配套的精品资源点击获取