我的方向是 强化学习应用算法与无人机自主导航。我关注的不只是算法本身,也关注从仿真训练、定位接口、坐标契约到机载部署和实飞验证的完整工程链路。
| 方向 | 当前技术栈 |
|---|---|
| Reinforcement Learning | PyTorch, RL-Games PPO, reward / termination design, curriculum learning, ONNX |
| UAV Navigation | YOPO, ROS 2, MAVROS, PX4, cuVSLAM, VRPN mocap |
| Simulation | Isaac Lab, Isaac Sim, parallel environments, evaluation and export |
| Onboard Deployment | Jetson Orin NX 16GB, Intel RealSense D435i, CUDA, C++, Python |
目前的主线工作分为三个相互衔接但证据边界清晰的阶段:
- 使用 YOPO 开源预训练模型完成 ROS 2 深度输入适配与无人机实飞验证。
- 在 Isaac Lab 中构建新的 PPO 导航策略训练、评估和导出工具链,为后续模型替换做准备。
- 建设 ROS 2 定位源适配、坐标转换和启动时单源选择链路,连接 cuVSLAM、动捕验证源、MAVROS 与 PX4。
1. YOPO 实机导航部署
- 模型基础: 使用 YOPO 上游开源预训练模型,修改深度图输入接口以适配 ROS 2 数据链路。
- 实机平台: 200 mm 轴距无人机、Jetson Orin NX 16GB、D435i、PX4、MAVROS、ROS 2。
- 定位方案: D435i + cuVSLAM 作为机载定位源,VRPN 动捕作为对照验证源。
- 成果: 完成自主导航避障实飞验证并保留视频记录。
因不可抗拒原因,当前仓库暂不公开,待后续整理完成后发布。
- 训练环境: 基于 Isaac Lab 2.3.2 / Isaac Sim 5.1.0 和官方 Crazyflie 模型搭建并行训练环境。
- 任务建模: 实现 100 Hz 仿真、20 Hz 策略、65 维观测、4 维 body-FLU 动作和 4 级障碍课程。
- 算法设计: 主导环境、控制器、奖励/惩罚、边界与终止条件设计,接入 RL-Games PPO。
- 工具链: 完成固定种子评估、最佳 checkpoint 筛选、ONNX 导出一致性检查和离线轨迹回放。
- 成果: 完成从环境构建、训练配置到评估/导出的工程闭环;新策略与当前 YOPO 实飞模型不混写。
- 定位适配: 面向 cuVSLAM 与 VRPN 动捕实现 ROS 2 定位状态适配、刚体坐标转换和健康门禁。
- 坐标契约: 统一 frame、参考点、速度、时间戳和协方差语义,阻止异常状态进入下游链路。
- 定位选择: 实现启动时 cuVSLAM / mocap 单源选择和一次性 yaw 对齐,不进行飞行中热切换。
- 测试结果: 定位选择器通过 13 / 13 CTest、90 项测试零失败。
- 运行结果: D435i 深度与 cuVSLAM 里程计约 89.9 Hz,mocap-primary 实机链路约 120 Hz。
| 项目 | 内容 |
|---|---|
| GO2_Hesai | Unitree Go2 + Hesai XT-16 + internal IMU + ROS1 Noetic + Super-LIO,覆盖驱动、时间戳、IMU bridge、里程计与建图链路。 |
| -A- 无人机自主导航 | 无人机竞赛项目,集成感知、定位、路径规划、任务调度和 MAVROS / PX4 控制,完成真实环境任务验证。 |
| px4-flight-review-full-guide | PX4 Flight Review 中文学习笔记,整理 PID、振动、GPS、EKF、执行器输出和飞行日志排查顺序。 |
| 鱼眼标定与计算机视觉 | 四目鱼眼 / IMU 标定与部署,并持续整理 TartanCalib 和 3D reconstruction notes。 |
flowchart LR
A["Isaac Lab / RL-Games PPO"] --> B["Evaluation / ONNX Export"]
B -. "后续模型替换" .-> G["Onboard Inference"]
C["D435i / cuVSLAM"] --> D["ROS 2 Localization Adapter"]
E["VRPN Mocap"] -. "验证源" .-> D
D --> G
F["YOPO Upstream Pretrained Model"] --> G
G --> H["MAVROS / PX4"]
H --> I["YOPO Real-flight Validation"]
- GitHub: github.com/Aphra-neck
- Email: 18074657409@163.com
- Bilibili: space.bilibili.com/226289671
Build it, train it, fly it, measure it, and document it.