LiftTrack：基于 3D CNN 的移动解决方案，用于监控和改进举重技术

3D CNN 移动动作纠正 + Flutter

概述

• 角色：Flutter 前端与架构负责人
• 技术栈：Flutter, Dart, BLoC, 3D CNN, Python
• 关键结果：100% 硬拉动作准确度
• 开发周期：8 个月（2024年7月 - 2025年2月）

LiftTrack 是一款有研究支撑的移动应用程序，旨在使专业举重指导大众化。通过将先进的计算机视觉模型集成到 Flutter 应用程序中，该系统提供实时生物力学分析和纠正反馈，以预防运动损伤。这个为期 8 个月的毕业设计项目专注于开发一个基于 3D CNN 和姿态估计的实时动作监控高性能解决方案。

问题

• 挑战：由于动作不规范且缺乏专业指导，举重受伤风险高。
• 受众：无法获得昂贵私人教练指导的健身爱好者和运动员。
• 约束：移动端实时推理，处理复杂的时序动作而非静态姿态，并维持高帧率以实现即时反馈。

独自健身者往往难以保持正确的动作，从而导致慢性损伤或训练效果不佳。传统的姿态估计往往无法捕捉到举重过程中的“节奏”和时序序列，而这对于识别硬拉或深蹲等动作中的技术缺陷至关重要。缺乏负担得起的、便携式的动作分析解决方案是实现安全有效训练的主要障碍。

方法与决策

• 架构：并行多模块推理流水线
• 关键决策：将 3D CNN (时序) 用于动作阶段识别，与 MoveNet (姿态) 用于骨骼分析及 YOLO-NAS (设备) 用于杠铃轨迹追踪相结合。
• 状态管理：应用了带有 BLoC 的整洁架构，以在不产生 UI 延迟的情况下管理 3 条并行数据流。
• 权衡：由于 3D CNN 张量计算量大，选择采用远程云端推理，以在主流设备上维持 30+ FPS 的性能。

该系统利用自定义数据流：摄像头 -> 30 帧缓冲区 -> 并行推理 -> 特征聚合。这确保了应用程序不仅看到姿态的“快照”，还能理解整个动作弧线。通过将表示层与沉重的推理逻辑解耦，即使在密集计算期间也能实现流畅的用户体验。

关键结果与影响

• 成果：验证了 95% 的综合准确率，在硬拉等特定动作中达到 100%。
• 影响：为动作纠正提供了一个低成本、易于获取的私教替代方案，使任何拥有智能手机的人都能获得专业级的纠正指导。
• 性能：实现了亚 100 毫秒的推理 feedback 循环，在推荐设备上保持 30+ FPS。

技术深度解析

并行多模块推理流水线

1. 3D CNN (时序分类)：三维卷积神经网络处理 30 帧的缓冲区，以识别练习类型和运动阶段。
   • 架构：输入 (30x128x128x3) → 2x Conv3D (32, 64 个滤波器) → 3D 最大池化 → 全局平均池化 → Softmax。
2. MoveNet (人体姿态估计)：每帧提取 17 个身体关键点，用于计算关节角度和身体对齐。
3. YOLO-NAS (设备追踪)：检测并追踪杠铃/哑铃，以计算位移、速度和杠铃轨迹。

关键优化

• 归一化：使用用户的躯干长度作为参考向量对身体关键点进行归一化，确保在不同体型和摄像头距离下的准确性。
• 启发式评估：一旦 3D CNN 识别出动作（如硬拉），系统就会将特定的生物力学阈值（如背部角度 > 150°）应用于聚合后的数据。
• 反馈循环：在毫秒内生成音频 and 视觉反馈，输出具体的建议，如“保持背部挺直”或“降低髋部”。

反思

• 成功点：整洁的 BLoC 架构成功管理了复杂的业务状态和实时数据流，证明了 Flutter 能够处理高强度的集成机器学习应用。
• 未来方向：探索 AR 叠加以提供更直观的空间引导，并将训练集扩展到 50,000+ 张图像以实现更广泛的包容性。
• 挑战：应对 iOS 开发障碍和跨平台库限制需要自定义实现。项目面临过硬件故障和课程延迟，我们通过敏捷调整和基础设施改进克服了这些困难。

---

我的贡献

• Flutter 前端 (iOS/Android)：使用 Dart 和 Flutter 构建了跨平台移动界面。
• 架构：应用了带有 BLoC 的整洁架构，以实现可扩展且易于维护的代码。
• 核心功能：开发了锻炼记录、进度追踪和身份验证的核心功能。
• UI/UX 设计：设计了强调清晰度和反馈的交互式界面。
• iOS 兼容性：解决了平台特定问题，并实现了针对仅限 Android 的 Flutter 包的替代方案。
• 重构：领导了 Profile 模块的架构重构，以改善关注点分离。
• 云基础设施：由于计算需求较高，协助将 3D CNN 模型部署到远程云服务器。
• DevOps 设置：使用自定义部署流水线将前端与后端机器学习服务集成。

---

项目架构

该应用遵循整洁架构，具有模块化层和基于功能的组织。

• 分层结构：表示层、领域层和数据层严格分离。阅读相关内容
• 功能模块：每个主要功能（如个人资料、进度、训练记录）均独立构建。
• BLoC 状态管理：确保可预测的状态转换和可测试的业务逻辑。
• 最近的改进：重构了个人资料模块以符合架构目标。重构说明

---

演示预览

虽然实时版本不可用，但这里是 LiftTrack 的核心视图：

• Android 和 iOS 上的训练记录界面
• 进度追踪和仪表板
• 云机器学习流水线（可提供架构图）

托管说明：
该项目部署在由项目经理管理的云服务器上。由于托管过期和访问限制，实时应用目前已离线。可应要求提供完整的演示和录制的讲解视频。