LiftTrack: ウェイトリフティング技術の監視と改善のための 3D CNN ベースのモバイル ソリューション

3D CNN フォーム補正 + Flutter

概要

• 役割: Flutter フロントエンド & アーキテクチャ リード
• スタック: Flutter, Dart, BLoC, 3D CNN, Python
• 結果: デッドリフトのフォーム精度 100%
• 開発期間: 8ヶ月 (2024年7月 - 2025年2月)

LiftTrack は、プロのウェイトリフティング指導を民主化するために設計された、研究に裏打ちされたモバイル アプリケーションです。高度なコンピュータ ビジョン モデルを Flutter アプリケーションに統合することで、システムはリアルタイムのバイオメカニクス分析と修正フィードバックを提供し、怪我を防止します。この 8ヶ月間の卒業制作プロジェクトでは、3D CNN と姿勢推定を使用したリアルタイム技術監視のための高性能ソリューションの開発に焦点を当てました。

課題

• 課題: 不適切なフォームと専門的なコーチングの欠如による、リフティング中の高い怪我のリスク。
• 対象: 高価なパーソナル トレーナーを利用できないソロ ジム通いの方やアスリート。
• 制約: モバイル デバイスでのリアルタイム推論、静止ポーズに対する複雑な時間的動きの処理、および即時フィードバックのための高フレームレートの維持。

ソロのリフターは適切なフォームを維持するのに苦労することが多く、慢性的な怪我や不十分な成果につながります。従来の姿勢推定では、リフトの「リズム」や時間的シーケンスを捉えることができないことが多く、これはデッドリフトやスクワットのような動きの技術的欠陥を特定するために不可欠です。フォーム分析のための手頃でポータブルなソリューションの欠如は、安全で効果的なトレーニングへの大きな障壁となっています。

アプローチと決定

• アーキテクチャ: 並列マルチモジュール推論パイプライン。
• 重要な決定: 動きのフェーズ特定のための 3D CNN (時間的) と、骨格分析のための MoveNet (姿勢)、およびバーの軌道追跡のための YOLO-NAS (器具) を統合。
• 状態管理: UI のラグなしに 3 つの並列データ ストリームを管理するために、BLoC を使用したクリーン アーキテクチャを適用。
• トレードオフ: 重い 3D CNN テンソルを処理しながら、ミドルレンジ デバイスで 30+ FPS を維持するために、リモート クラウド推論を採用。

システムはカスタム データ フローを利用しています：カメラ -> 30 フレーム バッファ -> 並列推論 -> 特徴統合。これにより、アプリケーションは単にポーズの「スナップショット」を見るだけでなく、動きの弧全体を理解することができます。プレゼンテーション層を重い推論ロジックから切り離すことで、集中的な計算中でもスムーズなユーザー エクスペリエンスを実現しました。

主要な結果と影響

• 成果: 主要な種目で 総合精度 95% を達成し、デッドリフトなどの特定の種目では 100% に到達。
• 影響: パーソナル トレーニングに代わる低コストでアクセス可能な選択肢を提供し、スマートフォンを持つすべての人にプロレベルのフォーム補正を提供。
• 性能: 推奨デバイスで 30+ FPS を維持しながら、100ms 未満の推論フィードバック ループを実現。

技術的深掘り

並列マルチモジュール推論パイプライン

1. 3D CNN (時間的分類)：3次元畳み込みニューラル ネットワークが 30 フレームのバッファを処理し、エクササイズの種類と動きの段階を特定します。
   • アーキテクチャ: 入力 (30x128x128x3) → 2x Conv3D (32, 64 フィルタ) → 3D Max Pooling → Global Average Pooling → Softmax。
2. MoveNet (人間姿勢推定)：フレームごとに 17 の身体キーポイントを抽出し、関節角度と身体の配列を計算します。
3. YOLO-NAS (器具トラッキング)：バーベル/ダンベルを検出して追跡し、変位、速度、バーの軌道を計算します。

主な最適化

• 正規化: 身体のキーポイントは、ユーザーの胴体の長さを基準ベクトルとして正規化され、異なる体型やカメラ距離でも精度を確保します。
• ヒューリスティック評価: 3D CNN がエクササイズ（例：デッドリフト）を特定すると、システムは統合されたデータに特定のバイオメカニクスしきい値（例：背中の角度 > 150°）を適用します。
• フィードバック ループ: 音声と視覚のフィードバックが数ミリ秒以内に生成され、「背中を真っ直ぐに保つ」や「腰を下ろす」などの具体的な提案を出力します。

振り返り

• 成功: クリーンな BLoC アーキテクチャにより、複雑な状態とリアルタイム データ ストリームの管理に成功し、Flutter が集中的な ML 統合アプリケーションを処理できることを証明しました。
• 今後の方向性: より直感的な空間ガイダンスのための AR オーバーレイの探索や、より幅広い多様性に対応するためのトレーニング セットの 50,000 枚以上への拡大。
• 課題: iOS 開発の障壁やクロスプラットフォーム ライブラリの制限を克服するために、カスタム実装が必要でした。プロジェクトはハードウェアの故障やカリキュラムの遅延に直面しましたが、アジャイルな調整とインフラの改善によってこれらを乗り越えました。

---

私の貢献

• Flutter フロントエンド (iOS/Android): Dart と Flutter を使用してクロスプラットフォーム モバイル インターフェースを構築。
• アーキテクチャ: スケーラブルでメンテナンス可能なコードのために、BLoC を使用したクリーン アーキテクチャを適用。
• コア機能: ワークアウト記録、進行状況追跡、認証のコア機能を設計。
• UI/UX デザイン: 明確さとフィードバックを重視したインタラクティブなインターフェースを設計。
• iOS 互換性: プラットフォーム固有の問題を解決し、Android 専用の Flutter パッケージに代わる手段を実装。
• リファクタリング: 関心の分離を改善するために、プロファイル モジュールのアーキテクチャ リファクタリングを主導。
• クラウド インフラストラクチャ: 高い計算要件のため、3D CNN モデルのリモート クラウド サーバーへのデプロイを支援。
• DevOps セットアップ: カスタム デプロイ パイプラインを使用して、フロントエンドをバックエンドの ML サービスと統合。

---

プロジェクト アーキテクチャ

このアプリは、モジュール式のレイヤーと機能ベースの組織を備えたクリーン アーキテクチャに従っています。

• レイヤー構造: プレゼンテーション、ドメイン、データ レイヤーが厳格に分離されています。詳細を読む
• 機能モジュール: 各主要機能（例：プロファイル、進行状況、ワークアウト記録）が独立して構造化されています。
• BLoC 状態管理: 予測可能な状態遷移とテスト可能なビジネス ロジックを保証します。
• 最近の改善: アーキテクチャ上の目標に合わせるためにプロファイル モジュールをリファクタリング。リファクタリング ノート

---

デモ プレビュー

ライブ バージョンは利用できませんが、LiftTrack のコア ビューは以下の通りです：

• Android および iOS でのワークアウト記録インターフェース
• 進行状況追跡とダッシュボード
• クラウド ML パイプライン（アーキテクチャ図が利用可能）

ホスティングに関する注意:
このプロジェクトは、プロジェクト マネージャーが管理するクラウド サーバーにデプロイされました。ホスティングの期限切れとアクセス制限のため、ライブ アプリは現在オフラインです。完全なデモと録画されたウォークスルーは、要請に応じて提供可能です。