LiftTrack: 웨이트리프팅 기술 모니터링 및 개선을 위한 3D CNN 기반 모바일 솔루션

3D CNN 모바일 자세 교정 + Flutter

개요

• 역할: Flutter 프론트엔드 및 아키텍처 리드
• 스택: Flutter, Dart, BLoC, 3D CNN, Python
• 주요 결과: 데드리프트 자세 정확도 100%
• 개발 기간: 8개월 (2024년 7월 - 2025년 2월)

LiftTrack은 전문적인 웨이트리프팅 코칭을 대중화하기 위해 설계된 연구 기반 모바일 애플리케이션입니다. 고급 컴퓨터 비전 모델을 Flutter 애플리케이션에 통합함으로써, 시스템은 부상을 방지하기 위한 실시간 생체 역학 분석 및 교정 피드백을 제공합니다. 이 8개월간의 졸업 프로젝트는 3D CNN 및 자세 추정을 사용하여 실시간 웨이트리프팅 자세 모니터링을 위한 고성능 솔루션을 개발하는 데 중점을 두었습니다.

문제 정의

• 도전 과제: 잘못된 자세와 전문적인 코칭의 부재로 인한 리프팅 중 높은 부상 위험.
• 대상: 고가의 개인 트레이너를 이용하기 어려운 독학 헬스 유저 및 운동선수.
• 제약: 모바일 기기에서의 실시간 추론, 정적 포즈 대비 복잡한 시간적 동작 처리, 즉각적인 피드백을 위한 높은 프레임 속도 유지.

독학 리프터들은 종종 적절한 자세를 유지하는 데 어려움을 겪으며, 이는 만성적인 부상이나 미미한 운동 효과로 이어집니다. 기존의 자세 추정은 리프트의 "리듬"과 시간적 순서를 포착하지 못하는 경우가 많으며, 이는 데드리프트나 스쿼트와 같은 동작에서 기술적 결함을 식별하는 데 매우 중요합니다. 자세 분석을 위한 저렴하고 휴대 가능한 솔루션의 부재는 안전하고 효과적인 훈련에 큰 장벽이 됩니다.

접근 방식 및 결정

• 구조: 병렬 멀티 모듈 추론 파이프라인.
• 핵심 결정: 동작 단계 식별을 위한 **3D CNN (시간적)**과 골격 분석을 위한 MoveNet (자세), 바 경로 추적을 위한 **YOLO-NAS (장비)**를 통합.
• 상태 관리: UI 지연 없이 3개의 병렬 데이터 스트림을 관리하기 위해 BLoC을 사용한 클린 아키텍처 적용.
• 트레이드오프: 무거운 3D CNN 텐서를 처리하면서 중급 기기에서 30+ FPS를 유지하기 위해 원격 클라우드 추론 방식을 채택.

이 시스템은 커스텀 데이터 흐름을 활용합니다: 카메라 -> 30프레임 버퍼 -> 병렬 추론 -> 데이터 통합. 이를 통해 애플리케이션은 단순히 포즈의 "스냅샷"을 보는 것이 아니라 전체적인 동작의 궤적을 이해할 수 있습니다. 프레젠테이션 레이어를 무거운 추론 로직에서 분리함으로써 집중적인 계산 중에도 매끄러운 사용자 경험을 구현했습니다.

주요 결과 및 영향

• 성과: 주요 리프트 종목에서 **종합 정확도 95%**를 검증했으며, 데드리프트와 같은 특정 종목에서는 **100%**에 도달했습니다.
• 영향: 개인 트레이닝을 대체할 수 있는 저비용의 접근 가능한 대안을 만들어 스마트폰만 있으면 누구에게나 전문적인 수준의 자세 교정을 제공합니다.
• 성능: 권장 기기에서 30+ FPS를 유지하면서 100ms 미만의 추론 피드백 루프를 달성했습니다.

기술 심층 분석

병렬 멀티 모듈 추론 파이프라인

1. 3D CNN (시간적 분류): 3차원 합성곱 신경망이 30프레임의 버퍼를 처리하여 운동 유형과 동작 단계를 식별합니다.
   • 아키텍처: 입력 (30x128x128x3) → 2x Conv3D (32, 64 필터) → 3D Max Pooling → Global Average Pooling → Softmax.
2. MoveNet (인체 자세 추정): 프레임당 17개의 신체 키포인트를 추출하여 관절 각도와 신체 정렬을 계산합니다.
3. YOLO-NAS (장비 추적): 바벨/덤벨을 감지하고 추적하여 변위, 속도 및 바 경로를 계산합니다.

주요 최적화

• 정규화: 신체 키포인트는 사용자의 몸통 길이를 참조 벡터로 사용하여 정규화되므로, 다양한 체형과 카메라 거리에서도 정확성을 보장합니다.
• 휴리스틱 평가: 3D CNN이 운동(예: 데드리프트)을 식별하면 시스템은 통합된 데이터에 특정 생체 역학 임계값(예: 등 각도 > 150°)을 적용합니다.
• 피드백 루프: 오디오 및 시각적 피드백이 수 밀리초 내에 생성되어 "등을 곧게 펴세요" 또는 "엉덩이를 낮추세요"와 같은 구체적인 제안을 출력합니다.

회고

• 성공: 클린 BLoC 아키텍처를 통해 복잡한 상태와 실시간 데이터 스트림을 성공적으로 관리함으로써, Flutter가 집중적인 ML 통합 애플리케이션을 처리할 수 있음을 입증했습니다.
• 향후 방향: 더 직관적인 공간 가이드를 위한 AR 오버레이 탐색 및 포용성을 넓히기 위한 학습 세트의 50,000개 이상 확장을 계획하고 있습니다.
• 과제: iOS 개발 장벽과 크로스 플랫폼 라이브러리의 한계를 극복하기 위해 커스텀 구현이 필요했습니다. 프로젝트 도중 하드웨어 고장과 교육 과정 지연이 발생했으나, 애자일 방식의 조정과 인프라 개선을 통해 이를 극복했습니다.

---

나의 기여

• Flutter 프론트엔드 (iOS/Android): Dart와 Flutter를 사용하여 크로스 플랫폼 모바일 인터페이스 구축.
• 아키텍처: 확장 가능하고 유지 관리가 용이한 코드를 위해 BLoC을 사용한 클린 아키텍처 적용.
• 핵심 기능: 운동 기록, 진행 상황 추적 및 인증을 위한 핵심 기능 설계.
• UI/UX 디자인: 명확성과 피드백을 강조한 대화형 인터페이스 디자인.
• iOS 호환성: 플랫폼별 문제를 해결하고 Android 전용 Flutter 패키지에 대한 대안 구현.
• 리팩토링: 관심사 분리를 개선하기 위해 프로필 모듈의 아키텍처 리팩토링 주도.
• 클라우드 인프라: 높은 컴퓨팅 요구 사항으로 인해 3D CNN 모델을 원격 클라우드 서버에 배포하는 작업 지원.
• DevOps 설정: 커스텀 배포 파이프라인을 사용하여 프론트엔드를 백엔드 ML 서비스와 통합.

---

프로젝트 아키텍처

이 앱은 모듈식 레이어와 기능 기반 조직을 갖춘 클린 아키텍처를 따릅니다.

• 레이어 구조: 프레젠테이션, 도메인, 데이터 레이어가 엄격하게 분리됨. 자세히 보기
• 기능 모듈: 각 주요 기능(예: 프로필, 진행 상황, 운동 기록)이 독립적으로 구성됨.
• BLoC 상태 관리: 예측 가능한 상태 전환 및 테스트 가능한 비즈니스 로직 보장.
• 최근 개선 사항: 아키텍처 목표를 준수하기 위해 프로필 모듈 리팩토링 수행. 리팩토링 노트

---

데모 미리보기

라이브 버전은 제공되지 않지만, LiftTrack의 핵심 화면은 다음과 같습니다:

• Android 및 iOS의 운동 기록 인터페이스
• 진행 상황 추적 및 대시보드
• 클라우드 ML 파이프라인 (아키텍처 다이어그램 제공 가능)

호스팅 참고:
이 프로젝트는 프로젝트 매니저가 관리하는 클라우드 서버에 배포되었습니다. 호스팅 만료 및 액세스 제한으로 인해 현재 라이브 앱은 오프라인 상태입니다. 전체 데모 및 녹화된 둘러보기는 요청 시 제공 가능합니다.