VisionCourt는 CV 기술을 활용해 농구 경기를 실시간으로 분석하고, 주요 이벤트를 자동으로 판별하여 경기 기록을 생성하는 자동화 시스템입니다. 아마추어 및 동호회 농구에서 발생하는 기록 인력 부족 문제를 해결하고, 선수들에게 데이터 기반의 경기 분석 경험을 제공하는 것을 목표로 합니다.

1. 문제 정의
2. 결과 및 주요 기능
3. 시스템 아키텍처
4. 핵심 분석 로직
5. 사용 모델
6. 한계점 및 기대효과
7. 팀원

아마추어, 동호회, 대학 리그 등 소규모 농구 경기에서는 경기 기록원을 구하기 어렵습니다. 한 사람이 게임 클락, 샷클락, 양 팀의 점수와 파울 등 수많은 정보를 동시에 관리하고 기록해야 하는 부담이 큽니다. 이는 기록 누락이나 오류로 이어지기 쉽습니다.

심지어 세계 최고 수준의 리그인 NBA조차 경기 기록을 위해 스코어러 1명과 타이머 2명, 총 3명의 인력을 투입하고 있습니다. 이처럼 정확한 경기 기록은 상당한 인적 자원을 필요로 하는 작업입니다.

VisionCourt는 컴퓨터 비전 기술을 통해 이러한 기록 과정을 자동화하여 휴먼 에러를 최소화하고, 인력 부족 문제를 해결하고자 시작되었습니다.

VisionCourt는 실시간 경기 영상과 기본적인 팀 정보를 입력받아 자동으로 제어되는 스코어보드와 상세 경기 결과 데이터를 출력합니다.

• 실시간 경기 분석 및 스코어보드 자동 업데이트

  • 경기를 실시간으로 촬영합니다. WebRTC를 통해 영상 스트림을 프레임 단위로 분석하여 경기 상황을 파악합니다.
  • 득점, 소유권 변경, 리바운드 등의 이벤트가 발생하면 WebSocket 통신을 통해 스코어보드를 실시간으로 업데이트하고 샷클락을 자동으로 리셋합니다.

• 주요 이벤트 자동 감지

  • 독자적인 로직을 통해 소유권, 슛, 득점, 리바운드, 어시스트 등 농구의 핵심 이벤트를 자동으로 감지하고 기록합니다.

• 팀 및 선수 식별

  • 선수 유니폼 색상 정보를 기반으로 K-Means 클러스터링을 적용하여 두 팀을 구분합니다.
  • 경기 종료 후에는 선수 Tracking 모델을 통해 각 선수의 고유 ID를 부여하고, 득점과 같은 이벤트를 특정 선수와 매핑하여 개인 기록을 생성합니다.

• 심판용 컨트롤러 페이지

  • CV 혹은 로직으로 판단하기 어려운 파울이나 경기 중단/재개는 심판이 모바일 웹 페이지를 통해 직접 제어할 수 있습니다. 이 컨트롤러는 스코어보드와 연동되어 즉각적으로 반영됩니다.

• 경기 후 상세 데이터 제공

  • 경기가 끝나면 팀의 총 득점뿐만 아니라, 선수별 득점 및 이벤트 발생 타임스탬프 등 상세한 통계 데이터를 제공하여 경기 리뷰 및 분석에 활용할 수 있습니다.

VisionCourt의 전체 프로세스는 **'경기 중 실시간 처리'**와 **'경기 후 상세 분석'**으로 나뉩니다.

1. Front-end (React.js)

   • 사용자가 경기 영상을 업로드하고, 실시간 스코어보드를 확인하며, 심판용 페이지를 통해 경기를 제어하는 인터페이스 역할을 합니다.

2. Back-end

   • 웹소켓을 통해 프론트엔드로부터 영상 프레임을 전달받습니다.
   • YOLOv8과 BoT-SORT 모델을 이용해 객체(선수, 공, 림)를 감지하고 추적합니다.
   • 핵심 분석 로직을 통해 소유권, 슛, 득점 등의 이벤트를 판단하고, 그 결과를 DB에 저장함과 동시에 프론트엔드로 전송하여 스코어보드를 업데이트합니다.

3. Database

   • 경기 정보, 팀/선수 정보, 프레임별 탐지 결과, 이벤트 발생 기록 등 모든 데이터를 저장합니다.
   • 실시간 처리와 경기 후 상세 분석을 모두 지원할 수 있도록 효율적인 구조로 설계되었습니다.

Detection 및 Tracking 모델에서 나온 데이터를 분석하여 실제 농구 이벤트를 판별하는 로직입니다. (모든 좌표 및 거리는 0~1 정규화 기준)

• 빠른 움직임으로 인해 모델이 공을 놓치는 경우가 발생합니다.
• 공 탐지가 누락된 구간은, 최근 7개 프레임의 공 좌표를 바탕으로 2차 회귀 분석을 수행하여 가상의 공 궤적을 예측하고 .

• 매 프레임마다 공과 가장 가까운 선수를 찾습니다.
• 이 선수의 소속팀(team_id)이 15프레임 이상 연속으로 공과 가장 가까울 경우, 해당 팀의 소유권으로 확정합니다.

• 공의 바운딩 박스가 림(골대)의 바운딩 박스와 처음으로 겹치는 순간을 '슛'으로 감지합니다.(이전 프레임에서는 겹치지 않아야 함)
• 슛을 시도한 팀은 해당 시점 직전의 소유권 팀으로 기록됩니다.

• 슛 동작 이후, 공이 림을 통과하며 탐지에서 잠시 사라졌다가 다시 나타나는 패턴을 이용합니다.
• 공이 사라지기 직전의 마지막 위치와 다시 나타난 첫 위치를 직선으로 연결합니다.
• 이 직선과 림의 중심점 사이의 거리가 미리 설정된 임계값(0.005) 이하일 경우 '득점'으로 판정합니다. 이 거리는 ball_rim_dist로 기록됩니다.

• 리바운드: 슛이 득점으로 이어지지 않고, 다음 소유권이 공격팀이 아닌 수비팀으로 넘어갔을 때 리바운드로 기록합니다.
• 어시스트: 득점 직전에 마지막으로 공을 소유했던 선수가 득점한 선수와 같은 팀 소속일 경우 어시스트로 기록합니다.

• 슛, 득점, 리바운드, 소유권 변경 등 주요 이벤트가 발생할 때마다 샷클락(Shot Clock)을 12초로 리셋합니다.
• 메인 클락(Main Clock)은 프레임 수에 맞춰 자동으로 감소합니다.

• 역할: 프레임 단위로 RIM, BALL, PLAYER 객체를 탐지합니다[cite: 178].
• 모델: YOLOv8 객체 탐지 모델을 농구 특화 데이터셋으로 파인튜닝(Fine-tuning)하여 성능을 향상시켰습니다.
• Input: 각 프레임 이미지
• Output: 각 객체의 클래스와 좌표 (x, y, w, h)

• 역할: 선수 개개인을 식별하고 경기 내내 추적하여 고유 ID를 부여합니다(Re-ID).
• 모델: BoT-SORT 트래킹 알고리즘과 Re-ID 모델을 결합하여 다중 객체 추적(MOT)을 수행합니다. ID 유지 정확도는 약 90% 이상입니다.
• Input: 감지 모델이 출력한 프레임별 객체 좌표
• Output: 각 객체의 위치와 고유 ID
• 활용: 이 모델 덕분에 '어떤 선수'가 득점했는지 식별하고 개인별 기록을 집계할 수 있습니다.

• 인력 문제 해결: 아마추어/동호회 경기의 기록 인력 부족 문제를 해결하여 경기 운영 부담을 줄일 수 있습니다.
• 데이터 기록 및 보존: 모든 경기가 디지털 데이터로 자동 기록되어, 경기 리뷰 및 데이터 기반의 전략 분석이 가능해집니다.
• 아마추어 스포츠 활성화: 선수들에게 프로 수준의 데이터 분석 경험을 제공함으로써 훈련의 질을 높이고 동기를 부여할 수 있습니다.

• 소유권 탐지의 어려움: 단일 카메라 앵글로는 선수들이 겹쳐 있을 때 완벽한 소유권 판별이 어렵습니다.
• 파울 인식 불가: 신체 접촉과 같은 복잡한 상호작용을 판단해야 하는 파울은 현재 모델로 자동 인식이 불가능합니다[cite: 380]. (→ 심판용 제어 앱으로 보완)
• 컴퓨팅 자원: 실시간 영상 처리를 위해서는 고사양의 컴퓨팅 자원이 필요하며, 현재 EC2 환경에서는 실시간성 확보에 어려움이 있었습니다.