[SK쉴더스 루키즈] 5회차 멘토링 (7/17)

[중간발표 피드백 및 최종 발표 준비]

 

1. PPT 흐름 수정: 뻔한 개요는 버리고 '차별점'에 집중하기 멘토링에서 가장 먼저 짚고 넘어간 부분은 발표의 서론이었다. 흔한 관제시스템이 왜 필요한지, 기존의 뻔한 실제 사례 등은 과감히 덜어내기로 했다. 우리가 완전히 새로운 개념의 시스템을 발명한 것이 아니기 때문에, 이런 설명은 청중에게 불필요하게 느껴질 수 있다.

대신, 시장의 현황과 우리의 차별점을 강조하는 방향으로 플로우를 수정했다.

• 시장 현황: 현재 어떤 기업들이 AI CCTV나 관제시스템 상품을 내놓고 있는지, 어디에 어떻게 왜 쓰이고 있는지 짚어주며 이 시스템이 얼마나 중요하고 수요가 많은지 어필한다.
• 기획 의도와 차별점: "그래서 우리는 이 시장에서 어떤 차별점을 두고 만들었나?", "어떤 기능을 추가했고 이걸 통해 어떤 효과를 만들어낼 수 있는가?"를 어필한다.
• 서비스 대상 및 시나리오: 개요 부분에서 타겟층을 명확히 하고 예상 사용 시나리오를 덧붙인다.
• 관리자용 기능 강조: 관리자 페이지는 단순히 말로 설명하기보다 스토리보드 느낌으로 '테스트 모드'를 캡처해서 직관적으로 이런 기능이 있다는 것을 보여줄 예정이다.

2. 기술적 고민과 트러블슈팅의 흔적 발표 중반부에서는 전체 시스템 구조와 플로우차트를 그림으로 띄워두고, 우리가 이걸 어떻게 구현했는지 '고민의 흔적'을 중심으로 설명할 계획이다.

• AI 및 영상 처리: AI 모델을 어떤 기준으로 선정했고 성능은 어떻게 개선했는지, 영상 송출 지연을 줄이기 위해 어떤 실험들을 했는지 설명한다. 특히 VLM 검색 기능을 구현하면서 프레임을 딱 '8장'으로 선정한 기술적 이유를 어필할 예정이다.
• 인프라 및 백엔드 (실시간성): 실시간성을 확보하기 위해 MQTT, Redis, Kafka, SSE, HTTP 등을 어떻게 활용했는지 다룬다. 단순히 썼다가 아니라, MQTT를 썼을 때 문제가 될 수 있는 부분과 그에 대한 방어적 조치를 어떻게 했는지 설명한다. 인프라 측면에서는 VPN 구축 과정과 S3, EKS 활용, SSM에 대한 설명 및 CloudFront 적용을 짚어준다.
• 보안: 스냅샷 저장 시 개인정보 보호를 위한 블러 처리 및 비식별화 과정, 로컬 스토리지 HTTP Only 설정, TLS와 HTTPS 기반의 인증/인가 로직을 설명한다.

이후 시연 영상과 전반적인 최종 벤치마킹, 성능 평가 지표를 보여주며 마무리한다.

 

3. 프로젝트의 한계점과 향후 고도화 방안 멘토링을 통해 현재 시스템의 아쉬운 점들을 정리하고, 이를 어떻게 고도화할 수 있을지 구체적인 방향성을 잡을 수 있었다.

 

① 실시간 영상 스트리밍 구조의 한계 프로젝트 초기에는 WebRTC 기반의 스트리밍을 시도했다. 하지만 객체 탐지 결과(BBox)와 영상 프레임을 정확히 동기화하려면 GStreamer 기반의 미디어 파이프라인 구성이 필수적이라는 것을 깨달았다. 프로젝트 기간 내에 안정적인 시스템 구현을 우선시하다 보니, 결국 FFmpeg 기반의 MJPEG/WebSocket 방식으로 원복하게 되었다.

• 개선 방향: 향후 GStreamer 기반 RTSP/WebRTC 파이프라인을 구축하여 영상 프레임과 탐지 BBox 결과의 타임스탬프를 정확히 동기화하고, 지연 시간을 획기적으로 줄이는 저지연 스트리밍 구조로 전환해야 한다.

② 다중 카메라 처리 성능의 한계 카메라 연동 수가 늘어날수록 일부 영상에서 프레임 드랍과 끊김 현상이 발생했다. 여러 대의 카메라 스트림이 하나의 GPU 자원을 공유하면서 추론 작업에 병목 현상이 생겼기 때문으로 추정된다.

• 개선 방향: 카메라별로 워커 프로세스를 분리하고 큐(Queue) 기반 처리 구조를 도입해야 한다. 또한 GPU 사용률 모니터링을 통한 부하 분산, 추론 FPS 조절, 프레임 샘플링 및 배치 처리 최적화가 필요하며, 궁극적으로는 GPU 서버를 확장하거나 모델을 경량화하는 방향으로 구조를 고도화할 계획이다.

③ VLM 기능의 확장성 한계 이벤트 요약 및 검색 기능에 VLM을 적용했지만, 시간 제약상 별도의 모델 학습이나 파인튜닝 없이 외부 API를 그대로 가져와 활용하는 수준에 머물렀다. 때문에 낙상이나 실신 등 현장 도메인에 특화된 디테일한 설명이나 검색 정확도 면에서는 한계가 분명했다.

• 개선 방향: 향후 낙상/실신 이벤트 데이터가 축적되면 프롬프트 고도화를 진행하고, 이벤트 로그와 영상 메타데이터를 결합한 검색 구조로 개선해야 한다. 궁극적으로는 VLM과 RAG(검색 증강 생성) 기술을 결합하여 현장 맞춤형 AI 관제 서비스로 고도화해 나갈 수 있을 것이다.