🚀 greedot

그리닷 프로젝트는 아이가 직접 그린 그림에 생명을 더해주는 "메타 캐릭터 생성" 프로젝트 입니다.

1. skt fly ai challengers 4기 대상 🏆

2. 시연 영상

• 영상링크

3. 프로젝트 개요

3-1. 제안 배경

• 아이가 직접 그린 그림이 말하고 움직이는 나만의 AI친구 생성 서비스
• 아이의 스마트폰 사용 연령은 점점 낮아지고 있는데, 맞벌이 가정은 늘어나면서 아이의 친구를 만들어주는 서비스를 기획하게 되었다.

3-2. 목표

• 엔터테인먼트: 흥미 유발을 통하여 사용자에게 즐거움을 선사
• 사회성 향상: 의사소통과 정서 교류가 가능한 AI 단짝 친구 역할
• 정서 모니터링: 대화 기반 분석 리포트를 통한 자녀의 관심사 및 고민 파악 가능

4. 시스템 아키텍쳐

4-1. 구현 툴

Category	Technologies
Frontend	Flutter
Backend	FastAPI
Cloud	AWS RDS (MySQL), Azure VM, Azure Container (Blob Storage)
CI/CD	GitHub Actions, Docker

4-2. AI, API

Category	Technologies/Services
Emotion AI	KoBert emotion predict
Vision AI & Rendering	Animated drawings
Chat AI	GPT 3.5-turbo + finetuning
APIs	NAVER CLOVA voice, NAVER speech, Midjourney API

5. 기술

5-1. Rendering(rigging+retargeting)

• Tech flow
  • mediapipe를 이용한 애니메이션(.bvh) 생성 알고리즘
  • rigging + retargettign
  • Animated drawings renderer를 통하여 캐릭터에 애니메이션 적용

• result

5-2. emotion classification

• 6가지 감정 상황에 따른 대화 데이터 약 8만개 문장으로 KoBERT 학습
• fine tuning, 데이터 이상치 제거, 모델 앙상블을 통한 정확도 향상(test val: 77%)

5-3. GPT fine tuning

• gpt 3.5 모델을 활용, 약 70개 대화 파인튜닝 및 페르소나 적용
• 성격, 성별에 따라 다양한 스타일의 목소리 제공

6. 팀원 소개

이름	역할	구현
변지협 🤨	팀장, 백엔드, 클라우드	CI/CD 파이프라인 구축
이성원 😊	백엔드, 프론트엔드	그림 업그레이드 기능 구현
김동욱 😁	Vision AI	캐릭터 리깅 기능 구현
김동재 😘	프론트엔드, 감정 AI	STT, GPT 파인튜닝
문지우 😯	프론트엔드, 언어 AI	감정분석 기능 구현

7. Link

• 아보카도 노션
• 최종 발표 자료
• Backend Server(Dockerhub)
• AI Server(Dockerhub)