Metaverse Entertainment

-   부서: Technical Design Department, Technical Development Team, AI Part
-   기간: 2023.01 ~ 2024.05

Task

Projects

인플루언서 맞춤 이미지 생성

업무 목표

       디자이너의 버추얼 인플루언서 SNS 이미지 편집 속도 개선
       특정 인물의 의상 착의, 구도 확인 등을 위한 이미지 생성 모델 구축

담당 업무

       Stable Diffusion 모델 선정 및 LoRA finetuning
       고품질 이미지 생성을 위한 ComfyUI workflow 개선
       디자이너 편의를 위한 Gradio 기반의 webui 사내 배포

업무 성과

       인플루언서 인스타그램(ID: rina.8k) 포스트 제작
       유튜브 썸네일 및 컨텐츠 이미지 제작

대역 모델 → 특정 인플루언서 faceswap 예시

Face Re-Aging 기술 개발

업무 목표

       디자이너의 인물 연령 리터칭 작업 속도 개선
       AI기술 기반의 가이드 이미지 제공

담당 업무

       StyleGAN기반의 나이 변환 기술 연구 및 논문 작성
       연령 변환을 위해 두 단계로 구성된 새로운 프레임워크 제안

업무 성과

       📄 추가 연구를 통한 SCI-E급 해외 저널 1편 게재       

              [IF=3.9] IEEE Access에 1저자 논문 게재

연령 변환 가이드 이미지 생성 예시

화자 변환 음성 AI 연구

담당 업무

       촬영 비용 절감을 위한 특정 캐릭터 성우 전용 음성 변환 모델 미세조정 및 사내 배포
       캐릭터 음성 서비스를 위한 AutoEncoder 기반의 다중 언어 TTS 기술 개발

업무 성과

       관련 유튜브 컨텐츠 제작 및 성우 섭외 비용 절감

              🎞️ [MAVE: April Fool's Day] 만우절 장난 특집!! 소속사에서 준비한...       

페르소나 AI Chatbot 개발

담당 업무

       RAG 기반 Open LLM(llama2, GPT4)을 활용한 챗봇 데모 구축 및 사내 테스트
              특정 아티스트의 정체성으로 학습된 LLM모델을 사용하여, 1:1 대화 서비스 제공
       라이브 컨텐츠에 사용될 LLM기반 챗봇 시스템 개발 및 Unreal Engine과 연동
       챗봇 시스템 전문 업체 미팅 및 관련 회의 참석

관련 기사

       📰  메타버스엔터테인먼트, 업스테이지와 ‘페르소나AI’ 공동 개발 위한 전략적 협업       

       📰  메타버스엔터테인먼트, 페르소나 AI 적용한 채팅 서비스 '챗 시우' 오픈