/Music_Video_Generator-MuLife

[Python] AI Music Video Genrator Project with Riffusion & Stable Diffusion model

Primary LanguageJupyter Notebook

Music_Video_Generator-MuLife

프로젝트 주제

MuLife (음악 생성 및 추천 서비스)

🔍 일명 Music is My Life의 줄임말로, 음악과 관련된 과제를 바탕으로 하나의 서비스를 제공하고자 한다.

선정 이유

음악,, 삶에서 뺄 수 없는, 가장 쉽게 힐링하는 법!

만약 매일매일 그때의 단어 느낌 바탕으로 다른 독특한 개성있는 노래를 들을 수 있다면?!!

기능

text 기반, 새로운 음악 혹은 이미지 구현하기.

음악 추천 서비스

등등의 text 를 바탕으로 뻗어나갈 수 있는 여러 기능 구현.

사용의 편리성을 위한 UI 마련, 외부 접속 가능하도록!!

구현 방향

Stable Diffusion 모델을 바탕으로 text - image & spectogram - music - video 의 흐름 구현하기.

  1. Stable Diffusion에 대한 공부 및 구현 계획

  2. Riffusion - Spectogram & Music 생성 Stable Diffusion - Image 생성

  3. 웹 서비스 제공

개발 툴

  1. Colab
  2. hugging face - riffusion v1
  3. github - stable-diffusion-v1-5
  4. Kaggle - prompt recommender