wlwl1011/Photomosaic-DMM

Deep learning을 활용한 Photomosaic 서비스 개발

JavaScript

2022 1학기 종합프로젝트 설계-2

Deep learning을 활용한 Photomosaic 개발 (참여 기업체 : (주)빈즈 소프트)

컴퓨터학부 글로벌Sw융합전공 19학번 권수빈
컴퓨터학부 글로벌Sw융합전공 19학번 김민지
컴퓨터학부 글로벌Sw융합전공 19학번 김은하

Project Title << Deep learning을 활용한 Photomosaic 개발 >>

[목차]

실행방법
과제수행배경
과제수행목표
개발환경
프로젝트개발내용
기대효과
데모영상

실행방법

pre-requirements

postgres docker
minio docker
minio-ui (optional : if you need admin dashboard page to check minio)

how to deploy docker

cd docker
docker-compose up -d

you can access minioui.localhost:9001 at admin dashboard
Please modify the docker-compose.yaml in docker directory for custom configuration

front

You can develop front with flutter on front directory
Please use front/deploy.sh to deploy front
```
bash front/deploy.sh
```

How to run

go run main.go

개발배경

최근 딥러닝 기술이 각광받게 되면서 딥러닝을 이용해 컴퓨터가 자동으로 Photomosaic를 생성하도록 하는 기술이 활성화 되었음
이를 통해 서울 관광 홍보 application과 같이 다양한 서비스도 탄생함

이러한 배경으로 빈즈소프트에서도 Photomosaic과 관련된 서비스를 제공하는 application을 기획하였고 저희에게 프로젝트 수행을 요청

과제수행목표

포토모자이크 기술을 활용하여 이용자에게 다양한 서비스를 제공
공유 기능을 추가하여 바이럴 마케팅
기업의 홍보효과 및 배너 광고를 통한 수익 창출

개발환경

Client

Flutter

Server

Authorization Server

Firebase

Data Management Module

MINIO : Save image object
PostgreSQL : image meta data

또한 Photomosaic model은 모듈화하여 Golang으로 실행

프로젝트개발내용

로그인 및 회원 가입

회원 관리를 위해 firebase 내의 auth 기능을 이용함
해당 사진은 firebase auth내에 회원의 계정이 어떻게 저장되는지 보여줌

(1) SNS 연동 로그인

앱을 처음 실행시켰을 때 splash 후 처음으로 등장하는 페이지에서 SNS 연동 로그인 및 이메일을 이용한 로그인, 회원가입 가능

(2) 일반 로그인

sns 연동 로그인을 하지 않고 이메일을 통한 로그인 및 회원가입을 원한다면 해당 페이지에서 진행 가능

(3) 자동 로그인

로그인을 하게 되면 firebase auth에서 일정시간동안 token을 관리하게 되는데, 이를 이용하여 자동로그인을 구현함

Photomosaic을 활용한 사진 생성

사용자가 Photomosaic을 생성하는 페이지로 이동하면 Target 이미지를 업로드 함
그 다음으로 Target이미지를 구성하는 소스 이미지를 선택 가능. 이 때 소스 이미지는 사용자의 선호에 따라 서버에 업로드 되어있는 이미지 혹은 User의 앨범에 있는 개인 이미지를 선택할 수 있음

이 때 데이터베이스 내의 소스 이미지의 개수가 많아질 수록 타깃 이미지의 각 셀마다 가지고 있는 고유한 값을 표현하기 위한 비교 가능한 셋이 많아지기 때문에 처리 시간이 증가하는 문제 발견

따라서 (처리 시간과 사진의 완성도를 고려하여) 데이터 베이스 내의 최소한의 사진을 저장 한 후 향후 생성된 Photomosaic 이미지와 만들고자 했던 Target이미지를 오버랩하여 완성도와 효율을 최대한 확보함

이를 통해 서비스 제공 측면에서 앱 처리시간이 늘어나는 것을 방지

pixabay로 소스 이미지 Crawling

데이터 베이스 내의 사진은 Pixabay에서 크롤링 하여 구성
Pixabay Developer API를 사용하였고 이는 각 사용자의 Api Key를 통해 HTTP통신으로 작동된다.

DB 처리 속도 개선 및 사용자 HISTORY 관리

서버와 앱의 데이터 송수신 시 HTTP의 Get, Post 방식을 이용

사용자 이미지 데이터 저장을 위한 데이터 베이스는 Minio를 사용
이미지의 메타 데이터 저장을 위한 데이터 베이스는 PostgreSQL을 사용

이는 image 타입으로 일반적인 데이터베이스에 저장 가능하나 이미지 데이터가 고해상도, 고용량인 경우 데이터 조회시 DB부하 및 용량 증가로 로딩 속도가 증가 할 수 있다는 문제점을 감안하여 이와 같이 구성함

커뮤니티를 통한 사용자 간 교류

서버, 앱 간의 데이터를 즉시 반영하기 위해 Stream을 열어두어 사진 Post 기능 및 좋아요 댓글 달기 기능 구현

카카오톡 공유 서비스 제공

카카오톡 sns로 직접 공유할 수 있는 서비스를 제공

광고 삽입 및 캠페인 삽입

기대효과

바이럴 마케팅, 배너 광고는 물론, 단일 코드 베이스인 flutter를 이용한다는 점에서 경제적 효과와 홍보효과를 기대함

데모영상

https://www.youtube.com/watch?v=3KBc8UICEtQ&feature=youtu.be