详情描述

得益于人工智能的发展,我们使用IBM情感识别IBM、青云对象存储API、百度翻译API、百度语音API、百度关键字提取API,框架使用Spring MVC hibernate,来多方面感知用户想要表述的心情,根据用户的输入进行分析并匹配出最佳专属表情包。下面从以下三个核心功能进行介绍:

  1. 文本 --> 表情包: 用户根据提示输入想要表述的语言,我们使用keywords提取关键字,再使用IBM的waston API识别出语调,得到用户感情,再利用得到的关键字和情感爬取相应到相应的表情包并反馈给用户。
  2. 语音 --> 表情包: 用户根据提示,点击按钮说出想表达的语言,我们使用百度语音识别API提取出文字,对文字的操作与上面一致,将得到的表情包反馈在APP页面上。
  3. 视频 --> 表情包: 用户根据提示选择相册里的视频进行上传,我们使用python的dilb库和神经网络对上传上来的视频五官逐帧处理,把得到帧放在表情包里逐帧合成,合成一个完整的GIF表情包,最后反馈给用户。

创意来源

现有的表情生成神器多且繁杂,且大多数不支持通过语音、视频生成专属表情,转换的过程比较生硬缺乏情绪的互动。我们由此设计此款APP可通过文本、语音、视频三种方式生成专属表情包,根据用户的输入进行匹配,改变传统的先选择再生成的方式,增强与用户的交互并且提高本应用的新鲜感。 同时我们希望本应用能让更多的用户体验到与表情包交互的乐趣,让聊天不再尴尬。

解决的问题

  1. 提取出文本的关键字。
  2. 识别出语音里用户想要表述的内容。
  3. 人脸五官表情的处理以及关键帧的还原。

src java+nutz后台 app ionic跨平台应用 零碎py文件,视频图片处理