Bachelor thesis of Aleksandra Novikova at the Department of Mathematics and Computer Science, St Petersburg State University
Бакалаврская дипломная работа Новиковой Александры на факультете МКН в СПбГУ
The work considers one of the most important tasks in computer vision - the pose estimation problem. Sketch-based character pose estimation has some differences from the classical problem, where the pose is estimated for a person. On the one hand, there are not enough marked-up datasets to apply deep learning methods. On the other hand, the character often has non-linear and highly distorted limb proportions, so the classical methods are not applicable here. Solving this problem can help automate various parts in the production of animation, for example, the construction of a three-dimensional model. A synthetic dataset was generated in the work. Models using artificial neural networks were trained on the resulting dataset, and transfer learning methods were applied to generalize the model from synthetic data to real ones. The final model showed excellent results compared to classical models and proved the applicability of synthetic data in this task.
В работе рассматривается одна из наиболее важных задач в компьютерном зрении - задача определения положения. Определение положения персонажа по скетч рисунку имеет ряд отличий от классической постановки задачи, где положение определяется для человека. С одной стороны, для применения методов глубокого обучения не хватает размеченных наборов данных. С другой стороны, персонаж часто имеет нелинейный и сильно искажённые пропорции конечностей, поэтому классические методы, применимые для случая с человеком, здесь не подходят. Решение этой задачи может помочь автоматизировать различные части при производстве анимации, например построение трёхмерной модели. В работе был сгенерирован синтетический набор данных. На полученном наборе данных были обучены модели с использованием искусственных нейронных сетей, а также были применены методы трансферного обучения для обобщения модели с синтетических данных на реальные. Итоговая модель показала отличные результаты по сравнению с классическими моделями и доказала применимость синтетических даннных в этой задаче.