Я использовал вместе COCO и PascalVOC2012 датасеты. Брал только те изображения, где центральный обьект составлял >30% всей картинки. Обучение под отдельный класс (например, человека) по метрикам был примерно такой же как обучение для всех классов (классы COCO + классы VOC)
В своём решении я реализовал две модели: MODNet (текущую SoTA модель) и Unet. MODNet являлся уже предобученный, но только на класс людей. Unet же я обучал сам на всех данных описанных в Датасеты.
streamlit run app.py