GimmeDanger/cinema-studies

Идеи по анализу датасета

GimmeDanger opened this issue · 3 comments

GimmeDanger commented
  1. кол-во статей про женщин-режиссерок по годам (до 2019). отношение к общему числу статей в каждом media.
  2. сравнить ещё как изменилось процентное соотношение женщин-режиссёров и мужчин-режиссёров с годами. Чтобы было два графика - со статьями и что на деле
  3. построить распределение всех-всех статей по годам, чтобы понять как у нас представлены данные
kartozia commented

План по киноисследованию:
1.1 Откачать недостающие статьи Вова

  • HWR -- DONE

  • VARIETY - DONE

  • FILMCOMMENT

  • DEADLINE - DONE

1.2 Привести фичи к общему знаменателю (сейчас разное количество, разные названия), собрать единый датасет
2. Построить распределение статей по годам Инга DONE
3. Кол-во статей про женщин-режиссерок по годам (до 2019). отношение к общему числу статей в каждом media
4. Сравнить ещё как изменилось процентное соотношение женщин-режиссёров и мужчин-режиссёров с годами. Чтобы было два графика - со статьями и что на деле
5. Написать черновик текста
6. Обсуждение и чистовик текста

GimmeDanger commented

Ссылка на архивы текстов статей:
https://yadi.sk/d/OswDNo4H4aNBUQ
Deadline, Hollywood Reporter, Variety закончены.

GimmeDanger commented

В последних коммитах опубликованы первые данные по анализу упоминаний: /raw_data/director_mentions/*.txt

Структура данных:

  • {fe}male_mention_backup_{media_name}_{date}.txt -- промежуточные данные, можно не смотреть
  • {fe}male_mentions_per_month_{media_name}_{date}.txt -- файл вида "(year, month), number_of_mentions" для {fe}male на основе издания {media_name}
  • {fe}male_fame_top_{media_name}_{date}.txt -- файл вида "(number_of_mentions, director_name)" для {fe}male на основе издания {media_name}, строки отсортированы по убыванию параметра number_of_mentions

Какие графики хочется построить:

  • кривые (x, y) = (date, mentions) для мужчин и женщин на одном графике для каждого из трех издания на основе данных {fe}male_mentions_per_month_{media_name}_{date}.txt = 3 графика
  • тоже самое, что и предыдущий пункт, но только за 2018 год = 3 графика
  • тоже самое, что и первый пункт, только в формате bar charts, чтобы в каждом столбике была часть отвечающая за мужчин, часть за женщин для наглядности (пример в /processing_scripts/compute_director_mentions.ipynb -- последняя ячейка) = 3 графика
  • визуализация топа режиссеров для женщин и мужчин на основе данных {fe}male_fame_top_{media_name}_{date}.txt, чтобы было видно, что есть несколько людей, на долю которых приходится большая часть упоминаний, надо подумать, как это лучше визуализировать: pie chart, bar chart etc = 2 визуализации на издание
  • другие идеи приветствуются

Когда будут графики, подумаем, что из этого лучше подходит для статьи.