๐Ÿš˜ AIFFELTHON X SOCAR ๐Ÿš˜

๐Ÿ“… ํ”„๋กœ์ ํŠธ ๊ธฐ๊ฐ„ : 2022.04.20-2022.06.08

  • ๊น€๋นˆ : KoBERT๋ฅผ ํ™œ์šฉํ•œ ์ด์ง„ ๋ถ„๋ฅ˜ ๋ฐ ๋ฉ€ํ‹ฐ๋ ˆ์ด๋ธ” ๋ถ„๋ฅ˜ ๋ชจ๋ธ ๊ตฌํ˜„, ์‹œ์Šคํ…œ ์ž๋™ํ™”๋ฅผ ์œ„ํ•œ ํŒŒ์ผ ๊ตฌ์„ฑ
  • ๋…ธ์ง€์—ฐ : KoBERT๋ฅผ ํ™œ์šฉํ•œ ํ‚ค์›Œ๋“œ ์ถ”์ถœ ๋ชจ๋ธ ๊ตฌํ˜„, ์ค€์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ œ๊ณต์„ ์œ„ํ•œ ์‹œ์Šคํ…œ ์ž๋™ํ™” ๊ตฌํ˜„
  • ๋ฐ•์ง€ํ˜ธ : KoBERT๋ฅผ ํ™œ์šฉํ•œ ์ด์ง„ ๋ถ„๋ฅ˜ ๋ฐ ๋ฉ€ํ‹ฐ๋ ˆ์ด๋ธ” ๋ถ„๋ฅ˜ ๋ชจ๋ธ ๊ตฌํ˜„, ํ‚ค์›Œ๋“œ ์นดํ…Œ๊ณ ๋ฆฌ ๋ถ„๋ฅ˜
  • ์‹ ํ˜œ์ง€
  • ํ™์„œ์˜

๐Ÿšฆ Introduction

<์˜์นด์™€ ๊ด€๋ จ๋œ ๋ฆฌ๋ทฐ ๋ฐ ํ›„๊ธฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ ๋ถ„์„ ์ž๋™ํ™” ์‹œ์Šคํ…œ ๊ตฌ์ถ•ํ•˜๊ธฐ>

์ตœ๊ทผ ๋ฐฉ์†ก ๋ฟ๋งŒ์ด ์•„๋‹ˆ๋ผ ์œ ํŠœ๋ธŒ, ๊ฐœ์ธ ๊ทธ๋ฆฌ๊ณ  ์ธํ”Œ๋ฃจ์–ธ์„œ ๋“ฑ์˜ ์˜ํ–ฅ๋ ฅ์ด ์ปค์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๊ธฐ์—…์˜ ์ด๋ฏธ์ง€์— ํฐ ์˜ํ–ฅ๋ ฅ์„ ๋ผ์น˜๊ธฐ ๋•Œ๋ฌธ์— B2C ์‚ฌ์—…์—์„œ๋Š” ์ด์— ๋Œ€ํ•œ ๊ด€๋ฆฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์˜ํ–ฅ๋ ฅ์„ ๋ฏธ์น˜๋Š” ๊ฐœ์ธ์ด ๋งŽ๊ณ  ๋™์‹œ๋‹ค๋ฐœ์ ์œผ๋กœ ์ฝ˜ํ…์ธ ๊ฐ€ ์—…๋กœ๋“œ๊ฐ€ ๋˜๊ธฐ ๋•Œ๋ฌธ์— ์ด๋ฅผ ์ •๋Ÿ‰์ ์œผ๋กœ ํŒŒ์•…ํ•˜๊ธฐ๊ฐ€ ์–ด๋ ค์šธ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์ธ๋ ฅ์œผ๋กœ ๋Œ€์‘ํ•˜๊ธฐ๋„ ์–ด๋ ต๋‹ค๊ณ  ํŒ๋‹จํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์Šˆ์— ๊ด€ํ•œ ๋น ๋ฅด๊ณ  ์œ ์—ฐํ•œ ๋Œ€์ฒ˜๋ฅผ ์œ„ํ•ด ๋‹ค์–‘ํ•œ ์ฑ„๋„์—์„œ ์˜์นด ๋ฆฌ๋ทฐ๋“ค์„ ์ˆ˜์ง‘ํ•˜๊ณ  ๋ถ„์„ํ–ˆ์Šต๋‹ˆ๋‹ค.

  1. ์˜์นด์˜ ์ตœ๊ทผ ์ด์Šˆ๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋Š” ๊ธ‰์ƒ์Šน ํ‚ค์›Œ๋“œ๋ฅผ ์ œ๊ณต
  2. ์˜์นด์— ๋Œ€ํ•œ ์ธ์‹์ด ํ˜„์žฌ ๊ธ์ •์ ์ธ์ง€, ๋ถ€์ •์ ์ธ์ง€ ์•Œ ์ˆ˜ ์žˆ๋Š” ๊ฐ์„ฑ๋ถ„์„์„ ํ†ตํ•œ ๊ธ/๋ถ€์ • ํ‚ค์›Œ๋“œ ๊ธฐํš
  3. ๋ถ€์ •์ ์ธ ์˜๊ฒฌ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์ฃผ์š” ๋ถˆ๋งŒ ํ‚ค์›Œ๋“œ๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋„๋ก ์นดํ…Œ๊ณ ๋ฆฌ๋กœ ๋ถ„๋ฅ˜
  4. ์–ด๋–ค ๋‚ด์šฉ์ด ๋ถ€์ •์ ์ธ์ง€ ์ •ํ™•ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ œ๊ณตํ•˜๊ณ ์ž, ์‹ค์ œ ๋ฆฌ๋ทฐ ๋ฐ์ดํ„ฐ ์›๋ณธ ์ œ๊ณต

๐Ÿƒ Project Details

  • Tools

    Language : Python

    IDE : Google Colaboratory

    Library : Pytorch

    Platform : GCP, Airflow, Kafka, Bigquery, Google Data Studio

[์ „์ฒด ์ง„ํ–‰๊ณผ์ •] ์ „์ฒด์ง„ํ–‰ํ๋ฆ„๋„

[์ด์ง„๋ถ„๋ฅ˜]

[์นดํ…Œ๊ณ ๋ฆฌ ์„ ์ • ๊ณผ์ •] ์นดํ…Œ๊ณ ๋ผ์ด์ง•๋ฐฉ์‹

[์‹œ์Šคํ…œ ๊ตฌํ˜„๋„] ์‹œ์Šคํ…œ๊ตฌ์„ฑ๋„

๐Ÿ™‹ Results


๐Ÿ’Œ๐Ÿ•Š๏ธ

๐Ÿฆ’ ๐Ÿงก๊น€๋นˆ : ์ข‹์€ ์‚ฌ๋žŒ๋“ค๊ณผ ํ”„๋กœ์ ํŠธ ์ง„ํ–‰ํ•˜๊ฒŒ ๋˜์–ด์„œ ์ฆ๊ฑฐ์› ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ์ €์˜ ์ˆ˜์ค€ ์ด์ƒ์—์„œ๋‚˜ ๊ฐ€๋Šฅํ•  ์‹œ๋„๋ฅผ ๋งŽ์ด ํ•ด๋ณผ ์ˆ˜ ์žˆ์–ด์„œ ์„ฑ์žฅ์— ๋„์›€์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ถ”ํ›„์— multi-label classification์˜ ๋ฏธ์ง„ํ–ˆ๋˜ ๋ถ€๋ถ„์„ ๊ฐœ์„ ํ•˜์—ฌ ๋‚˜์˜ฌ ๊ฒฐ๊ณผ๋„ ๊ธฐ๋Œ€๊ฐ€ ๋˜๋„ค์š”!

๐Ÿน ๐Ÿ’› ๋…ธ์ง€์—ฐ : โ€œ์˜์นด์— ๋Œ€ํ•œ ๋ฆฌ๋ทฐ ๋ถ„์„โ€์ด๋ž€ ํฅ๋ฏธ๋กœ์šด ์ฃผ์ œ๋ฅผ ๊ฐ€์ง€๊ณ  ์ฒ˜์Œ์—๋Š” ์–ด๋–ป๊ฒŒ ํ’€์–ด๊ฐ€์•ผ ํ• ์ง€ ๋ง‰๋ง‰ํ–ˆ์ง€๋งŒ, ๋งˆ์Œ์ด ๋งž๋Š” ํŒ€์›๋“ค๊ณผ ํ•จ๊ป˜ ์—ญ๊ฒฝ์—๋„ ๊ตดํ•˜์ง€ ์•Š๊ณ  ๋๊นŒ์ง€ ๋งค์ง„ํ•˜์—ฌ ์ข‹์€ ๊ฒฐ๊ณผ๋ฅผ ๋„์ถœํ•œ ๋งŒ์กฑ์Šค๋Ÿฐ ํ”„๋กœ์ ํŠธ์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿง โค๏ธ ๋ฐ•์ง€ํ˜ธ : ํ”„๋กœ์ ํŠธ ์ง„ํ–‰ ๊ณผ์ • ์ค‘์— ๋งŽ์€ ์–ด๋ ค์›€๋„ ์žˆ์—ˆ์ง€๋งŒ ๋Š์ž„์—†๋Š” ์†Œํ†ต์œผ๋กœ ๋๊นŒ์ง€ ๋ฌธ์ œ ํ•ด๊ฒฐ์„ ํ•˜๋Š” ๊ณผ์ •์—์„œ ๋งŽ์ด ๋ฐฐ์› ์Šต๋‹ˆ๋‹ค. ๋ถ€์กฑ ์ €๋ฅผ ์ด๋Œ์–ด์ฃผ๊ณ  ๋งŽ์ด ๋ฐฐ์šธ ์ˆ˜ ์žˆ๊ฒŒ ํ•ด์ค€ ์šฐ๋ฆฌ ํŒ€์› ๋ชจ๋‘ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

๐Ÿฑ ๐Ÿ’š์‹ ํ˜œ์ง€ : ์บ์ฒ˜๋Š” ํ•œ๋‹ฌ ๋‚จ์ง“ํ•œ ์‹œ๊ฐ„๋™์•ˆ ๋‹ค์„ฏ ํŒ€์›์ด ๊ณต๋“ค์—ฌ ๋งŒ๋“  ์†Œ์ค‘ํ•œ ํ”„๋กœ์ ํŠธ์ž…๋‹ˆ๋‹ค. ํšจ๊ณผ์ ์œผ๋กœ ์œ ์ €์˜ ํ”ผ๋“œ๋ฐฑ์„ ์ˆ˜์ง‘ํ•˜๊ณ  ์ข…ํ•ฉํ•˜๊ณ ์ž ํ•˜๋Š” ๋งŽ์€ ๋ถ„๋“ค๊ป˜ ์บ์ฒ˜๊ฐ€ ๋„์›€์ด ๋˜์—ˆ์œผ๋ฉด ์ข‹๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ณ ์ƒํ•˜์‹  ์šฐ๋ฆฌ ์บ์ฒ˜ํŒ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

๐Ÿธ ๐Ÿ’™ ํ™์„œ์˜ : 6๊ฐœ์›” ์ „ ์ฝ”๋“œ ํ•œ ์ค„ ๋ชฐ๋ž๋˜ ์ œ๊ฐ€ ๋ฉ‹์ง„ ์‚ฌ๋žŒ๋“ค์„ ๋งŒ๋‚˜ ์ถฉ๋งŒํ•œ ๊ฒฐ๊ณผ๋ฌผ์„ ๋‚ด๊ธฐ๊นŒ์ง€, ํ•˜๋ƒฅ ์ฆ๊ฑฐ์šด๋ฐ๋‹ค ์œ ์ตํ•˜๊ธฐ๊นŒ์ง€ ํ•œ ์‹œ๊ฐ„์ด์—ˆ์Šต๋‹ˆ๋‹ค. โ€œ์บ์ฒ˜โ€ํŒ€์„ ๊ฐ์„ฑ๋ถ„์„ํ•˜๋ฉด โ€œPositiveโ€ 100%, ํ‚ค์›Œ๋“œ ์ถ”์ถœํ•˜๋ฉด โ€œ์ฆ๊ฑฐ์›€โ€์ด ๋‚˜์˜ฌ๊ฑฐ๋ž€ ํ™•์‹ ์ด ๋“œ๋„ค์š”. ์บ์ฒ˜ ์ƒ์‚ฌ, ํ‡ด์‚ฌ ์—†์–ด!