/Natural-Language-Processing-with-Python

Burgeoning Course AI Learning Hub - Natural Language Processing Basics

Primary LanguageJupyter Notebook

Python 自然語言處理實作 (Natural Language Processing (NLP) Project)

• 自然語言:人們用於溝通交流而自然形成的語言文字。
• 自然語言處理(Natural Language Processing, NLP):對自然語言進行運算等處理的技術。
• 人類的語言文字相當豐富多元又不斷改變，電腦要如何「理解」進而「使用」自然語言，是這個領域的目標。


NLP Application:
• 機器翻譯(Machine Translation)
• 閱讀理解(Reading Comprehension)
• 問答系統(Question Answering System)
• 情感分析(Sentiment Analysis)
• 文本分類(Text Classification)
• 文本生成(Text Generation)
• 寫作助理(Writing Assistant)
• 文本摘要(Text Summarization)
• 聊天機器人(Chatbot)

1. 文字處理

  1. 中文字詞計算
  2. 英文字詞計算
  3. 實作：新聞字串比對 - 正規表示式
  4. 中文詞性標註與字詞計算
  5. 英文詞性標註與字詞計算

2. 文本分析

  1. TF-IDF
  2. 文字雲、關鍵字雲
  3. 英文詞頻分析 - 齊夫定律
  4. 實作：路透社新聞搭配詞分析 - Smadja’s Algorithm

3. 文本相似度

  1. 實作：TED 主題建模 - 使用 LDA
  2. 實作：TED 文本相似度 - 使用歐幾里德距離、Cosine Similarity
  3. 文本相似度 - 使用 SimHash

4. 單詞表示

  1. WordNet
  2. 實作：爬取繁中紅樓夢全文
  3. 實作：紅樓夢相似詞與視覺化 - 使用 word2vec

5. 文本分類

  1. 實作：Google 商家評論情感分析 - CNN 星等分類
  2. 實作：Google 商家評論情感分析 - ML 星等分類
  3. 實作：Google 商家評論情感分析 - ML 正負評分類
  4. 實作：Google 商家評論情感分析 - MLP 星等分類
  5. 實作：Google 商家評論情感分析 - MLP 正負評分類
  6. 實作：Google 商家評論情感分析 - RNN_LSTM 星等分類

6. 序列模型

  1. 實作：情歌生成