hmmbug/pythainlp

Thai Natural Language Processing in Python.

PyThaiNLP: Thai Natural Language Processing in Python

PyThaiNLP is a Python package for text processing and linguistic analysis, similar to nltk but with focus on Thai language.

PyThaiNLP เป็นไลบารีภาษาไพทอนสำหรับประมวลผลภาษาธรรมชาติ โดยเน้นภาษาไทย ดูรายละเอียดภาษาไทยเพิ่มเติมด้านล่าง

News

We are conducting a 2-minute survey to know more about your experience using the library and your expectations regarding what the library should be able to do. Take part in this survey: https://forms.gle/aLdSHnvkNuK5CFyt9

• The latest stable release is 2.1.4. See 2.1 change log.
• For latest development, see dev branch. See ongoing 2.2 development change log.

Using PyThaiNLP:

• PyThaiNLP Get Started
• More tutorials at https://www.thainlp.org/pythainlp/tutorials/
• See full documentation at https://thainlp.org/pythainlp/docs/2.1/
• Some additional data (like word lists and language models) may get automatically download during runtime and it will be kept under the directory ~/pythainlp-data by default. See corpus catalog at https://github.com/PyThaiNLP/pythainlp-corpus.
  • The data location can be changed, using PYTHAINLP_DATA_DIR environment variable.
• For PyThaiNLP tokenization performance and measurement methods, see tokenization benchmark
• 📫 follow our PyThaiNLP Facebook page

Capabilities

• Convenient character and word classes, like Thai consonants (pythainlp.thai_consonants), vowels (pythainlp.thai_vowels), digits (pythainlp.thai_digits), and stop words (pythainlp.corpus.thai_stopwords) -- comparable to constants like string.letters, string.digits, and string.punctuation
• Thai word segmentation (word_tokenize), including subword segmentation based on Thai Character Cluster (subword_tokenize)
• Thai transliteration (transliterate)
• Thai part-of-speech taggers (pos_tag)
• Read out number to Thai words (bahttext, num_to_thaiword)
• Thai collation (sort by dictionoary order) (collate)
• Thai-English keyboard misswitched fix (eng_to_thai, thai_to_eng)
• Thai spelling suggestion and correction (spell and correct)
• Thai soundex (soundex) with three engines (lk82, udom83, metasound)
• Thai datetime formatting (thai_strftime)
• and much more - see examples in tutorials.

Installation

PyThaiNLP uses PyPI as its main distribution channel, see https://pypi.org/project/pythainlp/

Stable release

pip install pythainlp

Development pre-release

pip install --upgrade --pre pythainlp

Fresh from dev branch

pip install https://github.com/PyThaiNLP/pythainlp/archive/dev.zip

Install options

For some functionalities, like named-entity recognition, extra packages may be needed. Install them with these install options:

pip install pythainlp[extra1,extra2,...]

where extras can be

• attacut (to support attacut, a fast and accurate tokenizer)
• benchmarks (for word tokenization benchmarking)
• icu (for ICU, International Components for Unicode, support in transliteration and tokenization)
• ipa (for IPA, International Phonetic Alphabet, support in transliteration)
• ml (to support ULMFiT models for classification)
• thai2fit (for Thai word vector)
• thai2rom (for machine-learnt romanization)
• wordnet (for Thai WordNet API)
• full (install everything)

For dependency details, look at extras variable in setup.py.

Python 2 Users

• PyThaiNLP 2 supports Python 3.6+. Some functions may work with older version of Python 3, but it is not well-tested and will not be supported. See 1.7 -> 2.0 change log.
  • Upgrading from 1.7
  • Upgrade ThaiNER from 1.7
• Python 2.7 users can use PyThaiNLP 1.6

Citations

If you use PyThaiNLP in your project or publication, please cite the library as follows

Wannaphong Phatthiyaphaibun, Korakot Chaovavanich, Charin Polpanumas, Arthit Suriyawongkul, Lalita Lowphansirikul, & Pattarawat Chormai. (2016, Jun 27). PyThaiNLP: Thai Natural Language Processing in Python. Zenodo. http://doi.org/10.5281/zenodo.3519354

or BibTeX entry:

@misc{pythainlp,
    author       = {Wannaphong Phatthiyaphaibun, Korakot Chaovavanich, Charin Polpanumas, Arthit Suriyawongkul, Lalita Lowphansirikul, Pattarawat Chormai},
    title        = {{PyThaiNLP: Thai Natural Language Processing in Python}},
    month        = Jun,
    year         = 2016,
    doi          = {10.5281/zenodo.3519354},
    publisher    = {Zenodo},
    url          = {http://doi.org/10.5281/zenodo.3519354}
}

Contribute to PyThaiNLP

• Please do fork and create a pull request :)
• For style guide and other information, including references to algorithms we use, please refer to our contributing page.
• PyThaiNLP code uses Apache Software License 2.0
• Corpus data created by PyThaiNLP project use Creative Commons Attribution-ShareAlike 4.0 International License
• For other corpus that may included with PyThaiNLP distribution, please refer to Corpus License.

Made with ❤️
PyThaiNLP Team
"We build Thai NLP"

ภาษาไทย

PyThaiNLP เป็นไลบรารีภาษาไพทอนสำหรับประมวลผลภาษาธรรมชาติ โดยเน้นภาษาไทย แจกจ่ายฟรี (ตลอดไป) เพื่อคนไทยและชาวโลกทุกคน!

เพราะโลกขับเคลื่อนต่อไปด้วยการแบ่งปัน

ข่าวสาร

สวัสดีค่ะ ทีมพัฒนา PyThaiNLP ขอสอบถามความคิดเห็นของผู้ใช้งาน PyThaiNLP หรือผู้ที่ทำงานในด้านการประมวลผลภาษาไทย เพื่อนำข้อมูลไปปรับปรุงและพัฒนาฟีเจอร์ใหม่ๆ ให้ตรงกับความต้องการใช้งานมากขึ้น สามารถตอบแบบสอบถามได้ที่ https://forms.gle/aLdSHnvkNuK5CFyt9 (ใช้เวลาประมาณ 2-5 นาที)

• รุ่นเสถียรล่าสุดคือรุ่น 2.1.4
• PyThaiNLP 2 รองรับ Python 3.6 ขึ้นไป
  • ผู้ใช้ Python 2.7+ ยังสามารถใช้ PyThaiNLP 1.6 ได้
• 📫 ติดตามข่าวสารได้ที่ Facebook PyThaiNLP

ใช้งาน PyThaiNLP:

• เริ่มต้นใช้งาน PyThaiNLP
• สอนการใช้งานเพิ่มเติม ในรูปแบบ notebook https://www.thainlp.org/pythainlp/tutorials/
• เอกสารตัวเต็ม https://thainlp.org/pythainlp/docs/2.1/
• ระหว่างการทำงาน PyThaiNLP อาจดาวน์โหลดข้อมูลเพิ่มเติม เช่น ตัวแบบภาษา และรายการคำ ข้อมูลเหล่านี้จะถูกเก็บไว้ที่ไดเรกทอรี ~/pythainlp-data เป็นตำแหน่งมาตรฐาน
  • ตำแหน่งเก็บข้อมูลนี้สามารถกำหนดเองได้ โดยการเปลี่ยนแปลงตัวแปรสิ่งแวดล้อม PYTHAINLP_DATA_DIR ของระบบปฏิบัติการ

ความสามารถ

• ชุดค่าคงที่ตัวอักษระและคำไทยที่เรียกใช้ได้สะดวก เช่น พยัญชนะ (pythainlp.thai_consonants), สระ (pythainlp.thai_vowels), ตัวเลขไทย (pythainlp.thai_digits), และ stop word (pythainlp.corpus.thai_stopwords) -- เหมือนกับค่าคงที่อย่าง string.letters, string.digits, และ string.punctuation
• ตัดคำภาษาไทย (word_tokenize) และรองรับการตัดระดับต่ำกว่าคำโดยใช้ Thai Character Clusters (subword_tokenize)
• ถอดเสียงภาษาไทยเป็นอักษรละตินและสัทอักษร (transliterate)
• ระบุชนิดคำ (part-of-speech) ภาษาไทย (pos_tag)
• อ่านตัวเลขเป็นข้อความภาษาไทย (bahttext, num_to_thaiword)
• เรียงลำดับคำตามพจนานุกรมไทย (collate)
• แก้ไขปัญหาการพิมพ์ลืมเปลี่ยนภาษา (eng_to_thai, thai_to_eng)
• ตรวจคำสะกดผิดในภาษาไทย (spell, correct)
• soundex ภาษาไทย (soundex) 3 วิธีการ (lk82, udom83, metasound)
• รูปแบบวันที่และเวลาไทย (thai_strftime)
• และอื่น ๆ ดูตัวอย่างได้ใน tutorials สอนวิธีใช้งาน

ติดตั้ง

รุ่นเสถียร

pip install pythainlp

รุ่นก่อนเผยแพร่ (pre-release)

pip install --upgrade --pre pythainlp

รุ่นกำลังพัฒนา (dev branch)

pip install https://github.com/PyThaiNLP/pythainlp/archive/dev.zip

การติดตั้งความสามารถเพิ่มเติม

สำหรับความสามารถบางอย่าง เช่น การชื่อเฉพาะ (named-entity) จำเป็นต้องติดตั้งแพคเกจเสริม ด้วยการระบุออปชันตอน pip install:

pip install pythainlp[extra1,extra2,...]

โดยที่ extras คือ

• attacut (ตัวตัดคำที่แม่นกว่า newmm เมื่อเทียบกับชุดข้อมูล BEST)
• benchmarks (สำหรับเครื่องมือวัดความแม่นยำของตัวตัดคำ)
• icu (สำหรับการถอดตัวสะกดเป็นสัทอักษรและการตัดคำด้วย ICU)
• ipa (สำหรับการถอดตัวสะกดเป็นสัทอักษรสากล (IPA))
• ml (สำหรับการรองรับโมเดล ULMFiT)
• thai2fit (สำหรับ word vector)
• thai2rom (สำหรับการถอดตัวสะกดเป็นอักษรละติน)
• wordnet (สำหรับ API WordNet ภาษาไทย)
• full (ติดตั้งทุกอย่าง)

รายละเอียดของแพคเกจเสริมดูได้ในตัวแปรชื่อ extras ใน setup.py

การอ้างอิง

หากคุณใช้ PyThaiNLP ในโปรเจคของคุณหรืองานวิจัย คุณสามารถอ้างอิงได้ตามนี้

Wannaphong Phatthiyaphaibun, Korakot Chaovavanich, Charin Polpanumas, Arthit Suriyawongkul, Lalita Lowphansirikul, & Pattarawat Chormai. (2016, Jun 27). PyThaiNLP: Thai Natural Language Processing in Python. Zenodo. http://doi.org/10.5281/zenodo.3519354

หรือ BibTeX entry:

@misc{pythainlp,
    author       = {Wannaphong Phatthiyaphaibun, Korakot Chaovavanich, Charin Polpanumas, Arthit Suriyawongkul, Lalita Lowphansirikul, Pattarawat Chormai},
    title        = {{PyThaiNLP: Thai Natural Language Processing in Python}},
    month        = Jun,
    year         = 2016,
    doi          = {10.5281/zenodo.3519354},
    publisher    = {Zenodo},
    url          = {http://doi.org/10.5281/zenodo.3519354}
}

สนับสนุนและร่วมพัฒนา

• คุณสามารถร่วมพัฒนาโครงการนี้ได้ โดยการ fork และส่ง pull request กลับมา
• โค้ด PyThaiNLP ใช้สัญญาอนุญาต Apache Software License 2.0
• คลังคำและข้อมูลที่สร้างโดยโครงการ PyThaiNLP ใช้สัญญาอนุญาตครีเอทีฟคอมมอนส์แบบแสดงที่มา-อนุญาตแบบเดียวกัน 4.0 Creative Commons Attribution-ShareAlike 4.0 International License
• คลังคำและข้อมูลอื่นๆ ที่แจกจ่ายไปพร้อมกับแพคเกจ PyThaiNLP อาจใช้สัญญาอนุญาตอื่น โปรดดูเอกสาร Corpus License
• ตราสัญลักษณ์ออกแบบโดยคุณ วรุตม์ พสุธาดล จากการประกวดที่ในกลุ่มเฟซบุ๊ก 1 2

สร้างด้วย ❤️
ทีม PyThaiNLP
"พวกเราสร้าง Thai NLP"