/dcard-corpus

Dcard post data for building corpus

Primary LanguagePython

Dcard post data

This repo hosts the post data retrieved from Dcard API, which were colleceted for the purpose of building a small corpus. These posts came from the top-100 popular forums of Dcard. Each post is at least 100-character-long.

The post data were segmented and PoS tagged using ckiplab/ckiptagger.

Files

Concordancer

The quickest way to query KWIC concordance in this corpus with this concordancer is using docker.

Download image:

docker pull liao961120/dcard

Run server:

docker run -it -p 127.0.0.1:1420:80 liao961120/dcard

When you see Corpus Loaded printed on the command line, you can visit https://kwic.yongfu.name to use the app.

The source code of the concordancer can be found in liao961120/kwic and liao961120/kwic-backend. Read more about the concordancer in this post.

Corpus Stats

  • Number of tokens: 5292615
  • Number of posts: 19224
    • Female author: 12007 (62.46%)
    • Male author: 7217 (37.54%)

Word List (Top 100 frequent)

token pos count
1 的 DE 219170
2 ， COMMACATEGORY 214385
3 我 Nh 110994
4 是 SHI 87591
5 有 V_2 57263
6 WHITESPACE 54959
7 。 PERIODCATEGORY 53661
8 不 D 49773
9 <URL> FW 46867
10 一 Neu 46811
11 了 Di 45339
12 . PERIODCATEGORY 43362
13 在 P 42562
14 就 D 40836
15 個 Nf 38905
16 也 D 36364
17 這 Nep 34835
18 都 D 34730
19 很 Dfa 31142
20 、 PAUSECATEGORY 28877
21 會 D 28162
22 ！ EXCLAMATIONCATEGORY 26118
23 他 Nh 25930
24 人 Na 23626
25 ？ QUESTIONCATEGORY 22487
26 你 Nh 22130
27 ： COLONCATEGORY 21278
28 想 VE 20998
29 但 Cbb 20839
30 要 D 20698
31 說 VE 19552
32 了 T 17949
33 （ PARENTHESISCATEGORY 17945
34 」 PARENTHESISCATEGORY 17902
35 「 PARENTHESISCATEGORY 17717
36 還 D 17090
37 自己 Nh 16816
38 可以 D 16785
39 ( PARENTHESISCATEGORY 16666
40 — DASHCATEGORY 16400
41 ） PARENTHESISCATEGORY 16037
42 ) PARENTHESISCATEGORY 15383
43 跟 P 14860
44 著 Di 14313
45 她 Nh 14053
46 因為 Cbb 13466
47 次 Nf 13462
48 大家 Nh 13311
49 好 VH 13173
50 真的 D 12655
51 看 VC 12612
52 的 T 12334
53 那 Nep 11579
54 上 Ncd 11502
55 知道 VK 11115
56 覺得 VK 11043
57 所以 Cbb 11017
58 被 P 10927
59 我們 Nh 10806
60 嗎 T 10511
61 讓 VL 10505
62 能 D 10353
63 沒 D 9750
64 什麼 Nep 9458
65 後 Ng 9090
66 再 D 8849
67 又 D 8535
68 兩 Neu 8447
69 過 Di 8369
70 天 Nf 8249
71 只 Da 8117
72 來 D 8076
73 才 Da 8011
74 喜歡 VK 8001
75 去 D 7873
76 種 Nf 7870
77 還是 D 7831
78 太 Dfa 7646
79 做 VC 7582
80 每 Nes 7542
81 時候 Na 7460
82 … ETCCATEGORY 7374
83 買 VC 7307
84 到 P 7278
85 如果 Cbb 7265
86 對 P 7013
87 這樣 VH 6938
88 大 VH 6930
89 把 P 6923
90 看到 VE 6879
91 沒有 VJ 6842
92 啊 T 6571
93 最 Dfa 6539
94 時間 Na 6467
95 用 P 6467
96 小 VH 6439
97 比較 Dfa 6409
98 一下 Nd 6376
99 然後 D 6307
100 和 Caa 6291