Lỗi lặp vô hạn khi dùng tách từ
tuan3w opened this issue · 6 comments
Em chào thầy!
Em cảm ơn thầy vì tool xử lý tiếng việt hữu ích này. Gần đây em sử dụng vntokenizer cho bài toán công ty mình. Tuy nhiên em nhận thấy với một số đầu vào nhất định, bản tokenizer này rơi vào tình trạng chạy lặp mãi không dừng.
Em gửi mẫu văn bản gặp tình trạng này:
Nguyên lý thẩm định giáNguyên lý thẩm định giáTài liệu Luận văn Sách Download /5 Báo cáo Báo cáo tài liệu này Bình luận Nguyên lý thẩm định giá Upload: KhoaTranAnh.dokovn | Ngày: 13/12/2012 | Lượt xem: 358 | Tải về: 3 Chuyên mục: Kinh tế » Kế Toán - Kiểm Toán Nguyên lý thẩm định giá Đánh dấu chủ đề Tag: biệt thự hoàng quân biệt thự nguyên lý thẩm định giá lô đất bài tập tên môn học mã môn học ngôi nhà cách nhau thẩm định Nguyên tắc thẩm định giá Nguyên lí thẩm định giá Các nguyên tắc thẩm định giá Nguyên lý cơ bản của thẩm định Nguyên tắc và phương pháp thẩm định giá Tiêu chuẩn thẩm định giá Quy trình thẩm định giá Báo cáo thẩm định giá Cơ sở thẩm định giá Thẩm định giá bất động sản Bài tập về thẩm định giá Các phương pháp thẩm định giá Pháp luật về thẩm định giá Tài liệu về thẩm định giá Giáo trình phương pháp thẩm định giá Các phương pháp thẩm định giá bất động sản Thẩm định và đánh giá rủi ro tín dụng Giáo trình luật kinh tế trong thẩm định giá Hệ thống tiêu chuẩn thẩm định giá việt nam Phân tích và thẩm định giá chứng khoán
Rất mong thầy sớm khắc phục lỗi này cho tokenizer. Em cảm ơn thầy.
Dear em,
Mình chạy thử Vitk trên mẫu dữ liệu em gửi thì thấy chạy tốt mà, không có lỗi gì hết. Kết qủa thu được:
Nguyên_lí thẩm_định giáNguyên lí thẩm_định giáTài liệu Luận_văn Sách_Download / 5 Báo_cáo Báo_cáo tài_liệu này Bình_luận Nguyên_lí thẩm định_giá Upload : KhoaTranAnh.dokovn | Ngày : 13/12/2012 | Lượt xem : 358 | Tải_về : 3 Chuyên_mục : Kinh_tế » Kế_Toán - Kiểm_Toán_Nguyên_lí thẩm định_giá Đánh_dấu chủ_đề Tag : biệt_thự hoàng quân biệt_thự nguyên_lí thẩm định_giá lô đất bài_tập tên môn_học mã môn_học ngôi nhà cách nhau thẩm_định Nguyên_tắc thẩm định_giá Nguyên_lí thẩm định_giá Các nguyên_tắc thẩm định_giá Nguyên_lí cơ_bản của thẩm_định Nguyên_tắc và phương_pháp thẩm định_giá Tiêu_chuẩn thẩm định_giá Quy_trình thẩm định_giá Báo_cáo thẩm định_giá Cơ_sở thẩm định_giá Thẩm_định giá bất_động_sản Bài_tập về thẩm định_giá Các phương_pháp thẩm định_giá Pháp_luật về thẩm định_giá Tài_liệu về thẩm định_giá Giáo_trình phương_pháp thẩm định_giá Các phương_pháp thẩm định_giá bất_động_sản Thẩm_định và đánh_giá rủi_ro tín_dụng Giáo_trình luật kinh_tế trong thẩm định_giá Hệ_thống tiêu_chuẩn thẩm định_giá việt nam Phân_tích và thẩm định_giá chứng_khoán
Em đang chạy Vitk hay chạy chương trình vnTokenizer cũ?
Phương
Đoạn dữ liệu mẫu ở trên của em có vẻ cũng chưa phải là dữ liệu "sạch" lắm; nhiều cụm bị lặp hoặc dính chữ, chẳng hạn "giáNguyên".
Em chào thầy.
Em chạy một số bản của vntokenizer nên gửi nhầm văn bản mẫu. Văn bản trên là do khi em chạy với một phiên bản của epilab https://bitbucket.org/epilab/vnlp/wiki/Home
Em gửi lại bản mẫu lỗi Vitk:
[SBS2013] Ngọn gió đông năm ấy: Song Hye Kyo, Jo In Sung | Vietsub Tập 16 END.[SBS 2013] Ngọn gió đông năm ấy: Song Hye Kyo,Jo In Sung|Vietsub Tập 16 END Rain_Smile^_^ gửi lúc 7-3-2013 05:07 AGB: 8th episode Nhìn cái rating thấy nhà mình vẫn đứng nhất tuy vui nhưng buồn thì nhiều hơn Vui vì nhà mình vẫn đứng nhất, không uổng một bộ phim hay Vui vì dù cạnh tranh với một loạt ông lớn và ông nhỡ cùng thời điểm phát sóng nhưng phim vẫn nhất Nhưng buồn vì rating có nhất nhưng không phải cao (dù tất cả đều không cao) {:427:} Giá như phim chiếu vào một thời điểm khác Giá như không phải chống chọi với những đối thủ khắc nghiệt như thế này Lúc đó chắc chắn ratinh sẽ là 20, 30 và có thể hơn nữa Tuy chỉ là con số nhưng cũng khích lệ được rất nhiều. Giá như thiên thời địa lợi nhân hoà thì .................................{:408:}
Ok em. Mình đã test thử và confirm lỗi này nhé. Nguyên nhân đánh giá sơ bộ là Vitk không xử lí được cụm kí tự "bất thường":
.................................{:408:}
Có một số cách để fix lỗi đơn giản này. Mình đang tính xem nên fix bằng cách nào cho nó tổng quát và triệt để nhất, không những cho lỗi cụ thể này mà còn các lỗi tương tự có thể có chẳng hạn.
Nếu em thấy có thêm những trường hợp lỗi khác thì report nhé. Cảm ơn em.
Phương
Dear em,
Em xem thêm về lỗi này và cách chữa nó ở đây nhé, một bạn khác cũng report lỗi tương tự:
Phương
Em chào thầy ạ, em có dùng có dùng cái vn.tik và làm theo hướng dẫn nhưng em import vào netbean và eclipse và chạy thử nhưng nó không chạy. Thầy có thể giải đáp giúp em được không ạ. Em cảm ơn thầy