Is there any open-source tokenizer of Japanese sentences? For example (according to this answer)
住宅地域における本機の使用は有害な電波妨害を引き起こすことがあり、その場合ユーザーは自己負担で電波妨害の問題を解決しなければなりません。
Becomes something like
住宅地域 に おける 本機 の 使用 は 有害な 電波妨害 を 引き起こす こと が あり、 その 場合 ユーザー は 自己負担 で 電波妨害 の 問題 を 解決 しなければなりません。
[茶筅]{Chasen}、[案山子]{kakasi}、MeCab([和布蕪]{めかぶ}) are famous. For the details of each softwares, please Google them.
To cite their website:
Kuromoji supports standard morphological analysis features such as
- Word segmentation - segmenting text into words (morphemes)
- Part-of-speech tagging - assign word-categories (nouns, verbs, particles, adjectives, etc.)
- Lemmatization - get dictionary forms for inflected verbs and adjectives Readings - extract readings for kanji
