4

I'm trying to use Japanese language tokenizers like mecab, kakasi, kuromoji (the ipadic variant) to help me read Japanese texts.

When they segment sentences that contain an isolated 風 like in the examples below, aforementioned tools all suggest the かぜ (wind) reading, although I - an advanced Japanese learner - would naturally think フウ (manner).

Examples:

  • そんな風に色々考えて見ると、...
  • ざっとこう云った風なのだ。
  • そこで私はどういう風に切り出したものかと迷いながら始めた。
  • 警察ではあれをどんな風に解釈したか知りませんが、...
  • 僕はこういう風に考えるのですよ。

The native speaker I consulted agrees that the reading should be フウ in all these cases, although oftentimes, one could contrive a context where the かぜ reading would be the correct one, but the likelihood of such a context would be rather low.

So my question: Why do tokenizers do that? Am I and the native speaker biased in a different way than the tokenizers? Who is "right"? By "right" I mean choosing the most likely reading.

N.B. You can tell mecab to give you more than candidate, and when you do so, the フウ reading will show up second or third candidate, depending on the sentence.

2
  • It's probably not just a question of the reading. 風 as カゼ is listed in the IPA dictionary (for example), in the Noun*.csv files, and as フウ only in the Suffix.csv file. It seems the solver favours picks the Noun category.
    – muru
    Oct 21, 2019 at 10:42
  • I'm a bit curious and confused if this question is valid on the main Q&A site or on the meta. That said, the tokenizer is based on an algorithm, and I think some tokenizers are open source, so it can be analyzed how they do it. See also What are some Japanese tokenizers or tokenization strategies?, only Yahoo形態素解析 identifies 風 as a suffix in some cases.
    – Andrew T.
    Oct 21, 2019 at 16:47

1 Answer 1

Reset to default
1

I think it depends on model of tokenizer. Juman++ has given me 風{ふう} for the first candidate.

そんな そんな そんな 指示詞 7 連体詞形態指示詞 2 * 0 * 0 NIL

風 ふう 風 名詞 6 普通名詞 1 * 0 * 0 "代表表記:風/ふう 漢字読み:音 カテゴリ:抽象物" @ 風 かぜ 風 名詞 6 普通名詞 1 * 0 * 0 "代表表記:風/かぜ 漢字読み:訓 カテゴリ:抽象物"

に に に 助詞 9 格助詞 1 * 0 * 0 NIL

色々 いろいろ 色々 副詞 8 * 0 * 0 * 0 "代表表記:色々/いろいろ"

考えて かんがえて 考える 動詞 2 * 0 母音動詞 1 タ系連用テ形 14 "代表表記:考える/かんがえる 補文ト"

見る みる 見る 動詞 2 * 0 母音動詞 1 基本形 2 "代表表記:見る/みる 補文ト 自他動詞:自:見える/みえる"

と と と 助詞 9 格助詞 1 * 0 * 0 NIL

、 、 、 特殊 1 読点 2 * 0 * 0 NIL

.. .. .. 未定義語 15 その他 1 * 0 * 0 "品詞推定:名詞"

. てん . 名詞 6 数詞 7 * 0 * 0 "カテゴリ:数量"

EOS

ざっと ざっと ざっと 副詞 8 * 0 * 0 * 0 "代表表記:ざっと/ざっと 数量修飾"

こう こう こう 指示詞 7 副詞形態指示詞 3 * 0 * 0 NIL

云った いった 云う 動詞 2 * 0 子音動詞ワ行 12 タ形 10 "代表表記:言う/いう 補文ト"

風 ふう 風 名詞 6 普通名詞 1 * 0 * 0 "代表表記:風/ふう 漢字読み:音 カテゴリ:抽象物" @ 風 かぜ 風 名詞 6 普通名詞 1 * 0 * 0 "代表表記:風/かぜ 漢字読み:訓 カテゴリ:抽象物"

な な だ 判定詞 4 * 0 判定詞 25 ダ列基本連体形 3 NIL

のだ のだ のだ 助動詞 5 * 0 ナ形容詞 21 基本形 2 NIL

。 。 。 特殊 1 句点 1 * 0 * 0 NIL

EOS

The explanation of the software. 『　JUMAN++は言語モデルを利用した高性能な形態素解析システムです．言語モデルとして Recurrent Neural Network Language Model(RNNLM) を用いることにより，単語の並びの意味的な自然さを考慮した解析を行います．それにより JUMAN，MeCab に比べ大きく性能が向上しています．文法・辞書・出力フォーマット等は JUMAN から引き継いだものを利用しています．本システムは CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援により開発されました．』

参照 : 新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話

You must log in to answer this question.

Not the answer you're looking for? Browse other questions tagged .