新語に対応したMeCabの辞書mecab-ipadic-NEologdを使ってみる
日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …
エンジニアの備忘録的ブログ
日々生まれる新語に対応してくれるMeCabの辞書mecab-ipadic-NEologdを使ってみました。 日本語で自然言語処理をする時は形態素解析がほぼ必要になってきますが、従来からあるMeCabの …
MeCab を使って漢字が混在した文字を50音順に分類するメモです。 漢字が混在する人名を50音順に並べたいという事で MeCab を使って人名索引データを作成する事にしました。 例えば「山田太郎」な …
MeCab のメモ書き。 どうしても MeCab を使わないと出来ない壁にぶち当たったので久しぶりセットアップ。 が、ちょっとメモがアレすぎて思い出すのに時間がかかったのでちゃんとメモをしておこうと思 …
MeCab の形態要素解析、マルコフ連鎖に関する記事です。 前回までの記事で、形態要素解析とマルコフ連鎖に使う辞書の作成について書きましたが、今回はいよいよマルコフ連鎖で文章を生成してみたいと思います …
MeCab で形態要素解析に引き続き、今回は分かち書きした単語を元にマルコフ連鎖というものをやってみたいと思います。 ただ、マルコフ連鎖の仕組みがイマイチ理解できなかったので、今回はマルコフ連鎖とは何 …
MeCab で形態要素解析するメモ書きです。 今回は、Perl スクリプト内からも MeCab を使うためモジュールを使ってみたいと思います。 調べた所、Text::MeCab というモジュールが使い …