fukushimuのメモ帳

[mecab][Text::MeCab] 謎の文字化け

Text::MeCabが謎の文字化けして、まぁ一応直ったのでメモ。
原因はわからずじまい。

ある日（というか今日）何気にText::MeCabを動かすと、あれれ・・

彼
��

�態
�
��

謎の文字化け発症・・。
単語と単語の切れ目がゴミと化しています。
前はフツーに動いていたのにぃ！
だからスクリプトの文字コード周りではないのかも。
これはターミナル上でのMySQLで、日本語を入力→削除で出てくるゴミに似ている気がする。

とりあえずcpanでText::MeCabをアップグレードするも直らず。
ふと調べると、mecab本体が２個所にある・・。
一方が正常で一方が文字化ける。
Text::MeCabインストール時に指定するパスは化けるほう。

ということでインストールしなおしてmecabのパスを正常な方に直すと・・・

彼
は
変態
です

うひょーー！
見事なおりました！！
しかし化ける方はなんなんだ、いつからおるんか、いつ正常なやつと入れ替わったのかはわからず。

[vine][nvidia] Vine5.2でデュアルディスプレイ

ずっと避けてたデュアルディスプレイにしてみました。

NVIDIA純正ドライバ、インストール手順

こちらのサイトを参考にしました。
やってみると意外と簡単。
前挫折したときのアレはなんだったんだろう・・

基本的な流れは

ドライバのダウンロード　→　CUIでインストール　→　GUIで「nvidia-settings」で2画面目の設定

です。

詳しくは上のサイトを見ましょう。
※CUIでサイトを参考にしながらできないので上のサイトをプリントアウトしてからが無難かも・・

[vine][インストール][firefox] Adobe Reader のプラグインをインストール

firefox上でAdobe Readerが開けるようにします。OSはVine5.1。

まずはAdobe Readerをインストール。

こちら（http://get.adobe.com/jp/reader/otherversions/）からrpmをダウンロードして入れました。

$ su
パスワード:
# rpm -ivh AdbeRdr9.4-1_i486linux_jpn.rpm
準備中... ########################################### [100%]
1:AdobeReader_jpn ########################################### [100%]

これでインストール終了。pdfをAdobe Readerで開けるようになりました。

つぎにプラグインをインストール。といっても、ダウンロードしたファイル内の"nppdf.so"というファイルをプラグインディレクトリにコピーするだけです。こちらを参考にしました。

"nppdf.so"はrpmを解凍すると、"Reader9/Browser/intellinux/"にありました。また、僕の場合mozillaのプラグインディレクトリは"/usr/lib/mozilla/plugins/"です。プラグインディレクトリになぜか既に"npdf.so"があったので（汗）一応古いファイルをコピーして保存したあとに新しいファイルをコピーしました。

[root@localhost Adobe]# cp /usr/lib/mozilla/plugins/nppdf.so /usr/lib/mozilla/plugins/cp_nppdf.so
[root@localhost Adobe]# cp Reader9/Browser/intellinux/nppdf.so /usr/lib/mozilla/plugins/
cp: `/usr/lib/mozilla/plugins/nppdf.so' を上書きしてもよろしいですか(yes/no)? yes
[root@localhost Adobe]#

これで無事firefox上でpdfファイルが開けました。あ、でも1回目開いた時firefoxが強制終了しました（汗）

以上です。

[追記]
~~試しにnppdf.soを削除してみたら、普通にfirefox上でpdfを開けました・・。~~
やっぱりnppdf.soがないとだめでした。

[mecab] Text::MeCabからmecabのユーザ辞書を使う [Text::MeCab]

perlでText::MeCabを使っていて、「なんか変だなー。みょ〜〜に、変だな〜・・」と稲川淳二ばりに思っていたら、作成したはずのmecabのユーザ辞書がText::MeCabに適応されていませんでした。人生オワタ、と嘆いていると、ザッツさんがCPANを見ればといってくれたので、見てみると、あーなるほど普通に書いてある。ということで、Text::MeCabに自分で作成したユーザ辞書を適応させる方法です（CPAN見れば書くまでもありませんが．．．）。

use Text::MeCab;
use utf8;
binmode(STDOUT, ":raw :utf8");
binmode(STDIN, ":raw :utf8");
use Encode;

my $userdic ='../mecab_dic/wikipedia.dic, ../mecab_dic/hatena_keyword.dic';　 # <- ユーザ辞書パス（複数OK）
my $m = Text::MeCab->new({ # <- ここで辞書のパスを記載
    userdic    => $userdic,
});
my $str = "千と千尋の神隠し";
my $n = $m->parse($str);
do{
    printf("%s\t%s\t%s\n",
           decode('utf8' ,$n->surface),          # 表層
           decode('utf8' ,$n->feature),          # 現在の品詞
           $n->cost,           # その形態素までのコスト
           );
}while ($n = $n->next)

実行結果

千と千尋の神隠し名詞,固有名詞,*,*,*,*,千と千尋の神隠し,*,*,wikipedia_word, -4034
BOS/EOS,*,*,*,*,*,*,*,* -4468
Use of uninitialized value in printf at /home/akito/workspace/長岡さん/source/OLD_source/test_mecab.pl line 14.

できました。まあ、ちゃんとCPANなりなんなりを読めと言うことですね。

[mecab] mecab辞書にwikipediaのタイトルリストを追加 [wikipedia][はてなキーワード]

mecabにwikipediaのタイトルの単語を追加します。

ググると、既に様々な人がされているので、参考にさせて頂きました。また、本家のサイトで詳しく説明されています。
csvファイルの作成にperlを使いました。

以下が作業の流れです。

１）wikipediaのデータをダウンロード
２）ダウンロードしたデータからユーザ辞書のCSVファイルを作成
３）CSVファイルを辞書ファイル（.dic）へ変換

wikipediaのタイトルを辞書に追加すると

$ mecab
千と千尋の神隠し
千    名詞,数,*,*,*,*,千,セン,セン
と    助詞,格助詞,引用,*,*,*,と,ト,ト
千尋    名詞,一般,*,*,*,*,千尋,チヒロ,チヒロ
の    助詞,連体化,*,*,*,*,の,ノ,ノ
神隠し    名詞,一般,*,*,*,*,神隠し,カミガクシ,カミガクシ
EOS

これが

$ mecab
千と千尋の神隠し
千と千尋の神隠し名詞,固有名詞,*,*,*,*,千と千尋の神隠し,*,*,wikipedia_word,
EOS

こうなってくれます。つまり、wikipediaに登録されている項目をmecabが判別してくれるのですね。

では本題。

１）　まず、wikipediaのタイトルリスト（jawiki-latest-all-titles-in-ns0.gz）をこちら（http://download.wikimedia.org/jawiki/latest/）からダウンロード。適当なディレクトリ（home/foo/bar）に解凍します。

２）　次に、ダウンロードしたファイルから辞書へ変換するためのCSVファイルを作成します。ファイルの中身を見るとこのようになっていました。

千ちゃんの幸せラジオドーム
千とせ
千と千尋
千と千尋の神隠し
千と千尋の神隠し_サウンドトラック
千なり
千のナイフ

これをこのようなCSV形式に整形し、ファイルに保存します

工藤,1223,1223,6058,名詞,固有名詞,人名,名,*,*,くどう,クドウ,クドウ

詳しくは公式サイトにのっていますのでそちらを。なお、自分お好きな情報をCSVが許す範囲で追加できるとのことなので、先人に習って、最後にwikipedia_wordを追加します。 CSVへの変換はこちらのサイトのperlスクリプトを参考にさせて頂きました（少し改変しました。）。

#!/usr/bin/perl

use strict;
use warnings;
use utf8;
~~binmode(STDOUT, ":utf8");~~
use encoding 'utf8';

my $file1 = "jawiki-latest-all-titles-in-ns0";
my $file2 = "wikipedia.csv";

open(IN, "$file1");
open(OUT, ">$file2");
binmode OUT, ":utf8";        ##    <- こっちが正しい

for(<IN>) {
chomp($_);
print $_."\n";

## いらない単語をとばす
next if $_ =~ /^\./;
next if $_ =~ /(曖昧さの回避)/;
next if $_ =~ /^[0-9]{1,100}$/;
next if $_ =~ /[0-9]{4}./;

if (length($_) > 3) {
    print OUT "$_,0,0,".max(-36000,-400 * (length^1.5)).",名詞,固有名詞,*,*,*,*,$_,*,*,wikipedia_word,\n";
}
}

sub max {
    my $comp = shift @_;
    my $val = shift @_;
    my $max = $comp;
    if ( $comp <= $val ) {
      $max = $val;
    }
    return int($max);
}

「＃いらない語をとばす」のところで自分がいらないなと思った単語をとばしましょう。僕は.(ドット)から始まる後や（曖昧さの回避）の単語、数字のみの単語などを省きました。また、CSVファイルに書き込む際に3文字以下の単語は省きました。（lengthでuse utf8をしないと日本語などのユニコード文字の長さがちゃんとはかれないようです。）

これでCSVファイルができあがリました。

３）CSVファイルを辞書ファイル（.dic）へ変換します。CSVファイルのあるディレクトリで、以下のコマンドを入力。

$ /usr/local/libexec/mecab/mecab-dict-index -d /usr/local/lib/mecab/dic/ipadic \
> -u wikipedia.dic -f utf8 -t utf8 wikipedia.csv
reading wikipedia.csv ... 970539
emitting double-array: 100% |###########################################|

done!

できました。

最後に/usr/local/etc/mecabrcに以下を追加。

userdic = /home/foo/bar/foo.dic

これで終了です。この調子ではてなキーワードもいれてみようと思います。

--2011-01-14　追記--

はてなキーワードリストをこちら（http://d.hatena.ne.jp/hatenadiary/20060922/1158908401）からダウンロードして、辞書に登録しました。
はてなキーワードにはふりがながあるものもあるので、スクリプトを少し改良しました。

#!/usr/bin/perl

use strict;
use warnings;
use utf8;
use encoding 'utf8';

#my ($file1,$file2) = @ARGV;

my $in = "hatena.csv";
my $ou = "hatena_keyword2.csv";

open(IN, "$in");
open(OUT, ">$ou");
binmode OUT, ":utf8";

for(<IN>) {
chomp($_);

######## for hatena                      <-　　　ここを追加
$_ =~ s/(.*?)\t(.*?)/$2/;
my $yomi = $1;
$yomi = '*' if $yomi eq '';

print $_."\n";
next if $_ =~ /^\./;
next if $_ =~ /(曖昧さの回避)/;
next if $_ =~ /^[0-9]{1,100}$/;
next if $_ =~ /[0-9]{4}./;

if (length($_) > 1) {
#    print OUT "$_,0,0,".max(-36000,-400 * (length^1.5)).",名詞,固有名詞,*,*,*,*,$_,*,*,wikipedia_word,\n";
    print OUT "$_,0,0,".max(-36000,-400 * (length^1.5)).",名詞,固有名詞,key_word,key_word,*,*,$yomi,*,*,hatena_word,\n";
}
}

sub max {
    my $comp = shift @_;
    my $val = shift @_;
    my $max = $comp;
    if ( $comp <= $val ) {
      $max = $val;
    }
    return int($max);
}

変換後の中身

千と千尋の神隠し,0,0,-3600,名詞,固有名詞,key_word,key_word,*,*,せんとちひろのかみかくし,*,*,hatena_word,

しかし、何と言うか、はてなキーワードはwikipediaと比べてなんだか世俗的、というかフォークソノミーちっく(死語！？)ですね。それぞれの単語追加の際のポリシーみたいなものがあるのでしょうかね。

[anthy] ローマ字入力モードとかな入力の変換 [メモ][ちにないら][うくちたつ]

たまにeclipseで「あいうえお」って入力したつもりが「うくちたつ」ってなる病気にかかるんだよな〜、とのんきに思っていたわけですが、プログラムを走らせっぱなしの状態で停止するわけにいかなくなったので、ググることに。

Ctr + /

これで文字入力モードが切り替わるんですね。
つまり、eclipse上で日本語入力モード時に「Ctr + /」でうっかりコメントアウトをしようものなら、すかさず入力モードが切り替わってしまうということですね。

はーすっきりした。

[mysql][perl] perlからmysqlを使用する

こちら（tech.bayashi.net/pdmemo/perl_dbi_mysql.html）を参考にしました。

perlからmysqlを使用するためにはDBIとDBDが必要とのことです。

DBIは既に入っていたのでDBD::mysqlというモジュールをcpanでインストール。

[guest@localhost ~]$ su
パスワード:
[root@localhost akito]# cpan
...
cpan[1]> install DBD::mysql

...

/usr/bin/make install -- OK

ということで、DBD::mysqlが入りました。
つぎにこちら（http://rfs.jp/sb/perl/dpi/02.html）を参考に簡単なスクリプトを書いてみました。

use DBI;

# データソース
$d = 'DBI:mysql:mysql';
# ユーザ名
$u = 'root';
# パスワード
$p = 'パスワード';

# データベースへ接続
$dbh = DBI->connect($d, $u, $p);
@row = $dbh->selectrow_array(
"SELECT User FROM user"
);
print "@row"."\n" if @row;
$dbh->disconnect;

実行結果

root

できました。
今回は以上です。

[vine][mysql][tritonn] Tritonnをインストール

今更ながらテキストファイルに結果を書き出したりテキストから読み込んだりでのプログラムに限界を感じたのでMySQLをインストールした。

高速に日本語の全文検索ができるTritonnをいれる。

OSはVine5.1で、mecab0.98が既にはいっている。

まずここ（http://sourceforge.jp/projects/tritonn/releases/）から以下のrpmファイルをダウンロード。

・MySQL-client-5.0.87-tritonn.1.0.12a.i386.rpm     369.5 KB     823
・MySQL-devel-5.0.87-tritonn.1.0.12a.i386.rpm     7.4 MB     603
・MySQL-server-5.0.87-tritonn.1.0.12a.i386.rpm     16.9 MB     747
・MySQL-shared-5.0.87-tritonn.1.0.12a.i386.rpm     3.6 MB     604
・mecab-0.98-tritonn.1.0.12a.i386.rpm     874.0 KB     693
・mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.i386.rpm     24.9 MB     665
・senna-1.1.4-tritonn.1.0.12a.i386.rpm

つぎにインストール。

[root@localhost ダウンロード]# rpm -ihv mecab-0.98-tritonn.1.0.12a.i386.rpm
準備中... ########################################### [100%]
パッケージ mecab-0.98-tritonn.1.0.12a.i386 は既にインストールされています。

そうですか…

[root@localhost ダウンロード]# rpm -ihv mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.i386.rpm
準備中...                ########################################### [100%]
   1:mecab-ipadic           ########################################### [100%]

^C
^C
[root@localhost ダウンロード]#
[root@localhost ダウンロード]# rpm -ihv mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.i386.rpm
準備中...                ########################################### [100%]
    パッケージ mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.i386 は既にインストールされています。

時間掛るなー。あれ、止まったかな。と思いきやインストールできてますとな。

あとはすんなり入りました。

[root@localhost ダウンロード]# rpm -ivh MySQL-shared-5.0.87-tritonn.1.0.12a.i386.rpm
[root@localhost ダウンロード]# rpm -ivh MySQL-client-5.0.87-tritonn.1.0.12a.i386.rpm
[root@localhost ダウンロード]# rpm -ivh MySQL-server-5.0.87-tritonn.1.0.12a.i386.rpm
[root@localhost ダウンロード]# rpm -ivh MySQL-devel-5.0.87-tritonn.1.0.12a.i386.rpm

つぎに、MySQLの初期設定。

[root@localhost ダウンロード]# /usr/bin/mysqladmin -u root password 'パスワード'
[root@localhost ダウンロード]# /usr/bin/mysqladmin -u root -h localhost.localdomain password 'パスワード'
/usr/bin/mysqladmin: connect to server at 'localhost.localdomain' failed
error: 'Access denied for user 'root'@'localhost' (using password: NO)'

アクセスがdeniedされましたね。一行目のrootのパスワードが早速適応されている様子。

[root@localhost ダウンロード]# /usr/bin/mysqladmin -u root -h localhost.localdomain password 'パスワード' -p
Enter password:

これで通りました。今更ですが日本語のフォルダ名はめんどいですねー…

[root@localhost ダウンロード]# mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 5
…

起動できました！
あとは初期に存在するユーザ名が空のIDをけしたり、ゲストアカウントを作ったりしましょう。

mysql> delete from mysql.user where user="";
…
Query OK, 2 rows affected (0.00 sec)

mysql> select user,host,password from mysql.user;
+------+-----------------------+-------------------------------------------+
| user | host                  | password                                  |
+------+-----------------------+-------------------------------------------+
| root | localhost             | 　　　　　　　　　　　　　 |
| root | localhost.localdomain |                                           |
| root | 127.0.0.1             |                                           |
+------+-----------------------+-------------------------------------------+
3 rows in set (0.00 sec)

今回は以上です。

[vine]MeCabと辞書をインストール[ipadic][naist-jdic]

Vine5.1にMySQLとtoritonnをインストールするついでに、MeCabの新しいバージョンを再インストールしました。あと、ipadicの辞書に加えてnaist-jdicもいれてみました。

今回のインストール

mecab 0.98.
mecab-ipadic-2.7.0-20070801
mecab-naist-jdic-0.6.3-20100801

synapticからいれると古いバージョンが入るのですね。なのでsynapticから古いのをアンインストールして、MeCabのページから本体とipadicをダウンロードした後、インストール。

tar zxf mecab-0.98.tar.gz
cd mecab-0.98
./configure --with-charset=utf8 \
make
su
make install

tar zxf mecab-ipadic-2.7.0-20070801.tar.gz
cd mecab-ipadic-2.7.0-20070801
./configure --with-charset=utf8
make
make install

なぜかipadicのmakeが通らない。`allはmakeできないだとかなんとか。無視してmake install したらこっちは通りました。（これでいいのか汗？）

引き続きnaist-jdicをこちらからダウンロードしてインストール。naist-jdicはこちらの記事によると

現在でもよく使用されている形態素解析用辞書 IPADIC に対して ICOT 条項をクリアするとともに表記ゆれ情報、複合語情報を付与した辞書です。

とのことです。

tar zxf mecab-naist-jdic-0.6.3-20100801.tar.gz
cd mecab-naist-jdic-0.6.3-20100801
./configure --with-charset=utf8
make
make install

これでMeCabと辞書が入りました。早速つかってみます。辞書は-dオプションで指定できます。（まず最初にいれたからか）デフォルトのipadic

[guest@localhost /]$ mecab
今日は晴れの日いい天気
今日    名詞,副詞可能,*,*,*,*,今日,キョウ,キョー
は    助詞,係助詞,*,*,*,*,は,ハ,ワ
晴れ    名詞,一般,*,*,*,*,晴れ,ハレ,ハレ
の    助詞,連体化,*,*,*,*,の,ノ,ノ
日    名詞,非自立,副詞可能,*,*,*,日,ヒ,ヒ
いい    形容詞,自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
天気    名詞,一般,*,*,*,*,天気,テンキ,テンキ
EOS

つづいてnaist-jdic。引数は辞書ディレクトリのパスです。

[guest@localhost /]$ mecab -d /usr/local/lib/mecab/dic/naist-jdic/
今日は晴れの日いい天気
今日    名詞,副詞可能,*,*,*,*,今日,キョウ,キョー,,
は    助詞,係助詞,*,*,*,*,は,ハ,ワ,,
晴れ    名詞,一般,*,*,*,*,晴れ,ハレ,ハレ,,
の    助詞,連体化,*,*,*,*,の,ノ,ノ,,
日    名詞,非自立,副詞可能,*,*,*,日,ヒ,ヒ,,
いい    動詞,自立,*,*,五段・ワ行促音便,連用形,いう,イイ,イイ,いい/云い/言い/謂い,
天気    名詞,一般,*,*,*,*,天気,テンキ,テンキ,,
EOS

んー「いい天気」の「いい」が動詞になってる（汗
まあいいでしょう。デフォルトの辞書は/usr/local/etc/mecabrcのdicdirを書き換えることで変更できます。

[root@localhost ダウンロード]# cat /usr/local/etc/mecabrc
;
; Configuration file of MeCab
;
; $Id: mecabrc.in,v 1.3 2006/05/29 15:36:08 taku-ku Exp $;
;

;dicdir = /usr/local/lib/mecab/dic/ipadic　　　　
dicdir = /usr/local/lib/mecab/dic/naist-jdic　　　←ここでっせ
; userdic = /home/foo/bar/user.dic

; output-format-type = wakati
; input-buffer-size = 8192

; node-format = %m\n
; bos-format = %S\n
; eos-format = EOS\n

以上です。

天草フルマラソン

なんだか秘密にしていたつもりが、とある経路で研究室内にバレてしまったようなので、この際日記に書こうと思います。

天草フルマラソンに出場してきました。ほんとはそんなことしてる場合じゃないんですがね。まぁ息抜きと言うことで。

--

当日は９時スタートなので、天草に前日入りしました。20日の朝11時ごろ熊本を出発し途中で昼食をとり、天草本渡に着いたのは確か3時ごろだったかな。受付を済ませ宿に荷物を置いた後、コースの下見をしました。

コースは海岸沿いの道が多く海がきれいでした。

思わず車を止めました。でも満ち潮で見れなかった。。。

こういう夕暮れ時の木のシルエットが好きです。

コースの下見が終ると、晩飯へ。「とらや」というお店でうにイクラ丼なんかをたべてしまいました。めちゃめちゃうまかった！

宿に戻り、近くの公園を軽くジョギング。そのあと宿周りを散歩しました。飲み屋街のようでしたが、お店が古いわりに廃れた感じがなく、古風で洒落たお店が多く、土曜ということもあって少々活気があり、とてもいい感じの街でした。

風呂に入るとこの日は早めの就寝。宿はかなり古い民宿のようなところでしたが、どことなく趣きがあっていい感じの宿でした。幽霊は出ませんでした。

--

11月21日、当日。あまり練習してないせいか全然緊張しませんでした。前日ビールを飲みすぎたせいか、トイレが近く、走ってる途中３回くらい行きました。スタートしてから半分地点までは我慢してほとんど小走りで力をセーブしていましたが、半分過ぎてから今日調子いいな～と思い、調子に乗ってしまいました。結果30キロ地点でばててしまい、ほとんど足が動かなくなってしまいました。それでも残りの10キロ、何とか踏ん張って走りつづけ、結果としては自己ベストを更新することができました。

こんなこと言うのは変ですが、がんばってる自分になんだか少し感動してしまい、残り２キロ地点から涙がでそうでしょうがありませんでした。こんなのは５年間フルマラソンに出場して初めてでした。

コースは先ほど書いたように海沿いで大変景色がよく気持ちいいコースだと思います。給水所やトイレも５キロごとにあり、よかったです。起伏もそれほどなく、タイムが出やすいのでは？と思いました。

温泉に入った後、帰路へ。天草５橋のあたりでかなりの渋滞にあいました。島ということもあり、コレばっかりはしょうがないのでしょうか。

最後に今回の反省。
・やはりビールはマラソンの大敵
・でも旅行先でのビールは格別
・折り返し地点からのラストスパートは自殺行為
以上です。

Greased Lightbox

→←+-↻

読み込み中

クリックでキャンセルします

画像が存在しません