MeCab(和布蕪/めかぶ) は 京都大学情報学研究科-日本電信電話株式会社コミュニケーション科学基礎研究所 共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです。MeCab: Yet Another Part-of-Speech and Morphological Analy…

テキストファイルに含まれる単語やキーワードの出現回数をカウントするために「Perl + Kakasi」でやってみました。 Perlのスクリプトの部分は「【perlメモ】KAKASIを使った文章のわかち書き - KUMA TYPE」を参考にさせていただきました。(大変感謝です。) Ka…

tsvファイルの先頭2列が同じ値の行数をカウントするPerlスクリプトです。例えば、 元ファイル 列A 列B hogehoge 12345 foobar 99999 hogehoge 12345 を、 出力されるファイル 列A 列B 行数 hogehoge 12345 2 foobar 99999 1 みたいにするものです。今回はか…

HTML等をgitで管理していると、サーバーへのアップロード用のファイルとしてコミットした差分のファイルだけを抽出したい事があります。 「git diff」で差分の表示は出来るのですが、ディレクトリ構造を保持した状態でのファイル抽出みたいな事は出来ないよ…

特定のディレクトリの中から特定のピクセル数以上の画像ファイルを抽出&リストアップするperlスクリプトです。 WEBサイト等でドキュメントルート以下の画像サイズを知りたいときや、○○ピクセル以上のサイズの画像を抜き出して画像サイズを変更する場合等に使…

csvファイルやtsvファイルでデータ作成をする場合、過去に作ったファイルと新しいファイルとの差分だけを抽出したファイルを作成したいことがあります。 ※私の場合、DBに登録するデータをtsvで相手先に2回に分けて送る必要があり、2回目は差分だけのデータを…

前回のエントリでは、csvファイルのある列を境にしてのファイル分割をしましたが、 今回は逆に2つに分かれているファイルを1つにマージする処理をPerlで書いてみました。 ※ハッキリ言って、たいした内容じゃないです。前回のエントリ：PerlでCSVファイルやTS…

csvファイルのある列を境にしてファイル分割が必要だったのでPerlで書いてみました。 今回やりたかった事としては、以下のhoge.csvからfoo.csvとbar.csvを生成するというものです。 データサンプル hoge.csv(元ファイル) NAME AGE ADDRESS MAIL TEL Emacs君 …

あるディレクトリ以下のファイルの文字列を一括置換する方法。 find,xargs,perlで一括置換 カレントディレクトリ以下のテキストファイル(*.txt)の文字列"hoge"を"foo"に置き換えする場合。 $ find . -type f -name '*.txt' | xargs perl -i -pe 's/hoge/foo/…

Perlでirbのような使い方をしたかったので、perlshをインストールしてみました。 perlshはCPANで提供されています。(Term::ReadLine::Gnu)1. libreadline5-dev libncurses5-devのインストール ・perlshのインストール前にlibreadline5-dev libncurses5-devを…