統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
テキストマイニングのための機械学習超入門 一夜目 - あんちべ！
テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい（けれど高度な数学は厳しい…）」というビジネスマンや学生さんです。数式は出来る限り「使います」。使わないと意味するところは理解できません。ただし、愚直に数式の一行一行を手計算で順を追って解いていきますし、必要な数学知識はその都度説明し、前提知識は求めませんので「数式出てくるの？じゃあついていけないのでは…」という心配は不要です。この記事の特徴は「機械学習の手法をやたら冗長な数式と過剰なまでの例を用いて、くどくどと同じ話を何度も説明する」ことです。 筆者ことあんちべは純文系出身で、数学や統計学、プログラミングは全然学生時代やってこなかった上、業務でも機械学習を使うことなんて皆無、それどころか機械学習なんて言葉は就職してからよう
退職しました - あんちべ！
昨日2011年10月31日をもちまして、約２年半お世話になった金融機関を退職しました。退職の旨を周囲にお伝えすると、驚きの声が…全く上がらず、「あんちべは５年もここに居ないだろうなってずっと思ってた」と皆さんから言われました。それどころか「なんでお前初めからベンチャー行かずに、こんな堅苦しい大企業へ来たんだ？」と問われること多数（どころか十中八九聞かれる始末…）。現職を選んだのには理由がありました。それは高校時代に遡ります。 「モノづくりをして、技術で皆さんの生活をハッピーにしたい！」という思いから、進学校ではなく、某工業大学付属高校へ入学しました。技術を学ぶのは楽しく、そのまま技術屋になろうと考えていました…が、地元の工場見学で社会人と接するにつれ、徐々に「現場でどんなに頑張っても、マネジメントやそもそもの経営が上手くいってないと詮無いのでは…」という思いが募り、進路に悩みました。 そん
参考資料 - あんちべ！
私が統計やプログラミングを学んだ時、特に有用だった無料のWeb資料を御紹介致します。 本当はもっと数あったのですが、失念したモノも多く、これを機にメモとして残しておきます。 ここで御紹介しているモノは全て日本語で平易に書かれているものです。是非御参照下さい。 ・統計学 統計学講義ノート 小波秀雄. April, 2009 統計学概論 あるいは大統計大曼荼羅 ・R（機械学習、テキストマイニング） R 金明哲 ・言語処理、機械学習 超高速テキスト処理のためのアルゴリズムとデータ構造 統計的機械学習入門 統計的機械学習入門 Python による日本語自然言語処理 ・プログラミング C# によるプログラミング入門 究極のC#プログラミング マンガで分かる JavaScriptプログラミング講座 楽しいプログラミング— オブジェクト指向言語Ruby を使って—小波秀雄 April 2009 Ruby
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
