HadoopStreaming で xml ファイルを扱う方法の解説です． この記事では，しろかい！のRSSフィードから <title>~</title> を抽出することを目標とします． また，言語は Python を使用します． 実装にあたっては以下の記事を参考にしました（英語です）． http://davidvhill.com/article/processing-xml-with-hadoop-streaming RSSフィードを取得してHDFSに転送 $ wget http://shirokai.hatenablog.com/feed -O feed.xml $ hadoop fs -put feed.xml mapper.py <entry>~</entry> 間をまとめた後，xml をパースして <title>~</title> を出力します． #!/usr/bin/env p

HadoopStreaming を 使って Python で Hadoop を動かす方法です． Mapper と Reducer は通常 Java で記述しなければいけませんが，HadoopStreaming を使えば Python などの他の言語で書けるので実装がとても楽になります！ HadoopStreaming とは？ Mapper と Reducer のやり取りを標準入出力を介することで，他のプログラミング言語からも Hadoop (MapReduce) を利用できるようにする仕組みです． 標準入出力さえ扱えれば基本的にどんな言語でも構わないので，Python だけでなく Ruby, Perl, シェルスクリプト等を使って Mapper と Reducer を実装することができます． 詳しい説明は以下をどうぞ！ Hadoop Streamingメモ(Hishidama's Hado

LIBLINEARで cross validation (クロスバリデーション, 交差検定) を行う時は，評価指標として Accuracy が用いられます．しかし，用途によってはF 値など，他の指標を使いたい時もあるかと思います． というわけで，本記事では LIBLINEAR の cross validation に使う評価尺度を変更する方法を紹介します． 実は公式サイトに書いている！？ 公式サイトの以下のページに，評価尺度を変更する方法が書かれているんです． と言っても英語なので，以下に日本語で手順を示しておきます． 評価尺度の変更方法 LIBLINEAR をインストールしたディレクトリ (恐らく liblinear-2.01/ とかだと思います) 上で実行して下さい． 必要なファイルのDL 必要なファイル (3つ) をダウンロードします． $ wget http://www.csie.

LIBLINEAR を Python から使う方法を解説します． 基本的な学習と予測の方法はもちろんですが，LIBLINEAR がサポートするロジスティック回帰では予測値の確率を得ることもできます．これを Python のコードから取得する方法も紹介します． インストール LIBLINEAR をインストールしたディレクトリ (例：liblinear-2.01/) 上で，以下のコマンドを実行するだけです． $ make lib これにより liblinear.so.3 というファイルが作成されます． これで Python から LIBLINEAR を使う準備ができました． 使い方 詳しい使い方は liblinear-2.01/python/README に書かれています． 以下では基本的な使い方に絞って説明します． 予めコードの冒頭で LIBLINEAR の Python用のモジュールをイン

ロジスティック回帰を使って簡単に多クラス分類ができるライブラリ「LIBLINEAR」のインストール方法と，基本的な2つのコマンドである train と predict (学習と予測) の使い方のまとめです． LIBLINEAR は線形分類に特化しており，計算が非常に高速です． (データが線形分離可能かは予め調べておきましょう) インストール Mac 及び Linux系OS へのインストール方法です． 2015/9/8 時点での最新版である ver.2.01 をインストールします． ターミナルを開き，任意のディレクトリで以下のコマンドを実行します． $ wget 'http://www.csie.ntu.edu.tw/~cjlin/cgi-bin/liblinear.cgi?+http://www.csie.ntu.edu.tw/~cjlin/liblinear+tar.gz' -O lib

自然言語処理ライブラリ「Stanford CoreNLP」を Python から使えるようにするためのインストール方法と，実際の使い方をまとめました． Stanford CoreNLP とは？ Stanford CoreNLPとは，英語をはじめとしたテキストの自然言語処理（NLP）用のライブラリです． 品詞タグ付け，固有表現抽出，構文解析など，NLP に一通りの機能を備えています． 英語の自然言語処理を行う場合はとりあえずこれを使っておけば間違いないと思います． なお，日本語には残念ながら対応していません． 詳細は公式サイトを参照して下さい（英語です）． CoreNLPはJavaで実装されているのですが，様々な言語から使えるラッパーが用意されています． Pythonから使いたい場合は「stanford_corenlp_pywrapper」というライブラリを使用します． 以下では，CoreN

Ruby on Rails チュートリアル を1ヶ月ほどかけて全て読み終えたので，内容を簡単にまとめておきます． チュートリアルを読む際に参考にしたページもまとめておいたので，これから読まれる方の参考になれば幸いです． Ruby on Rails チュートリアル とは？ Ruby on Rails チュートリアル以下のページから見ることができます． 上記のページを引用させてもらうと， SNSの開発を題材にした無料の大型チュートリアルで、ウェブサービスの開発から公開までの流れを実例を通して学べます。 というものです． ちなみに「Ruby on Rails」とは，Rubyで実装されたWebアプリケーションフレームワークのことです． 有名どころだと，Twitter，GitHub，クックパッドなどが実際に利用されており，本格的なWebサービスの開発にも用いることができます． このチュートリアルでは

Evernote にWebページの文章をコピペすると，書式などの文字のスタイル情報までコピペされてしまいますよね．スタイル情報を消すために一旦テキストエディットを経由してEvernoteにコピペしたりするのってかなり面倒です． この問題を解決してくれるのが「Get Plain Text」です！ インストール Get Plain Text は Mac App Store からインストールできるので楽チンです． Get Plain Text Alice Dev Teamユーティリティ無料 使い方 インストールして起動すると以下のようなアイコンがメニューバーに表示されます． 後は普段通りWebページをコピーして shift + command + V *1 でペーストすると… スタイル情報が除かれたプレーンテキストをペーストできます！ また，設定することで更に便利に使えます． ショートカットキー

「Flask」と「Tweepy」を使ってTwitter連携アプリを作成する方法をまとめました． どちらもPythonで実装されたライブラリで，FlaskはWeb開発フレームワーク，TweepyはTwitter APIへのアクセスを簡単にしてくれるライブラリです． Flask と Tweepy について Flaskとは？ 公式サイトの日本語版ドキュメントによると， Flaskは、Python用のマイクロWeb開発フレームワークです。 Bitbucket | The Git solution for professional teams とのことです． Webフレームワークといえば，Rails，CakePHP，Django等が有名ですが，これらはフルスタックWeb開発フレームワークと呼ばれています． 「フルスタック」とは「全部入り」という意味で，Web開発に必要なあらゆる機能をこれ1つでカバー

Apache Thrift を CentOS6 にインストールする方法です． コマンドをターミナルにコピペするだけでインストールできます． Apache Thrift とは？ ※ 早くインストールしたいという方はこの節はとばして下さい． 公式サイトは以下になります． Apache Thrift - Home 全部英語なので，Wikipedia に載ってる説明を引用させてもらうと， Apache Thrift（アパッチ スリフト）は、「スケーラブルな言語間サービス開発」のためにFacebookにて開発されたRPCフレームワークである。これはソフトウェアスタックとコード生成エンジンを組み合わせることで、C++、C#、Java、Perl、Python、PHP、Erlang、Rubyなどの言語間にて効率的かつシームレスに動作するサービスを開発することを可能とする。 Apache Thrift -

こんにちは、らくからちゃです。 以前、こんな記事を書かせて頂きました。 ちょっと雑かなあと思いながらも、思いついたことを書きなぐってみたのですが、色んな人からはてブを頂き、誠にありがとうございます。 ブログ書きにとってのブログの楽しみ方は人それぞれです。PV数を増やすことに情熱を燃やす人も入れば、わたしのようにはてブが貰えることを喜びに感じる人も居ます。あと、多いのはやはりアドセンスやアフィリエイトでの収入でしょう。 前回の記事では、『ホットエントリーに入ってPV数を稼いだところで、そんなに持続するものではないですよ』という話をさせて頂きました。今回は、『ホットエントリーを作ると、収益面ではどんな影響があるのか？』ということについて、わたしなりに調査した結果をまとめさせて頂こうと思います。 2015年7月度の収益について さて、『ゆとりずむ』では、ヒトデ野郎(id:hitode99)の下記

はてなブログではテンプレのHTMLを弄ることができないので，好きな場所にAdsenseを挿入するには色々と面倒なことをしないといけません． そこで本記事では，jQueryのコードをコピペするだけで，テンプレの任意の場所にAdsenseのコードを自動挿入する方法を紹介します． 方法をざっくり説明 HTMLを編集できない環境下で，任意の場所にAdsenseのコードを自動挿入するために，jQuery を利用します． jQuery を使用すれば，任意のHTMLタグや，クラスの前後などに好きなコードを追加することができます． これを利用して，HTMLを編集することなく，テンプレの任意の場所にAdsenseのコードを挿入します． では，以下よりその方法を説明していきます． ほぼコピペでいけるはずです！ jQuery の読み込み 既に読み込んでいる場合はスキップして下さい． はてなブログの管理画面から，

Ajax によるシンプルなアクセスカウンタ「ajax-counter」を作ったので公開しました． Javascript(jQuery) + PHP で実装されており，誰でも自由にお使いいただけます． ajax-counter の詳細 詳細は下記へどうぞ！ 使い方などは全て上記のページに書いておきました． 何で Ajax？ 使い方や仕組みなどは全てGitHubに書いておいたので，ここでは「そもそも何でAjaxを使ったのか？」について書こうと思います． 理由はシンプルで，「キャッシュされたページでもちゃんとアクセス数をカウントしたかったから」です． PHPのみで動作するカウンタだと，PHPの出力結果までキャッシュされてしまい，うまくアクセスカウンタが動いてくれないんです． そこで，Ajaxを使うことでこの問題を解消したというわけです．これならキャッシュされるのはJavascriptのコードだけ