ちょっと前にプログラミング練習として、入力した文字が例えば漢字ならTrueを返し、そうでなければFalseを返すプログラムを書いた。ついでにひらがな・カタカナ・アルファベットの場合も書いた。それぞれこんなプログラム↓ def isHiragana(char): #引数がひらがなならTrue、さもなければFalseを返す if 'ぁ' <= char <= 'ん': return True return False def isKatakana(char): #引数がカタカナならTrue,さもなければFalseを返す if 'ァ' <= char <= 'ﾝ' and not '亜' <= char <= '話': return True return False def isKanji(char): #引数が漢字ならTrue,さもなければFalseを返す if '亜' <= char <=

cc licensed ( BY ) flickr photo shared by Loco Steve 週末に試そうのコーナー。 ちょうど良いチュートリアルがあったので、データセットを用意してやってみました。 問題 How can I get a computer to tell me what an article is about (provided methods such as bribery and asking politely do not work)? ある記事が何について書かれているのか、コンピュータに理解させるにはどうすれば良いか? チュートリアルでは手動で作ったデータを使って犬もしくはサンドイッチの2クラス分類をしています。 ここでは、Google NewsでiPadのニュース、ソチ五輪のニュースとカテゴリ分けされている記事のタイトルを使って、 あるタイトルがiPa

無料のオンラインハンズオンセミナーを開催しています 詳細・お申し込みはこちら 目次 Apache OpenNLP 日本語固有表現抽出モデルファイル livedoor ニュースコーパス 勉強会／セミナー資料 海外カンファレンス参加報告 セキュリティ警告 アーカイブズ Apache OpenNLP 日本語固有表現抽出モデルファイル Apache OpenNLP 1.9.0 以降で利用可能な、日本語固有表現抽出のための学習済みのモデルファイルです。商用利用可能です。 ダウンロード：rondhuit-ja-ner-1.0.0.zip（Apache License） livedoor ニュースコーパス 概要 本コーパスは、NHN Japan株式会社が運営する「livedoor ニュース」のうち、下記のクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し、可能な限りHTMLタグを取り除い

こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの？ データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html#ldcc クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch、ITライフハック、家電チャンネル 、MOVIE ENTER、独女通信、エスマックス、livedoor HOMME、Peachy というクラスがあります。 データは、1記事1テキストファイルの形式で、クラス別のディレクトリにいっぱい入っています。 これを学習して、未知の文章に対して、お前は独女通信っぽい、お前は家電チャンネルっぽい、みたいに、分類が

みなさん。こんにちは。 ラボ副代表の西山です。 先週、コンペの例題として、「銀行の顧客ターゲティング【練習問題】」をコンペにアップしました。 データソースは、UCI(University of California,Irvine)のMachine Learing Repositoryから引用したもので、 とある銀行の顧客データ（属性、過去の利用状況、過去のキャンペーンでの反応実績等）をもとに、 新たに実施するキャンペーンでの反応ユーザを予測しターゲティングするためのモデルを構築します。 今日は、このコンペを例に予測モデルの構築を行ってみました。 RでRandomForest まずは、何も難しいことを考えず、判別問題(２値分類）の際によく使われる、 RandomForestでモデリングしてみます。 RでLibaray,randomForest を使って、train.csvか

ここでRのパッケージを使った決定木による分類の紹介をしていたので、python（というかscikit-learn）でも同じことをやってみた。せっかくなのでこの場で書いておく。 ※下記に示したpythonソースはIPythonNotebookにまとめたのでこちらを参照してもらうとよいかも。 ■まずは分類したいデータを用意。 ここでは、わかりやすさのために、自家製のデータセットを学習データとして使う。用意したデータは説明変数が実数をとる「x」と「y」の２種類で、目的変数は「0」と「1」の２つのクラスをとるような学習データだ。この学習データの説明変数と目的変数の関係をプロットすると（※１）以下のようになる。青い点が「クラス0」、赤い点が「クラス1」のデータを表わす。 ここと同様にXORパターンデータにしていて、 ・クラス0は座標（1,1）と座標（-1,-1）を平均として分散0.5で正規分布 ・ク

【サイボウズ式編集部より】この「ブロガーズ・コラム」は、著名ブロガーをサイボウズ外部から招いて、チームワークに関するコラムを執筆いただいています。今回は「My Favorite, Addict and Rhetoric Lovers Only」のファーレンハイトさんが考える「愛されるリーダー」についてです。 前回のコラムでは、横暴なリーダーについて書いた。 俺がまず横暴なリーダーを見たときに判断する軸は「仕事をドライブできるか？」である。「仕事をドライブする」とは、問題を切り分け、判断・決断を適時行い、そのことに責任をとることだ。そして人を（強引にでも）動かしていく力だ。 さて、前回のコラムのラストで少し書いたが、ゴリゴリしたパワースタイルでメンバーを動かしていくタイプのリーダーがいる。果たしてそれは、素晴らしいリーダーだろうか？ 答えはYES AND NO。 おそらく前回のコラムを読んで

【サイボウズ式編集部より】この「ブロガーズ・コラム」は、著名ブロガーをサイボウズ外部から招いて、チームワークに関するコラムを執筆いただいています。今回は「My Favorite, Addict and Rhetoric Lovers Only」のファーレンハイトさんが考える理想的なリーダーについてです。 暴君のようなリーダーというのが存在する。彼らは横暴だ。人を人とも思わない態度で部下に接し、反論しようものなら烈火のごとく怒り出す。チームメンバーの感情は汲まれない。自分の意見でゴリ押しして進めようとする。 われわれは人間的に彼らを軽蔑しながらも、彼らを尊重する必要がある。なぜなら彼らこそがリーダーで、彼らこそが決定権をもっているから。逆らうと通るものも通らなくなってしまうのを経験上、知っているから。 今日はそんな横暴なリーダーこそが会社にとって貴重な存在だという話をする。 横暴なリーダーと