はてなブックマーク

はじめに 機械学習でテキスト分類や感情分析をしようと思って、オープンデータのコーパスを探したのですが、自分のやりたいことに合うものがなかったので、YahooショッピングのレビューからAPIでデータを取得することにしました。 コーパスとは、機械学習などの自然言語処理の素材データとして、文章やそれに対する付加情報を大量に集めたものです。 コードはこちら。(Python) https://github.com/nannoki/yahoo_reviews 取得できるデータ 全部で100万レビューくらい取得できます。 階層構造のカテゴリ分類。大分類(22種類)＞中分類(約330種類)＞小分類(約3,700種類) 分類タスクの教師ラベルとして使えます。 商品に対する評価点。1.00（悪い）から5.00（良い） 感情分析の教師ラベルとして使えます。 上記カテゴリと評価点以外にも分析しがいのある項目があり

はじめに Pandasで巨大なデータを扱うと、貧弱なPCではすぐメモリエラーになるのではないでしょうか。 これまで結構苦労したので、Pandasでメモリ消費を抑えるコツを挙げておきます。 DataFrameについて書きますが、Seriesも同様です。Panelは触ったことないですが、きっと同様でしょう。多分。 使用した環境 Python 3.6 Pandas 0.20.3 メモリが必要以上に増大してしまうケース いろんな場合がありますが、以下のケースは、よくあるかつコードで対処可能なものだと思います。 【ケース1】 DataFrame構築時にカラムの型(dtype)を指定していない 【ケース2】 カラムを追加する・カラム全体へ値を代入する 【ケース3】 DataFrameに対する処理の戻り値を、他の変数で受け取る 詳しく見ていきます。 【ケース1】 DataFrame構築時にカラムの型(d

assert文とは 条件式がTrueではない時に、例外を投げます。 これを仕込んでおくと、それまでちゃんと動いていたコードが、いじっているうちにいつの間にか想定と異なる振る舞いをするようになった時に、いち早く気づくことが出来ます。「とにかく想定と違ったら止める」というだけで良いなら、別途テストを書かなくていいので便利です。 機械学習やデータ分析 では、仕様が決まっておらず試行錯誤しなければいけない部分が多くあるし、アドホックな対応も結構あり、テストを書くことが必ずしもなじまない場合が多いと思います。このような領域では、特におすすめしたいです。 pytestなどのちゃんとしたテスト用途以外では、asset文はJupyter Notebookで使うのが一番効果的だと個人的には思います。関数のセルの下に、assert文でちょっとしたテストを書いておくと便利です。また、データを読み込んだ直後にデー

なぜWindows? なぜオフライン？ 機械学習・ディープラーニングの環境は、インターネットに接続できるMacやLunuxで構築するのが一般的だと思います。しかし、事情により「オフライン（インターネット非接続）」の「Windows7マシン」に環境構築しなければならなくなりました。 Windowsとういだけで警戒しますが、さらにオフライン。 なぜこんなしばりかというと、データ分析案件でかなり機密度の高いデータを扱う必要があり、自社にデータを持ってくることも、クラウドにアップすることも許されないため、すべてお客様先で完結させる必要があるためです。ディープラーニングをデータ分析用途に使おうとする場合には、考えられる状況ではないでしょうか。 ちょっと調べてみると、結構面倒そうな情報ばかりで、はまりそうな予感がします。 結論を先に書いておくと、あっさり簡単にできました。 TensorflowのWin