タグ

ブックマーク / qiita.com/mpppk (2)

  • 「スタバなう」ツイートをニューラルネットで学習してラーメン判定器を作る(keras+Tensorflow+VGG16) - Qiita

    この記事の抜粋したコードの完全版はGitHubでご覧いただけます。 また、この記事で作成したモデルはTwitterのスタバ警察botで実際に試せるので、ご興味があれば適当な画像を「スタバなう」という文字列と一緒にリプライしてみてください。 こういうtweetが機械学習界隈からの怒りを買ってます(笑) https://t.co/COV1IHyh03 — Yuki Suga (@ysuga) July 26, 2019 というツイートからも分かるように、現在のスタバなうツイートは完全に関係ない画像で蹂躙されており、実際にスタバで撮影された画像は全体の24%しかありません。 逆にここまで来ると、残り76%の画像に着目した方が良いのではという気すらしてきます。 というわけで、「スタバなうと言いながら投稿される関係ない画像」の筆頭であるラーメンの分類器を、スタバなうツイートだけで作れるかどうか試して

    「スタバなう」ツイートをニューラルネットで学習してラーメン判定器を作る(keras+Tensorflow+VGG16) - Qiita
  • 巨大csvの整形を高速に行う便利パッケージ: NYSOL(MCMD) - Qiita

    大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という神ツールの存在を知って膝から崩れ落ちたので共有します。 NYSOL(MCMD)とは 以降の記述ではNYSOL(MCMD)をMCMDと表記します csvデータの編集、抽出、統計量の算出などを行うコマンド群(70種類ぐらいある)です。 標準入力を受け取って標準出力に結果を表示するので、簡単にパイプで処理を繋げることができます。 さらにC++で書かれているため、とにかく早い(らしい)です。 インストール 公式

    巨大csvの整形を高速に行う便利パッケージ: NYSOL(MCMD) - Qiita
  • 1