ML事業部の近江崇宏です。 Stockmarkでは日々、膨大な数のニュース記事に対してBERTの推論処理を行なっています。このような重いタスクを効率的に処理するために、最近、TPUを用いたBERTの推論処理基盤をGoogle Cloud Platform上に構築し、運用を開始しました。その結果として、これまで1週間程度かかっていた、数千万件のデータの処理を1日以内で完了できるようになるなどの大きな効果を得られました。今回はこの取り組みについて紹介します。 はじめに近年のニューラルネットワークの研究の発展により、画像認識や自然言語処理の様々なタスクを人間と同等もしくはそれ以上のレベルで処理できるようになりました。その結果として、ビジネスでのニューラルネットワークの利用が進んでいます。その一方で、ニューラルネットワークには、モデルの巨大さに起因して処理時間が長いという大きな問題があります。その

こんにちは、四谷ラボのやましんです。 晴れて結婚20周年を迎えることができました！！ こうやって、書きたいときにブログを書けるのも、周りの人が支えてくれるからだね。 ありがとう！ 結果発表 さっそく「GAFA。水面下の争いに決着。」を目撃すべく、この映像を見て欲しい。 youtu.be 後半の追い上げがハンパなく、GAFAの中で優勝を獲得したのはAppleでした。 ※仮想環境で文字列の泳ぎを学習させて、競わせたものであり、各社の業績とは無関係です。 今回挑戦した内容 バーチャル空間でGoogle、Apple、Facebookそしてamazonの文字列をくねらせて、水泳の機械学習に挑戦しました。 機械学習の環境 Unity バージョン2020.1.10f1 ml-agents version 1.1.0 https://github.com/Unity-Technologies/ml-age

こんにちは、あんどう（@t_andou）です。 少し前ですが、こんなニュースが話題になっていました。 詳細は深追いしていませんが、ニュースキャスターの人物モデルをコンピューターで再現して音声も読み上げさせているようです。 japan.cnet.com また、政治やエロ方面で問題になっていましたが、deepfakesと言う「顔をすごくリアルに入れ替えることができる技術」も話題になっています。 japanese.engadget.com 去年は3Dモデルを使った『Vtuber』が流行りましたが、今後はこう言ったリアルなアバター？がいろんな方面で出てくるんでしょうね。 と言うことで、今回からその基礎になるようなものを作ってみたいと思います。*1 とは言え、ただリアルな見た目・リアルな声のYoutuberだとしたら、実写で良いのでは？と突っ込まれそうですので、 生身だと出来ないこと…具体的には『2

こんにちは、あんどう（@t_andou）です。 副業でスタートしたwebサービスですが、作り始めて1年が経過しました。 まだ成功とも失敗とも言えない状況ですので物語としては大して面白くもないとは思いますが、備忘録としてこの1年の振り返りをまとめておきたいと思います。 この記事に書いてあること 何を作ったのか なぜ作ったのか なぜ競艇なのか 経緯 2017年9月 2017年10月 2017年11月 2017年12月 2018年1月 2018年2月 2018年3月 2018年4月 2018年5月 2018年6月 2018年7月 2018年10月 2018年11月 2018年12月1日 現在の状況 メンバーについて 収支について ユーザー数について PVについて 良かったこと その1.完成度はともかく公開してみたこと その2.有料のサービスにしたこと 最後に 対象読者 ・Webサービスを作ってみ

The Linux Foundation傘下のLF Deep Learning Foundationは、Dockerのコンテナとして作成したAIモデルをワンクリックで展開できるOSS「Athena」を発表した。 The Linux Foundation傘下のLF Deep Learning Foundationは2018年11月14日、AIモデル向けのオープンソースソフトウェア（OSS）「Athena」を発表した。同団体が主催するAcumos AIプロジェクトがリリースした初めてのソフトウェアであり、Dockerのコンテナとして作成したAIモデルをワンクリックで展開できるなどの特徴を持つ。 Acumos AIは、AIアプリケーションの構築や共有、展開を容易にする、オープンソースのフレームワーク。特定のモデリング言語やツールキットには依存せず、AI環境を運用するために必要なインフラストラクチ

こんにちは、あんどう（@t_andou）です。 この1年ほど開発を続けてきた競艇予想AI「みずはのめ」ですが、大幅にバージョンアップしていますので、今後の方針についてここで発表させてください。*1 開発中のサイト v2.mizuhanome.net この記事の内容 今後の方針 これまで これから 将来的には 大きな更新点 1.チャットが出来ました 2.ユーザーフォーラムを設置しました 3.皆様の予想を投稿出来るようになりました 4.予想を販売することが出来るようになりました 5.ユーザー予想ランキング その他の更新点 1.直前予想を出すようにしました 直前情報無しの予想（例１） 直前情報を取り入れた予想（例１） 直前情報無しの予想（例２） 直前情報を取り入れた予想（例２） 2.結果が分かるようになりました 3.当日以外のデータが見れるようになりました 4.バックテストの期間が変わります 5

TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 ハードウェアアクセラレータにTPUが使えるようになってる！？TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIntelのHaswell CPUとNVIDIAのK80 GPUと比較すると、性能は15～30倍、電力効率は30～80倍になっているという。 NVIDIA K80は現在ColabのGPUアクセラレータとして用いられているGPUだ。もしこの15～30倍という値が本当なら、

こんにちは、あんどう（@t_andou）です。 競艇の予想において、そのレースが「荒れるか」を見極めることは重要な要素の一つです。 巷では「風が強く波が高い日は荒れる」とか「江戸川は荒れやすい」など言われています*1が、本当なのでしょうか。 また、どんな要素が「荒れるレース」に影響するのでしょうか。 今回はそれを検証してみたいと思います。 そもそも「荒れる」とは？ 「荒れる」とは「皆の予想を裏切った結果」になること 三連単・人気の出現分布 検証してみた 検証する要素の一覧 今回使ったデータ 会場別 天気 波 風 風向き グレード 何日目 R別 まとめ 会場・波・風速・R番号は影響している 機械的に重要度を見てみた 最後に そもそも「荒れる」とは？ さて、「風が強く波が高い日は荒れやすい」などと書かれていたりしますが具体的な数字で「荒れ」が定義されていることはあまり見かけないです。 そこで、

機械学習を勉強し始めて１年が経ちました。 そろぞろ何か一つ目に見える実績を上げたいと思いたち、 ５月から８月までHomeCreditというKaggleのコンペをやっていました。 Home Credit Default Risk | Kaggle 最終的に、7198人中62位で終わることができました！ Kaggleをやってみようかなと思っている人向けに、自分の体験記を残しておこうと思います。 わからない用語は、Kaggle Words For Beginnerを参考にしてください。 もくじ スペックと前準備 コンペ内容の確認 コンペ参加 感想 0. スペックと前準備 スペック 文系卒(数学は好き) SIerでCOBOLとjavaを５年→業務で機械学習1ヶ月(研修みたいなもの) 個人でちゃんと勉強した本（ちゃんと＝写経した≠理解した） ゼロから作るDeep Learning ―Pythonで学

Fashion-MNIST を動かしてみる （注）このデータはMNISTを少し複雑化することを意図したもので、衣服等の識別に使える種類のデータではない。あくまでもテストデータ。 今回はDockerを用いてKeras + Jupyterの環境を構築する。 Docker及びGitコマンドが使える環境であれば実行できるように記述したつもり。 事前準備 Dockerのインストール https://www.docker.com/ 実行環境 macOS Sierra 10.12.6 MacBook air early 2015 手順 Docker Keras をクローン

最終更新：2018-04-02 はじめに スタッキング（stacking）といえば、複数の分類器を組み合わせて強い分類器を作る系の手法である。単なるvotingやsoft votingより強い。 誤解を恐れずにざっくり言ってしまうと、分類器の出力（複数）と真の出力の関係を機械学習する手法である。どうしてそれが強いのかというと、きっと分類器のクセや、出力の相関を機械学習していることが有効なのだろう、という気がする。 「この分類器は基本的にイケてねーんだけど、このラベルだけは正しく分類するんだよな」 「この分類器がこう言ってるときは、こっちのこいつの結果もそれなりに当てになるんだよな」 こういうシチュエーションは色々考えられるので、そういったものに対して効いているのだろう。 とはいえ、具体的にどんな実装になってるのかは割とよくわかってなかったので、実装してみることにした。実装にあたってはこちら

こんにちは。あんどう（@t_andou）です。 ブログの名前からも分かるように、僕の口癖は「働きたくないでござる」なのですが、ついに志を同じくする仲間と出会いました。 今回はそんな仲間と一緒に作った、人工知能による競艇の予想サイト「みずはのめ」をご紹介させてください。 みずはのめ | 機械学習による競艇予想サイト どんなもの？ Twitterも作りました。 当たるの？儲かるの？→賭けてみました 17日の成績 18日の成績 20日の成績 21日の成績 応援のメッセージも 今後の開発予定 最後に ダッシュボードが出来ました 自動購入もできるように 提供予定は… 続きの記事も書きました 追記：ダッシュボードの事前登録を受け付けます　締め切りました 追記２：ダッシュボードを公開しました どんなもの？ （画像は記事公開時のもので変更になる可能性があります。） 全レースにおける2連単・2連複・ 3連単

こんにちは、ほけきよです！ 機械学習の基本は教師あり学習です。 でも、実際の現場ではいろいろ指標が出てきて「?」 ってなるので、一回本気でまとめてみることにしてみました！ 教師あり学習の分類 二値分類 用語一覧表 図解 事例 事例1:果物の分類 事例2:ガンかどうかの検査 ROC曲線の意味合い 指標まとめ 多クラス分類 precision, recall, F-measure accuracy logarithm loss 出力が数値(回帰) 用語一覧 二乗誤差(MSE, RMSE)と絶対誤差(MAE)の使い分け AICとBIC, wAICの使い分け 時系列問題 参考になりそうなサイト 教師あり学習の分類 今回は正解はカテゴリか意味を持つ数字かで場合分けをしてみた。 全体の指標のサマリーはこんな感じ(だと思っている。) ※他にも大事な指標があるよ&これは間違っているのでは？？ というコメン

「フランス」－「パリ」＋「東京」＝「日本」 こんな単語同士の演算ができる、と話題になったのがGoogleが発表したWord2Vecです。これは端的に言えば単語を数値で表現する技術で、これにより単語同士の「近さ」を測ったり、上記のような演算をすることが可能になります。この、単語を数値表現にしたものを分散表現と呼びます。 今回紹介するFacebookの発表したfastTextはこのWord2Vecの延長線上にあるもので、より精度が高い表現を、高速に学習できます。本稿ではその仕組みと日本語文書に対しての適用方法について解説していきます。 fastTextの仕組み fastTextでは、Word2Vecとその類型のモデルでそれまで考慮されていなかった、「活用形」をまとめられるようなモデルになっています。具体的には、goとgoes、そしてgoing、これらは全て「go」ですが、字面的にはすべて異なる

コンピュータに過去のデータを分析させ、未来のデータを予測させる機械学習。商品のレコメンドシステムや写真の顔検出など、身近なところに機械学習は広く活用されています。また、Microsoftの「Azure Machine Learning」、Amazonの「Amazon Machine Learning」、Googleの「Cloud Machine Learning」、といったクラウド機械学習サービスが公開されたことで、機械学習を専門としないエンジニアでも活用できるようになりました。 そこで今回は、「機械学習でどんなことができるか」をつかんでもらうために、機械学習にはどんな手法があるのかをざっくり把握できるスライドをまとめました。機械学習に興味をお持ちの方はぜひご参照ください。 機械学習の案件を提案してもらう

Related Articles: YOLO CPU Running Time Reduction: Basic Knowledge and Strategies Build Personal Deep Learning Rig: GTX 1080 + Ubuntu 16.04 + CUDA 8.0RC + CuDnn 7 + Tensorflow/Mxnet/Caffe/Darknet Recurrent YOLO for Object Tracking [Project Page][Arxiv][Github] SSD in MxNet with C++ test modules [Github], by my roomie [Zhi Zhang] LightTrack: Online Human Pose Tracking [Project Page][Arxiv][Github]

リアルタイムに物体検出するのってどうやるんだろう？と思い調べてみたら、想像以上に高機能なモデルが公開されていたので試してみました。こんな感じです。 自動運転で良く見るようなリアルタイムの物体認識をしています。このモデルは「Single Shot MultiBox Detector（SSD）」という深層学習モデルで、Kerasで動いています。 環境さえ整えればレポジトリをクローンして簡単に実行できます。今回はデモの実行方法をまとめてみます。 環境 ちょっと古いiMacにUbuntu16.04を入れたものを使いました。詳しくはこのへんとかこのへんをご参照ください。 深層学習を利用したリアルタイムの物体検出は次々と新しい技術が公開されているようです。ざっと調べたところ、R-CNN、Fast R-CNN、Faster R-CNN…。どれだけ早くなるねん。って感じですが、とにかくどんどん早くなってい

機械学習の仕組みはわかったけど、実際のサービスではどういう風に使われているんだろう？ 学習の環境って、自前でGPUを買っているんだろうか。それともクラウドが主流なんだろうか？ というような実務における利用方法や開発に関する疑問は、誰しも一度は抱いたことがあるのではないかと思います。私自身疑問に思っていて、実務への活用を考えている方向けの講習を担当するにあたり、思い切ってアンケートを取ってみました。 対象は実務で機械学習を利用している方で、32の回答を得ることができました(ご回答頂いた方、ありがとうございました！)。なお、回答はTwitter/Facebookなどで募ったため、サンプリングバイアスが存在する可能性がある点についてはご留意を願います。 以下で、その結果について所見を交えながら公開をしたいと思います。 ※生のアンケート結果も公開したかったんですが、自由記述の回答にプライバシー的な

はじめに 任意の文章に対して自動的に感情極性(ポジティブ，ネガティブ)の判定を行うスクリプトを作成したのでまとめてみたいと思います． 文章(文書)から感情極性の判定を行う分野では，Sentiment Analysisや評判分析と呼ぶこともあります． 従来では，単語極性辞書といって単語ごとに極性値(ポジティブ，ネガティブの値)を登録しておいて，それを用いて極性判定する手法がオーソドックスでした． しかしながら，その手法だと極性辞書にない単語が出た場合に計算が出来ないという問題点や，そもそも単語の極性を一意に定めることが出来るのか？という問題があります． (e.g. ”安い”という単語1つとっても，安くてお買い得！と言われると安いはポジティブですが，安い奴だなと言われるとネガティブな印象を受けます) そこで本記事では，テキスト分類器とECサイトのレビューデータを用いてある文章の持つ感情極性を自

モデルフリー系の深層強化学習の手法を用いてスマブラDXのゲームAIを作ったという論文が出ていたので読んだ。以下はそのメモ。 概要 論文URL : https://arxiv.org/abs/1702.06230 著者のグループは github でコードを公開しており、そのデモ動画が twitch や youtube に上がっている。 www.youtube.com 上の動画はその一例。明記されていないが、動きからして 2P のキャプテン・ファルコンが強化学習 AI で、1P が人間だと思われる。スマブラの素人が見てもあまりピンと来ないのだが、人間側は世界ランキングでトップ50相当のプレイヤー(二人いて、途中で交代している)らしい。 reddit や hacker news でも活発に議論されている模様。 内容 環境の定義について Atari のゲーム環境などとは異なり、画像ではなくエミュレ