はてなブックマーク

初めに こんにちは。機械学習を学び始めて約１ヶ月、出来ること出来ないことがやっと少しずつ見え始めてきて自身のイメージとの違いに日々驚かされています、研修生の浅井寛之です。大学では経営学や金融などを勉強しています。 早速本題に入りますが、これから仮想通貨の価格変動予測をしていきたいと思います。特に今回は　”実際にどれくらい正解しているのか”　というのをわかりやすく伝えるために、”up” “down” “stay” の３種分類問題を扱います。スコアを我々のイメージしやすい正解率という形で出力できるので比較しやすいから、というのがメインの理由ですが、ネットにあまり価格変動の分類問題が上がっていなかったからというのも理由の一つです。 また、実際本気で収入源にしてる方はさておき、小金儲けしようとして仮想通貨を買っている人たちの多くは１ヶ月後までの価格の推移よりも明日価格が上がっているかどうかの方に興

こんにちは！aidemy研修生の深水です。最近AIが話題となることが多いですが、皆さんこんなこと思ったことありませんか？ 「もし俺が自動でFXや株などのトレードをしてくれるAIを作れば、一生自動的にお金が手に入るのでは？」　私深水はこんな安易な思いから機械学習を勉強し始め、FXの未来のレートを予測するAIの開発にチャレンジを始めました。何度も壁や試練にぶちあたりましたが、得るものは多かったです。 ただ結論から言うと、性能の良いAIを開発するのは難しいですが、その開発のプロセスで学べるものは多いので皆さんに一度チャレンジすることをお勧めします。 このブログはそんなFX予測AIを作りたいという人のために、私がやったことをまとめていきたいと思います。 対象者 FXに興味がある人 機械学習や時系列予測に興味がある人 概要 FX のレートのデータをOanda　APIを使って取得する。 kerasのL

初めまして。aidemy研修生の笹川です。 これから空気が澄んで星の見やすい季節になりますね。 冬であれば、あれはオリオン座であれはふたご座… そのくらいは言える方が多いかも知れませんが、 もっと難しい星座も見つけられたら格好いいし、 星空を見るのが楽しくなると思いませんか？ しかし、何の当てもなく星座を見分けることは容易ではありません。 そこで今回は星座の画像を学習し、機械の力で夜空の星座を判別することができないかやってみようと思います。 実行環境 macOS Mojave 10.14 Python　3.6.3 jupyter notebook データ 星座の種類について 判別を試みる星座は以下の5種類の冬の星座です。 実際の星空ではこのように見えます。 5種類の冬の星座 Taurus:おうし座 Orion:オリオン座 Auriga:ぎょしゃ座 Canis_Major:おおいぬ座 Gem

はじめまして、Aidemy研修生のいとぅー(@andmohiko)です。 自然言語処理では文章の自動生成というテーマがあります。 今回は、夏目漱石っぽい文章を自動生成してみようと思います。 手法 LSTM-RNNを使います。 LSTMについては詳しくはこちら 簡単に説明すると、 ある長さの文字列から次の一文字を予測する ということをひたすら繰り返すことで文章が自動生成されていくというものです。マルコフ連鎖は前の2文字しか見ないため、LSTMを使うことで文脈に沿った文章が生成されやすくなるという利点があります。 データセット 青空文庫で公開されている夏目漱石の「坊ちゃん」「吾輩は猫である」「こころ」「夢十夜」を使います。 こちら→作家別作品リスト：夏目 漱石 自然言語処理はデータを集めてくるのが大変なのでとてもありがたいですね。 前処理 ダウンロードしてきた本文にはルビや注釈なのど情報が含ま

こんにちは。Aidemy研修生の藤川です。 機械学習というと何かを予測するということを考える人が多いのではないでしょうか。 株やFX、仮想通貨の価格を予想しているブログも多々ありますが、金の価格はどうでしょうか。 なぜ金か？ というと、以下のリンクにある通り、金の価格予想自体は昔からされています。 jpyforecast.com しかし、機械学習を使った予測はどうやらあまり行われていないようです。 ということで、この価格予想に負けじと、機械学習を用いて予測を行ってみたいと思います！ 今回はGoogle Colaboratoryを使用しています。 もし使用する場合は、ランタイムの変更でGPUを指定しておくことを忘れないようにしてください。 実行環境(lshwを使用して確認)

はじめまして！Aidemy研修生の紫垣と申します！ 僕はよく、Twitterを眺めててネガティブなツイート(病みツイとか)を見かけて、気分がどんよりしてしまうことがあります・・・ じゃあそいつのアカウントミュートなりブロックなりしろよ！と言われるかもしれません。 だけど付き合い上そういうことができない方も多いですし、実際一つ一つミュートとかしてもキリないですよね？ そこで！！！！人工知能の力をお借りしたいと思います！！！！！ ツイートがポジティブなものかネガティブなものかを人工知能が判別して、ネガティブなツイートをタイムライン上に表示しないようなアプリを開発すれば、僕たちの心は光で満ち溢れるのではないかと思いました！！ まずこの記事では、第一歩として、ツイートがポジティブかネガティブかを判別する機械学習モデルを開発します！ というわけで、さっそく開発の流れを書いていきます！！

初めまして、Aidemy研修生の照屋と申します。 突然ですが、皆さんは好きなアーティストのディグり方（探し方）ってどんな方法を使っていますか？ 最近ではYouTubeや音楽発見サービス(Spotify、Apple Music…)、人によってはレコード店で物色という人もいると思います。私も色々な所にアンテナを立てて日々好きなジャンルのアーティスト達を探しています。 その中でも音楽発見サービスのSpotifyをよく利用するのですが、Spotifyが選んでくれるおすすめアーティストでたまに「えっこの人？」っていう人が入ってきたりします。実際に聞いてみても「うーん、好きなあのアーティストとテイストは似てるんだけど、違うんだよなあ」ってことがザラにあります。（笑） そこで自分の好きなアーティストと繋がりのあるアーティストを可視化出来れば面白いディグりが出来るんじゃないかと思い、今回はSpotify

python構築環境 MacBook Air (プロセッサ:  2.2 GHz Intel Core i7) Python3.6.0 Jupyter4.4.0 また、以下のモジュールを使用しました。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import poloniex import time #TensorFlow import tensorflow as tf #Keras from __future__ import print_function from keras.layers.core import Activation from keras.layers.core import Dense from keras.layers.core import Dropout from

P(B|A)=P(A|B)P(B)/P(A) P(A)とは、Aが起こる確率 P(B)とは、事象 A が起きる前の、事象 B の確率 P(B|A)とは事象 A が起きた後での、事象 B の確率 式で書かれただけでは意味が分かりづらいのですね・・そこで例をひとつ示します A(P)を雨が降る確率だとし、B(P)を友達が約束の時間に遅れる確率とすると P(B|A)は雨が降っていた時に友達が約束の時間に遅れる確率となります。 ナイーブベイズ分類 ベイズの定理では、Aを入力文章とすると、Bはどこの方言であるかということになります。 ナイーブベイズ分類では、ある文章を方言ごとに分けるのに、文章中の単語の出現率を調べます。 ナイーブベイズ分類は全ての方言の確率を計算し、その中で一番確率の高い方言を結果として出力します。 そのためとてもシンプルな分類です。 しかし、少ないトレーニングデータでも正しい結果が出

こんにちは。研修生のがっさんです。 いきなりですが、みなさん恋してますか？ 僕は出来てないです。というか恋が何か分かってません(笑) 好きは分かるけど、恋って何か重い感じがする。「恋してる」何て言ったことないし、恋って何だーと思ったので、定義を調べてみると 恋：異性に愛情を寄せること、その心。 ほほう。愛情とは？ 愛情：相手にそそぐ愛の気持。 ほほう。愛とは？ 愛：そのものの価値を認め、強く引きつけられる気持。 うーん….よく分からないので、よく恋をしてそうな西野カナ先生に聞いてみましょう！ どうやって聞くか？ 会って直接！とはいかないので、今回は西野カナ先生の歌に対して自然言語処理をして、先生が恋をどのように表現しているか調べてみます。言い換えると 「西野カナ先生に恋とは何かを聞く」 ↓ 「西野カナ先生の歌詞から辞書を作り、恋と類似度の高い言葉は何かを解析する」 import reque

こんにちは！アイデミー研修生の川内と申します。 突然ですが、みなさんカワウソってご存知ですか？？ 可愛いですね〜〜。 よく犬と猫どっち派とか聞かれますが僕は断然カワウソ派です。 OpenCVというのを使うとデフォルトで作成されているモデルを用いて人間の顔が検出することが出来ます。OpenCVについては下記のリンクをご覧ください。 機械学習のためのOpenCV入門 OpenCVで物体検出器を作成① 基礎知識【開発会社プロフェッサ】 人の顔の画像の特徴量を抽出することにより学習するのですが、学習させるモデルにおいてはHaar-like特徴というのを用いています。Haar-like特徴は、簡単に言うと画像の明暗差により特徴を捉えます。例えば人間顔で言えば目は黒く、目元は明るいといった特徴をたくさん取ることで、人間の顔の特徴全体を捉える感じです。 Haar-likeについて(英語で書かれています)

初めまして、Aidemy研修生のぐっちーです。 今回はPythonの得意分野である ・自然言語処理（コンピュータに人間の言語を処理させる学問） ・スクレイピング（ネット上からデータを収集する行為） を行い、ネット上の国会議事録データから会議内の頻出単語を抽出する プログラミングを実装してみたいと思います。 （結果の一例↓） Pythonを一通りかじったけど、何をすればいいかわからない…！ というかたの、足がかりになればなと思います！ 研究背景 突然ですが、統計データは母集団により結果が大きく変わります。 以下の安倍内閣の支持率に対する世論調査をご覧ください。↓ 日本テレビの世論調査 2018年4月の安倍内閣の支持率を26.7%としております。 国際ニュース通信社ロイターの調査 こちらは2018年4月の安倍内閣の支持率を73％としております。 データを取った母集団は、以下の通り 日本テレビ→

インフラって初学者にとってかなりブラックボックスですよね。 インフラ構成なんて会社の業態やサービス形態によって様々なので、初心者にとってどれが重要なのかわかりにくい（そもそもあんまり公開されてないし）。また、調べてみても各サービスの個別的な情報ばかりで、なかなか社内インフラの設計思想のような体系的な情報はでてきません。なにより、何から理解すればいいのかわからないので地道に勉強するのがめんどくさい！ そこで、先日Microsoft社で行われたハックフェストに参加し、マンツーマンでインフラ構成について教えていただきました！ ハックフェストで教わったことを踏まえ、Aidemyのインフラ構成を例に、重視しているポイントや、用いているサービス・ツールについて、インフラに触れた経験のない人でもわかるように解説していきたいと思います。 Microsoftオフィスでのハックフェストの様子 Aidemyのイ

はじめまして、研修生ののっぽです。機械学習の勉強を始めてまだ二ヶ月の未熟者ですが、今回は機械学習を用いた簡単なプログラムの実装をしてみようと思います。 突然ですが、皆さんはTwitterを使用したことがありますか？あるいは他のSNSを用いたことはありますか？ Twitter等のSNSでは大きなアカウントであればあるほどログの流れが早く、後から見返すのが大変です。 そこで、pythonを用いて過去のツイートを大量に取得し過去にどのようなことがツイートされていたのかを大まかに知るプログラムを作ってみます。 さて、タイトルにもあるトピックモデルとは一体どういう意味なのでしょうか。 トピックモデルとは簡単に言うと「全ての文章には幾つかの話題があり、文章の中身はその話題の何れかから作られている」というモデルのことです。 そしてトピックモデルを生成するとは、各文章中の単語を生成元の話題に対してグループ

先日、GoogleがAIの社内教育プログラムを公開しましたことで話題になりました。 Learn with Google AI https://ai.google/education/#?modal_active=none 弊社（Aidemy）も同じくAIを手がける会社ということで早速利用してみました。 Google社内教育プログラムへは、上記リンクへアクセスしていただき、「Education」の場所をクリックしていただくと遷移することができます。 今回は実際にAIの会社のエンジニアがGoogleのサービスを使ってみて感じた 優れた点、使いづらいと感じた点 ぜひ一度体験してみていただきたいサービス さらに改善されたら嬉しい点 について皆様に共有させていただければと思います。 優れた点、使いづらいと感じた点 まず、ページに移動して最初に目につくであろうコンテンツが、この動画です。 https:

DQNはAI（エージェント）が状況を把握して行動します。行動に対する報酬”Q値”をエージェントに与えることで、より適した行動を取れるようになります。初めはランダムに行動した結果を保存しますが、勝った時に得られる報酬を参考にそれぞれの一手に対するQ値が定まります。 本プログラムではDQNのエージェント同士を戦わせて学習していきます。 まずは黒ターンと白ターンのAIを用意します。 #train.py #もろもろインポート import copy from Reversi import Reversi from dqn_agent import DQNAgent #オセロ開始の合図 if __name__ == "__main__": # 繰り返しの学習回数の設定 n_epochs = 100 # オセロの環境を構築 env = Reversi() # playerID playerID = [

こんにちは、たくやです。最近すっかりニュース担当として定着してしまいましたね。 今回はgoogle が公開した教育と研究のための研究ツールである Colaboratory について解説していきたいと思います。 ざっと検索してみたところ英語版でしかまだ記事が出ていないようでしたので、日本語版最速と題させていただきました。 ニュース概要 ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクト。現在、ColaboratoryはChromeのデスクトップ版でのみ動作する。優れたユーザーエクスペリエンスを提供するために、当初はノートブックの作成や編集へのアクセスを制限して　　　　　　いる。そのため、利用するには申し込みをしなくてはいけない。ColaboratoryノートブックはすべてGoogleドライブに保存される。既存のJupyter / IPythonノ

Aidemy MagazineはAI(人工知能)を知り、活用するための情報を発信するWEBマガジンです。Pythonの勉強方法からAIの活用術まで、プログラミング未経験者の方でも分かりやすい情報を発信します。

主成分分析とは？ 主成分分析とは、”与えられたデータ情報の次元を圧縮する手法”の一つである。 データの次元を圧縮するとはどういうことだろうか？実は日常生活でもデータを低次元化するということはよく行われている。例えば、肥満度を測るためのBMIという指標が存在する。BMIは体重÷(身長)^2という計算式で導出されるものであるが、よく考えてみると元のデータは(身長,体重)という2成分を持つデータであったのに対し、BMIはただ1成分の数値となっている。これが次元の圧縮であり、情報を削ぎ落としたにも関わらず、肥満度という特徴を表すのに十分な情報を持っている。このように、データに適切な処理を行えば、情報量の削減と特徴の抽出を同時に行う事ができる。また、人がイメージできないような高次元データも、3次元以下に圧縮すればグラフとして描画できるようになる、といったメリットもある。 しかし、現実問題ではBMIの

F8 で紹介されたスパム判定技術 “F8″は2007年より毎年4月にFacebook社で行われている開発者向けカンファレンスである。10回目となる今年のカンファレンスは2017/4/18-19で行われた。今回の注目発表としては、「ARプラットフォーム」「VRプラットフォーム」「考えるだけで電子デバイスに文字を入力できる研究開発中の技術（！）」などが挙げられるだろう。 全てのセッションはFacebook Developer上で約30-40個の動画になって誰でも閲覧できる。 今回はその中から、同社のAIを用いた取り組みの一部を紹介しよう。今回は”How WhatsApp Reduced Spam for Over 1 Billion People”を取り上げる。同社のメッセージングアプリの「スパム対策」の取り組みに関して紹介した、20分程度の動画である。 FACEBOOK for Develo

さて、皆さんは機械学習で重要なものって何があると思いますか？ 実行するコードの質や、その中で使うパッケージ、実行するマシンのスペックも大きく結果に影響してくるでしょう。 しかしそれらすべてを手に入れられる最高のものを用意したとしても、やりたいことに関するデータセットがなければ何もできないのです！ それでは機械学習で使うデータをどうやって手に入れればいいのでしょうか？ まず第一に様々な企業や研究者などがデータセットを公開してくれているものがあります。これらは機械学習のために作られたものなので、扱いやすく信頼性もある程度高いと思います。しかし公開されているデータの中に自分が使いたいものがあるとは限りません。もしほしいデータがなかったらどうすればいいのか。 自分で作ればいいのです。 そもそも近年ディープラーニングが隆盛してきた理由はマシン性能の向上と、インターネットの普及による大量のデータ入手が

花火大会前々日から不安定な天気，そして当日はバッチリと雨が降っていたようですね。それでももちろん花火大会は（強風がない限り）開催されます。 花火大会当日の東京の天気予報が出た頃からTwitter上では様々な発言が飛び交いました。想像に難くないと思いますが概ね以下のようなものです。 天候不良による花火大会の中止を危惧する声 天候不良による花火大会の中止を期待する声 雨天時の開催の是非に関するお知らせ 脳内妄想ツイート 理系単科大学生である僕のタイムライン上では2番と4番が多かったですね。そもそも触れてない人が殆どでしたが。 それでは，隅田川花火大会前々日から当日までのツイッター民の感情はどのように推移したのでしょうか？ 花火大会に関するツイートをしたアカウントの一つ一つを見て行くのはTwitter APIを用いなければならず，その仕様上時間がかかりすぎるためTwitter上の全体的な傾向のみ

前回の記事 皆さんこんにちは。さっそくですが、まずはこの記事を読んでみて下さい。 この記事、深層学習の得意分野である手書き文字認識をあえて深層学習を用いずに実装しています。学習の際の教師データはscikit-learnの”digits“データ。8×8画素の数字データです。 ロジスティック回帰を用いましたが、実際に書いてみた手書き文字の認識精度は63%… 良くはないけど悪くもないといった感じです。 流石にこの精度ではいけないのでは…? ということで、今回は真打ち登場、深層学習を用いて同じデータセットを識別してみたいと思います。 ロジスティック回帰の問題点 今回の実装には、畳み込みニュートラルネットワークを使います。 上記の記事ではロジスティック回帰を使っていますが、その基本的な考え方は 画像のピクセル毎の明暗データを説明変数とし、画像に書かれている数を目的変数にすることで機械学習のモデルに適

AIスキルを スムーズに身につけよう！ 教材もプログラミング 実行環境もオールインワン 通常プログラミングの学習には教材 + プログラミング実行環境が必要で、 プログラミング実行環境の構築は慣れない方にとって、ハードルの高い作業です。 アイデミーなら普段お使いのブラウザだけあれば、すぐに学習をスタートできます。

のように、単語を複数の特徴と数字で表現したものです。高次元なので、この特徴の項目を200個~300個にして表現します。 GoogleのTensorFlow、FacebookのFastTextというライブラリはディープラーニングを用いてテキストデータから分散表現されたモデルを獲得します。 Embedding Projector を見るとすごくイメージしやすいです。 このサービスはGoogleが提供しているもので、分散表現が3Dまたは2Dで可視化されたサービスです。これを用いて例えば”Japan”と入力すると (見づらいのでご了承ください…) “korea”,“chainese”とともに”manga”や”sony”といった日本に関連の深い単語が表示されます。”manga”と”anime”はとても近いことがわかります。 面白い技術です。これは使ってみたい！ということで Pythonを使って”類似