ChainerやKeras、PandasやDask、Vaex関係などでちらほら見かけるHDF5（.h5とか.hdf5とかの拡張子のやつです）。 知識が無く以前は単なるバイナリフォーマットなのかと思っていましたが、しっかり勉強したら色々機能があって面白かったので、復習も兼ねてまとめておきます。 そもそもHDF5って？ Hierarchical Data Formatの略（5はバージョン）で、名前の通り階層化された形でデータを保存することができるファイル形式です。 ある種フォルダやファイルシステムに感覚が近く、1つのファイル内に整理しつつ様々な複数ファイルを保存できます。 HDF5のここが凄い とりあえず機能に色々触れだすと長くなるので、先にHDF5の、個人的に良さそうに感じた点を書いておきます。 読み書きがCSVなどより大分速い いくつか記事を見ていた感じ、パフォーマンスはpickleよりも
JetsonにEdge TPUにM5StickV で、エッジAI用やるには何を選べばいいの？ - masato-ka's diary
1. 概要 追記 公開当初Jetson Nanoの性能表記に誤記があったため修正しています。 最近組み込みデバイス（以下エッジと表現）で画像認識や音声認識、センサ情報の処理といったディープラーニングを利用した処理を実行することが容易になっている。低消費電力で、高速にディープラーニングを処理するためのエッジAI用アクセラレータが各社から発売されていることがその理由の一つだろう。 こういった、エッジAI用のアクセラレータは各社によってその使用や対応フレームワーク、利用できるディープラーニングのネットワーク構成に違いがある。どれも同じように利用できるわけではない。自分でエッジAI用アクセラレータを利用しようとしたときにいくつか調べてみた内容をメモがわりに残してみる。ちなみに個人で遊べるものを中心にしてるので、産業的にどうなのかは知らない、悪しからず。。。 あとこのブログではAndroid Thi
Kerasでちょっと難しいModelやTrainingを実装するときのTips - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Python製深層学習ライブラリ「Keras」の紹介 (with TensorFlow) - amacbee's blog
皆様こんにちは，@a_macbeeです． （大分時間ギリギリになってしまいましたが）この記事はAdvent Calendar 2015 - VOYAGE GROUP 2日目の担当分になります． 2015年は良くも悪くも深層学習がバズワードとなって盛り上がった年でした． 面白い論文が続々発表されたり，関連書籍が次々出版されたり，最近だとGoogleが発表した深層学習ツールTensorFlowが話題となってます． このビッグウェーブに乗るしかないということで，この記事では自他共に認めるPython大好きな私がPython製の深層学習ライブラリである「Keras」について紹介します． Keras KerasはPython製の深層学習ライブラリです． もともとはバックエンドとしてTheanoを採用していたのですが，つい最近TensorFlowも選択できるようになりました．ここでは，折角なのでTen
はじめに モーガン・フリーマンとココナッツチョコレートが似過ぎているため、ディープラーニングを使って見分けてみることにしました。 データセット データセットは手動でGoogleから集めました。 モーガン・フリーマン(以下モーガン)の画像が約300枚、 ココナッツチョコレートの画像が約140枚です。 もはや狂気の沙汰ですね。 前処理 その1 モーガンの画像はそのまま学習させてもいいのですが、写真によって背景が違ったりして学習に支障が出そうだったのでOpenCVを使って顔のみのデータセットを作り出しました。 (ちなみにココナッツチョコレートは手動でトリミングしました。) import cv2 import numpy as np import os data_dir_path = 'YOUR_DIR_PATH' save_path = 'YOUR_DIR_PATH' cascade_path
GitHubが示した2018年のオープンソースのトレンド。Angularのようなクロスプラットフォーム対応ツール、機械学習などに加え、学習や就職支援ツールも盛り上がると
GitHubが示した2018年のオープンソースのトレンド。Angularのようなクロスプラットフォーム対応ツール、機械学習などに加え、学習や就職支援ツールも盛り上がると これはGitHub上の多数のプロジェクトに関する昨年の調査を元に、おもに急速に成長しているプロジェクトがどの分野に多いのかなどの傾向を分析したもの。 同社はこの記事で、オープンソースソフトウェアのプロジェクトにおいて3つの成長分野を示しました。 クロスプラットフォーム対応のためのプロジェクト 1つは「Cross-platform development」です。この分野に該当するプロジェクトとして挙げられているのは、AngularやReactといったJavaScriptライブラリ、そしてElectronのようなWebアプリケーション用のフレームワークです。 これらはいずれもWeb技術を基にしているため、クロスプラットフォーム
【理論から実践まで】動かしながら学ぶ！ゼロからわかる再帰的ニューラルネットワーク（RNN） - LABOT 機械学習ブログ
この記事では再帰的ニューラルネットワーク (RNN) について解説をします。RNN の理論的な説明から入り、Keras を用いて実際に RNN を動かしてみます。単純RNN (SimpleRNN), LSTM, 双方向RNN (bidirectional RNN), deep RNN を用いてモデリングをします。なおこの記事はGoogle Colaboratory で動かすことができ、実行しながら読むことをおすすめします。 ノートブックを開く 再帰的ニューラルネットワーク 再帰的ニューラルネットワーク（リカレントニューラルネットワーク、RNN)）は系列データのモデルです。 各時刻 $t_1, t_2, \cdots,t_n$で$\vec{x_1}, \cdots, \vec{x_n}$が入力されたときベクトル$\vec{y_1}, \cdots, \vec{y_n}$ を予測するモデルです
Kerasの作者のfcholletさんがTwitterで紹介していた、PlaidMLという新しい機械学習用のライブラリを試してみた。Early Alpha Qualityとのことであるが、試してみたらとても速いしKerasで書いてたコードが(ほぼ)そのまま使えて感激した。これは機械学習が捗る…かも? 短くまとめると PlaidMLという新しいフレームワークを使うと、nVidia積んでないMacでもGPU使って高速に機械学習できるかも Kerasのバックエンドとして使えるので、今まで書いてきたKerasのコードを(ほぼ)そのまま使える 動かしてみたら、確かに速い。 10月に試した段階では不具合があったが、アップデートで修正された! PlaidML PlaidML is an open-source Keras backend that runs on OpenCL, with good pe
はじめに 深層学習の勾配法には様々な手法が提唱されています。その中で、どの手法を用いるのが適切であるか自分でもあまり理解できていない部分があり、今回は勾配法の中でも実際に深層学習で主に用いられている手法(SGD, Momentum SGD, AdaGrad, RMSprop, AdaDelta, Adam)について、実装することを前提に調べてまとめてみました。実装フレームワークはChainerを想定しています。 SGD SGD(Stochastic Gradient Descent : 確率的勾配降下法)は、Optimizerの中でも初期に提唱された最も基本的なアルゴリズムです。重み$\mathbf{w}$の更新は以下のように行っております。このとき、$E$は誤差関数、$\eta$は学習係数を表しています。
Google Colabを導入 - Qiita
Google Colab とは無料クラウドサービスである。そして、GPUを無料で使える jupyter notebooks です。 できること： python スキル練習。 Keras TensorFlow PyTorch OpenCV などの有名な機械学習ライブラリを簡単に利用可能です。 一番気になるのは GPU の利用料金は 無料 でございます。 はじめに 新しいColab Notebookを作成しましょう Right click > More > Colaboratory 皆大好きの無料GPUを設定 デフォルトではCPUので、GPUに交換しましょう 編集 》ノートブックの設定 》ハードウェアアクセラレータ 》GPU 》保存 pythonやってみましょう コード用の入力欄にコード入力してみましょう .pyファイルをインポートしたり実行したり とりあえず、drive権限を設定します !a
#AIメーカー でGoogleが誇る自然言語処理モデル「BERT」のAIをweb上で誰でも気軽に作れるようにしました🎉 ①AIに学習させるテキストのラベルを設定 ②学習データはツイッターから自動で収集 ③AIがデータから学習 の３ステップで簡単！ みんなもAIを作って遊んでみてね！🙌https://t.co/Vnf0QITH1v pic.twitter.com/mUbImOff6j — 2z / AI MAKER (@2zn01) December 27, 2020 こんにちは。 趣味でWebサービスの個人開発をしている、2z（Twitter： @2zn01 ）と申します。 ノーコードで誰でも簡単にAIを作れる「AIメーカー」というサービスを運営しています。 AIメーカー https://aimaker.io/ 今回作ったもの 今回は「AIメーカー」でGoogleが誇る自然言語処理モデ
はじめまして、ますみです！ はじめに 最新の「機械学習の学習プラットフォーム」をさっくりとまとめてみました。 新しい情報は随時更新していきます。 目次（「機械学習」とAnd検索した時のヒット数順） Aidemy (7,430,000 件) AI academy (717,000 件) Amazon Machine Learning University (271,000 件) Elements of AI (141,000 件) Learn with Google AI (137,000 件) メディカルAIコース (135,000 件) Grow with Google (97,200 件) Chainerチュートリアル (65,000 件) Coursera (48,200 件) Codexa (26,100 件) それぞれの特徴 1. Aidemy (7,430,000 件) 圧倒的
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
KaggleのチュートリアルにもなっているDaniel NouriさんのUsing convolutional neural nets to detect facial keypoints tutorial という記事の流れに沿って、Facial Keypoints DetectionをKerasで実装していきます。単純なモデルから徐々に複雑にしながら解説していきます。多少の機械学習の知識があることを前提にしますが、なるべく分かりやすく解説していきたいと思います。間違い・質問・提案などあれば遠慮なく連絡してください。 KerasはPythonで書くことができるTheanoとTensorFlowベースのライブラリです。直感的に書くことができる人気急上昇中のライブラリです。2015年3月に初公開され、2016年4月にKeras 1.0が公開されました。 Danielさんの記事ではLasagne
機械学習のためのGithub、CometMLを使ってみた - Liaro Engineering Blog - Medium
CometMLとは開発をする際にGithubを使うことが多いと思いますが、機械学習のような開発段階でも実験を重ねる場合にはGithubは相性が良くないなと感じていました。 その課題を解決するサービスがCometMLです。やはり同じ課題を感じている人は多く、記事をシェアするだけで結構いいねが付きましたw このサービスは、機械学習の実験を管理するための様々な便利機能を提供しています。今回は簡単に使ってみた機能などを紹介しようと思います。 何が嬉しいのか、なぜ必要なのか機械学習プロダクトの開発工程は、一般的なソフトウェアの開発工程と異なる点が多いです。特に、構築したモデルを訓練し、その性能評価を行う「実験(Experiments)」は機械学習プロダクトの開発工程において重要なものです。 「実験」ではモデルの構造やハイパーパラメータなど、様々な条件や設定のもとで何度も行われます。どんな設定で行った
Raspberry Pi 深層学習で「赤りんご」と「青りんご」を見分ける（Keras・Open CV） - Qiita
「赤りんご」と「青りんご」を見分けるだけの簡単なものですが、はじめて自分の用意した画像で深層学習をしてみました。 こんな感じ Deep Learning Apple Recognition - YouTube 「赤りんご」と「青りんご」を見分けます。 まずは「青りんご」から、確率91.4%と推測しました。 続いて「赤りんご」、確率91.1%と推測しています。 今回は推測結果が90%以上で「赤りんご」と「青りんご」を判定しています。りんごがない時に（例えば私の丸顔を写した場合）80%の推測がされた際は、判定結果が出ない様にしています。 環境 前回記事と同様です。 学習の流れ Web上から画像をダウンロードする ダウンロードした画像をNumPy配列にし、訓練データとテストデータに分ける 畳み込みニューラルネットワークで学習する OpenCVで撮影した画像をNumPy配列にし推測データとして使用
はじめに 機械学習の書籍多いけど、どれ買えば良いのかをレベル別にオススメします。 レベルはレベル1~レベル5の五段階です。 今の自分にあったレベルから書籍を選んでみて下さい。 また３〜４ヶ月でここに紹介した書籍を読み進められるとベストです。 勉強方法はこのnoteでは触れませんが、Couseraのマシンラーニングコースなどオンラインでとても良い講座があるので、書籍以外のサービスも活用してみて下さい。 ＊AIに関して勉強したい方は下記の２つご利用ください！ AI Academy 無料でPythonや機械学習、ディープラーニングが学べるオンラインAIプログラミング学習サービス *一部コンテンツは月額980円にて全て利用可能。 AI Academy Bootcamp 個人向け2ヶ月10万円で受講可能な、受講後すぐに業務で使える分析力を身に着けられるAI・データ活用ブートキャンプ 人工知能基礎編<
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? MirrorGANとは 先月（２０１９年３月）に発表された、GANを使ったテキストから画像を生成する（text to image）研究の論文です。現在、CVPR2019にも承認されているようです。 MirrorGANの本家論文 実装したコードはこちらです！ インプットのテキストと生成された画像 ミラー構造 MirrorGANはT2I(text to image)とI2T（image to text)の両方を統合することによってミラー構造となっています。 文章からGANで画像を出力し、それを元に文章を再生成することでT2I生成を学ぶという
![[最新論文]MirrorGANをKerasで実装した話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4b2e2adb9a304eb6a2055aca95565034c9e14af/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU2JTlDJTgwJUU2JTk2JUIwJUU4JUFCJTk2JUU2JTk2JTg3JTVETWlycm9yR0FOJUUzJTgyJTkyS2VyYXMlRTMlODElQTclRTUlQUUlOUYlRTglQTMlODUlRTMlODElOTclRTMlODElOUYlRTglQTklQjEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTQ4ZTY4MDE2NDA3YTRmNWUxYTVlZjRkZDE3NTU3MWM4%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrb21peWEtbSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODVhODVhMzU4OWViN2E2MzZjZjJmNGZjMmI3ZWNkN2Q%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D833144488c1e4fe4f49a72a71d1424c0)
本記事について 本記事では、Deep Learningを用いた学習の要となる学習率の決め方、また学習率更新関数の決め方ご説明します。 これから説明する方法は、米国で数多の機械学習エンジニアを輩出している学習講座 fast.ai に取り入れられている手法で、その手法はDeep Learningフレームワークに導入、または導入検討されているものです。 この学習率決定法・更新関数は導入が簡単な割に、精度が数％上昇したり既存の精度までに到達する学習時間(Epoch数)が半分以下なるため、取り入れないのはもったいないと思いから記事にしました。 この記事は fast.ai 及び 論文『Cyclical Learning Rates for Training Neural Networks』を参考しにしています。 初期学習率の決め方: LR range test LR range testとは 初期学習
pytorch超入門 - Qiita
どうも。GIBの宮本です。 公式ドキュメントベースで調べました。 chainerにかなり近い構文になってますが、少し違いがある関数もあるので注意が必要です。 facebookやニューヨーク大学が主導してるイメージの深層学習フレームワーク。 chainerからforkされたらしい。torch7もfacebookやニューヨーク大学が主導してるイメージ。 torch7はluaで且つ抽象化があまりされてないので関数がむき出し。 pytorchはかなり抽象化されておりコーディング量が減る。 2017年３月時点のデベロッパー #コミッターさんのブログ Adam Paszkeさん http://apaszke.github.io/posts.html Soumith Chintala http://soumith.ch/ #盛り上がり具合 2017年３月時点。一概にgitのグラフで盛り上がり具合が測れる
やりたいこと ディープラーニングで日経平均を予測したい 簡単にディープラーニングを体験したい 方法 ディープラーニングの手法は、時系列データの取扱に優れたLSTMを使用 コードが簡単な、TensorFlow + Kerasで実装 環境 Windows 10 64bit TensorFlow + Keras 環境構築はこちら→ Windowsで簡単にAI開発の環境構築＜人工知能を体験したい人向け＞ ディープラーニングの実装 日経平均株価のデータ取得 ダウンロードセンターより、日経平均株価のCSVをダウンロード https://indexes.nikkei.co.jp/nkave/index?type=download そのままではデータを取り込めなかったので、前処理として下記の処理を行う 1行目は、date, close, open, high, low と書き換える 最終行の日本語を削除す
HAPPYJUDI: Agen Slot88 Online Gaming Tergacoor Berlisensi Resmi DAFTAR LOGIN HAPPYJUDI sebagai perwakilan agen resmi slot88 gaming online terbaik berkomitmen untuk mengungkapkan sejumlah rahasia permainan slot gacor, yang memungkinkan para pemain mencapai kemenangan maksimal dengan mudah. Situs HAPPYJUDI layak untuk dijadikan arena permainan anda. Terkenal akan kemampuannya untuk menghadirkan perm
【いつの間にか進化してた！】TensorFlowのKerasの様々な使い方 - HELLO CYBERNETICS
はじめに これまで通りの使い方 Kerasと言えばコレ：Sequential 少し発展版：Modelによるfunctional API Eagerの登場によって…！ Pythonのclassとしての作り方 Eagerモードとしての書き方 確率的なニューラルネットワーク はじめに 最近機械学習から離れ気味ですが、何やらTensorFlowのDocumentを覗いたらTensorFlow内部のKerasがすごくいろいろな使い方できることに気が付きました。 （ちなみに、TensorFlowとは別の（いろいろなフレームワークをバックエンドにできる）Kerasの方はどうなっているのか知らないので申し訳ありません。） ということでそれを簡単にまとめておきたいと思います。本当に簡単に。 これまで通りの使い方 Kerasと言えばコレ：Sequential 最もよく知られている使い方ですね。 model=t
はじめに 自然言語処理の深遠 作って遊ぶ機械学習 六本木で働くデータサイエンティストのブログ 人工知能に関する断創録 数学、ときどき統計、ところによりIT 空飛ぶロボットのつくりかた はじめに ただの雑記。 専門書的な内容ではなく、機械学習に取り組む実際の姿が見られるブログを取り集めました。例えばコードが載っているとか、分かりやすい解説があるとか、その手の記事が書かれているものに焦点を絞っています。 自然言語処理の深遠 非常に実践的。 今のところは、あまり記事は多くありませんが、Kerasを使った機械学習による自然言語処理に関しての記事が積極的に書かれています。Kerasの実装に関して、コードで検証を行っていたり、実用面で参考になることが多いと思われます。 hironsan.hatenablog.com 特に自然言語処理だとChainerやPyTorchのようなDefine by Runの
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類 - Qiita
大学の授業関係でラズパイ3B+とpicameraをゲット。暇なので、ラズパイに深層学習を用いた分類をさせてみようと思い立ちました。ただ、前もって撮った写真を分類させるのではなく、picameraからのリアルタイムの映像内の物体を分類させ、いい感じに表示させます。 学生レベルかもしれませんが、一部分でも参考になれば幸いです。 思い描いたこと 「固定されたpicameraの視野内に複数の私物を置くと、それをリアルタイムに分類し、表示する機能」をラズパイ内に作ってみようと思いました。 具体的には、背景差分（背景画像と変化した部分を抜き出す手法）で物体を抽出し、PyTorch [ﾊﾟｲﾄｰﾁ]（Keras, TensorFlowと似たようなもの）で深層学習にかけて分類する方針をとります。 (※YOLO, SSDなどは扱いません！) ということで次のステップで実装しました。 Step1: 自前の訓練
iPhone Xの新しいロック解除メカニズムのリバースエンジニアリング 全Pythonコードはこちら。 新しい iPhone X で議論の的になった機能と言えば、新規ロック解除方式で、Touch IDの後継である Face ID でしょう。 ベゼルレスのスマートフォンを実現してきたAppleは、端末を簡単かつ素早くロック解除できる新たな方式を開発する必要がありました。競合他社が指紋認証を採用し続ける中、Appleは別のポジションのメーカーとしてスマートフォンのロック解除方式を刷新し、変革を起こす決断をしました。それは、単に見るだけで認証されるという機能です。進化した（そして驚くほど小さい） 深度センサ付きカメラ が前面に埋め込まれているおかげで、iPhone Xにはユーザの顔面の3Dマップを生成する能力があります。さらに、ユーザの顔写真を 赤外線カメラ でキャプチャするため、環境の光や色彩
Housmart高松です。 2017年9月18-20日の3日間、広島で開催されたRuby Kaigi 2017に参加してきました。Ruby Kaigi自体は去年に引き続き2回目の参加となります。 今年も様々なトピックがありましたが、今回は私が注目しているテーマの1つである “Ruby x データサイエンス” の観点からRuby Kaigiの参加レポートをします。 Rubyコミュニティのデータサイエンスへの取り組み ここ2-3年で機械学習・ディープラーニングやデータサイエンスを業務で使うことはどんどん普通のことになってきています。 この領域はほとんどがPython/R/Scalaなどで行われており、最近までRubyでデータサイエンスをやるのは実質不可能な状態でした。 ですが、Rubyが言語としてこれらの領域をサポートするかは、Rubyのこれからを考える意味でもとても重要になります。 これらの
「Python」「R」「Jupyter Notebook」「Tableau」「Keras」が愛用される理由
関連キーワード BI（ビジネスインテリジェンス） データと分析は、デジタルトランスフォーメーションやデジタルディスラプション（デジタル時代の創造的破壊）を引き起こすガソリンになる。そして、企業がこのガソリンをハイオクに変える方法は1つしかない。それは、統計学者、数学者、ビジネス分析専門家のチームに適切なデータサイエンスツールを提供し、増大し続ける企業データのプールから洞察を引き出すことだ。 純粋な統計分析、機械学習のモデリング、視覚化など、その用途が何であれ、データ駆動型のビジネス文化を発展させるには強力な一連のデータサイエンスツールが欠かせない。 さまざまな業界に身を置く多数の経験豊かなデータサイエンティストと情報交換を行い、各自が最も使用しているツールについてインタビューした。本稿では、その中で何度となく名前が挙がった上位5つの厳選されたツールを紹介する。 併せて読みたいお薦め記事 進
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 初投稿です 追記(20171031) HTMLを出力する際のエンコードがasciiだったため日本語が文字化けしていましたが、UTF-8をサポートするようになったようです！ 下記に文字化け対策の文章がありますが、読み飛ばしていただければ幸いです。 導入 セクシーなデータサイエンティストの皆様におかれましては、日々の業務で様々な機械学習のモデルを構築しておられるかと思います。それは例えば、あるサービスのユーザ情報を用いてコンバージョンするかしないかを予測していたり、またある時は年収を回帰で予測していたり、またあるときはユーザが投稿した画像情
ノートブックを作成してPythonを実行 WebブラウザでGoogleアカウントにログインし、https://colab.research.google.com/?hl=jaにアクセスします。 [ノートブックを新規作成] をクリックします。 セルにプログラムを記述します。 [▶]ボタンをクリックします。すると、セルの下に実行結果が表示されます。 ノートブックを保存、名前の変更 上部メニューから[ファイル]→[保存]をクリックして、作成したノートブックを保存します。 保存したノートブックの場所を開きたい場合、 上部メニューから[ファイル]→[ドライブを探す]をクリックします。 ファイル名(ノートブックの名前)を変更したい場合、上部メニューから[ファイル]→[名前の変更]をクリックします。 Googleドライブ上で直接ファイル名を編集したり、移動することもできます。 GPUの利用設定 ノートブ
長文日記
TensorFlowをバックエンドとして使用しており、Python製DeepLearningライブラリとしては頭5つぐらい抜け出している感じのあったKerasですが、TensorFlow本体に取り込まれる？動きがあるようです。TensorFlow/Keras人気はさらに加速して他のライブラリを寄せ付けないでしょう。 自分が使いやすいライブラリを使えばいいと思いますし各ライブラリごとにいい所はあるので多様性万歳ではあるんですが、TensorFlow本体にKeras由来の使いやすいAPIが統合されちゃうと、DeepLearningライブラリのシェア争いという観点ではほぼ勝負あったかなという感じがします。 以下ソースなど。fcholletさんはKerasの開発者でGoogleにお勤めの人です。 @rbhar90 @tensorflow we will be integrating Keras (
Kaggleはすっかりただの野次馬の一人になって久しいんですが、しばらく前に行われたPetFinder.my - Pawpularity Contestというコンペで優勝者がSVR（サポートベクター回帰）を使ったことが話題になっていたというのを聞いて、NN全盛のこのご時世に意外だなと思ったのでした。 しかし、よくよく考えてみればかのVapnik御大がかつてSVMを考案する際にベースとしたアイデアはNNとは方向性の違う代物だったわけです。故に、例えばSVMとNNとがどのような点で異なるかが「見える化」出来れば、SVMが復権するための条件のようなものが見えてきそうです。 ということで、久しぶりに「サンプルデータで試す機械学習シリーズ」をやってみようと思います。実はDNNについては6年前にも似たようなことをやっているのですが、SVMとDNNとでサンプルサイズを変えながら比較するというのはやったこ
では早速紹介していきましょう。 できる！Nyahネットワークトラブルシューティング @buty4649 http://buty4649.jugem.jp ※Nyah: 弊社プライベートクラウドのコードネーム OpenStackを用いたプライベートクラウドの運用にはまだまだ難題があり、ネットワーク周りのトラブルシュート事例とアーキテクチャを説明してもらいました。 以前利用していたバージョンのHavanaではL2スイッチを利用したbridge接続を利用していたため複雑な構成ではありませんでした。現在はMitakaを利用しており、Neutronを用いたDVRの運用に切り替え中です。まだまだ国内プロダクション環境での事例コンテンツが多くはないため試行錯誤した苦労や歴史を、普段OpenStackプラットフォームを利用しているエンジニアに理解してもらえたと思います。 ネットワークの基礎知識から体系立て
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 **ハードウェアアクセラレータにTPUが使えるようになってる！？**TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIn
〜AIが名曲を生み出す〜 この音楽を聴いてみてください。 See the Pen MusicTransformerDemo by NayuSato (@nayusato) on CodePen. 埋め込みが見られない場合はここ これはGoogleの自動作曲Music Transformerが生み出した曲の1つです。 入力は、最初の6秒だけ。 クラシックのドビュッシー「月の光」の冒頭6秒だけを与えて、その続きを全て作らせるというタスクを行わせています。 十分聴き入って感動できるような曲に仕上がっています。 ケチをつけられる点がないとは言わないけれど、「人の作った曲です」と言われても識別できないほどの精度になっています。 「Music Transformer」 2018年Googleが発表した自動作曲のAI。 自然言語処理のアルゴリズムであるTransformerを音楽に適用することにより、そ
AWS による Jupyter の 生成系 AI の民主化とノートブック実行のスケールのための新しい拡張機能を発表 | Amazon Web Services
Amazon Web Services ブログ AWS による Jupyter の 生成系 AI の民主化とノートブック実行のスケールのための新しい拡張機能を発表 Project Jupyter は複数のステークホルダーで運営されるオープンソースプロジェクトであり、データサイエンス、機械学習、計算科学のためのアプリケーションだけでなく公開標準やツールも開発しています。なかでも、2011 年にリリースされた Jupyter Notebook は学術、研究、産業のあらゆる分野で世界で数百万人のユーザーが使用するデファクトスタンダードのツールとなりました。Jupyter ではユーザーがコードやデータをインタラクティブに実行でき、完全に再現可能な作業記録として作成、共有することが可能です。 AWS はデータサイエンティストや機械学習エンジニアにとって欠かせない Jupyter を開発する Proj
人気のディープラーニングフレームワーク３つを比較 / PyTorch, Keras, TensorFlow - mlog
ディープラーニングフレームワークを使ってみようと思い、人気の３つのフレームワークを比較 してみました。 今回は、比較した内容を簡単にまとめてみたいと思います！ 比較したフレームワークは以下の３つです。 PyTorch Keras TensorFlow ※ モバイルからだとグラフが表示されない事があります。上手く表示されない場合はPCからのアクセスを試してみたください。 目次 はじめに 執筆時点の比較 人気度の動向 すべての国 日本 地域別比較 すべての国 日本 最近の動向 人気度の動向 すべての国 日本 地域別比較 すべての国 日本 まとめ はじめに 執筆時点の比較と最近の動向を紹介・補足したいと思います。 最近の動向については、随時変化するため、グラフの紹介のみに留めたいと思います。 執筆時点の比較 人気度の動向 ※ 2015-06-25 ～ 2020-06-25 の地域別比較 すべての
はじめに 東大松尾研のデータサイエンティスト養成講座を受けてみて、アウトプットしないのももったないので、今後データサイエンティストを目指そうという方に向けて自分がためになったと思ったことをつらつらと書いていきます。 データサイエンティストとは（定義） ビジネスの課題に対して、統計や機械学習（数学）とプログラミング（IT）スキルを使って解決する人 次のうちどれかが欠けてもデータサイエンティストとは言えない 数学や統計の知識 実装できるエンジニアリング能力 ビジネス課題を解決していくコンサルティング能力 参考URL: https://www.zs.com/services/technology/technology-services/big-data-and-data-scientist-services.aspx これを聞くとデータサイエンティストになるにはすごい難しいと自分は感じました。
TensorFlow 2.0 のコードの書き方基本集（PyTorchとの比較） - HELLO CYBERNETICS
はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い：層の定義の仕方 些細な違い：ロス関数の書き方 大きな違い：勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワーク PyTorch TF2.0 違い パディング 畳み込み層→線形層 traininigフラグ RNN PyTorch TF2.0 違い 大きな違い：多層化 些細な違い：Bidirectional 大きな違い：戻り値の並び 学習 はじめに 最近KerasからPyTorchに流れていく人たちが多く見受けられます。その中でて「Kerasで書いていたコードをPyTorchのコードで実装するにはどうすれば良いんだろう？」という声があります。要は、今まで使っていたフレームワークでやろうとしていたことを、別のフレームワークでやろ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
意外と奥が深い、HDFの世界（Python・h5py入門） - Qiita
ディープラーニングでモーガン・フリーマンとココナッツチョコレートを識別してみる
Macでも高速に機械学習できるかもしれないPlaidMLを試してみた - Qiita
Optimizer : 深層学習における勾配法について - Qiita
Googleが誇る自然言語処理モデル「BERT」のAIを簡単に作れるWebアプリを作ってみた - Qiita
【機械学習】学習プラットフォーム10選！ - Qiita
Kaggle Facial Keypoints DetectionをKerasで実装する
機械学習の書籍多いけど、どれ買えば良いの？レベル別にオススメ！！＜初心者向け＞ - Qiita
[最新論文]MirrorGANをKerasで実装した話 - Qiita
学習率の決め方 -LR range testとCyclical Learning Rate-
ディープラーニングで日経平均を予想してみる - Qiita
Home of Windows Essencials Codec Pack
機械学習関連を取り扱うはてなブログを探してみた - HELLO CYBERNETICS
iPhone XのFace IDを、Pythonとディープラーニングで再現する方法 | POSTD
【Ruby Kaigi 2017レポート】Rubyでデータサイエンスは出来るのか？
LIMEで機械学習の予測結果を解釈してみる - Qiita
【Google Colaboratory】WebブラウザでPythonを使う方法
KerasがTensorFlow本体に統合される？ - studylog/北の雲
SVMは復権し得るか？ - 渋谷駅前で働くデータサイエンティストのブログ
ペパボインフラ丸裸！ 第1回 技術部&BPR TechMTG - Pepabo Tech Portal
Google ColaboratoryのTPUを試してみる
自動作曲AI Music Transformerの衝撃 - Qiita
東大松尾研データサイエンティスト養成講座を受けてみてためになったこと - Qiita