確率的勾配降下法とは何か、をPythonで動かして解説する - Qiita
勾配降下法は何に使う？ 勾配降下法は統計学や機械学習で多く使われています。特に機械学習というのは基本的に何かしらの関数を最小化（最大化）する問題を数値解析的に解くことに帰結する場合が多いです。（e.g. 最小二乗法 → 誤差の二乗和を最小化（参考）、ニューラルネットワークのパラメータ決定 etc...） なので、基本的にはひたすら微分して0となるところを探す問題ですね、微分して0。で、その微分して0となる値は何か、をプログラムで解く場合に重要になるのがこの勾配降下法です。幾つか勾配法にも種類がありますがここでは最急降下法、確率的勾配降下法の２つを扱います。まずはイメージをつかむために１次元のグラフで確認していきたいと思います。 1次元の場合 1次元の場合は、確率的という概念はなく、ただの勾配降下法になります。 （どういうことか、はのちほど） 1次元の例は、正規分布をマイナスにしたものを使っ
機械学習の分野別概要【ディープ〜ベイズ】 - HELLO CYBERNETICS
はじめに ディープラーニング 概要 方法論 ツール 伝統的機械学習 概要 方法論 ツール ベイズ機械学習 概要 方法論 ツール 最後に はじめに 今回は機械学習のいろいろな分野（便宜的に分けているだけですが）についてそれぞれ概要とツールをまとめておきたいと思います。具体的には以下の３つに分けて書いています。 ディープラーニング 伝統的機械学習 ベイズ機械学習 注意点として、これらは本来別々に完全に分けて考えるものでもなく、混ぜて使うことができたり、あるいは理論的背景を共有していたりするものです。しかし、現状多くの場面ではこれらは用途に応じて使い分けられているのが実体であるため、あくまで使う側の立場でこれらの概要とツールについて述べていきます。 ディープラーニング 概要 ディープラーニングは言わずと知れた、機械学習の大流行の引き金となった存在です。 ディープラーニングのメインとなる存在である
GANによる超解像がもたらす新しい方向性と「The Perception-Distortion Tradeoff」の話 - Think more, try less
CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう
Deep Learningによる超解像の進歩
This document summarizes recent advances in single image super-resolution (SISR) using deep learning methods. It discusses early SISR networks like SRCNN, VDSR and ESPCN. SRResNet is presented as a baseline method, incorporating residual blocks and pixel shuffle upsampling. SRGAN and EDSR are also introduced, with EDSR achieving state-of-the-art PSNR results. The relationship between reconstructio
AIにおける予測と解釈性を両立、説明可能AIの提供を開始
電通国際情報サービスは、simMachinesが開発したAIソリューション「simMachines」の販売権を取得し、提供を開始した。従来は難しいとされてきた「予測」と「予測に至る解釈の提示」を可能にし、数千項目の変数を持つデータにも対応する。 電通国際情報サービス（ISID）は2018年6月26日、simMachinesが開発したAI（人工知能）ソリューション「simMachines」の販売権を取得し、提供を開始した。 ディープラーニングなど、現在AIの主流である技術は、予測はできるが予測に至った根拠を示すことができず、公平性や透明性が求められる領域へは適用しにくかった。また、ディープラーニングや類似検索で用いるアルゴリズムは、データにひも付く変数が増加するにつれて十分な学習結果が得られにくくなる。 simMachinesは、世界的に注目されているXAI（説明可能AI）の1つで、「予測」
ゼロから学ぶディープラーニング推論
本サイトの活用方法 現在、たくさんのディープラーニング技術情報が溢れていますが、数学や専門用語、プログラミング、フレームワーク、環境構築、用途、種類、フェーズなど、理解しなければならい項目が多く、何から学習すれば良いか分からず、ハードルが高いのが現状です。 ディープラーニングは、主に「学習」と「推論」に分かれます。まずは理解し易く応用に繋がる「推論」を学ぶことで、ディープラーニング使いこなすことへの近道となります。さらに、Neural Compute StickとRaspberryPiを使うことにより、小さくて安価な人工知能を作り出すことが可能です。本サイトでは、初心者の方から理解できるように、「そもそも何が必要でどこで買えば良いのか」から始まり、「インストール方法」、「各種ツールの使い方」、「プログラミング基礎」、「サンプルソースコード解説」などを徹底的に丁寧に行います。お手元にNeur
『仕事ではじめる機械学習』＆『前処理大全』著者対談（Part 1）
今回より4回を予定して、書籍『仕事ではじめる機械学習』著者の有賀康顕さん、『前処理大全』著者の本橋智光さんの対談をお届けいたします。ひょんなことから実現した今回の対談、今話題の機械学習を中心に、さまざまな角度からのお話しが飛び出します。まずはお二人の著書の話題から… 書籍の評判と執筆の苦労 （名刺交換をするお二人…） 有賀： そうか、CTOですもんね。 本橋： CTOと言ってもエンジニアは僕入れて4人ですけどねｗ 有賀： よくあるスタートアップのCTOって最初のエンジニアで、みたいな感じで。だから4人いるんだったら、ハイアリングがもうできるようになったという。 本橋： でも、いまAndroidエンジニアがいないから僕Androidアプリ書いてますよｗ もう少しすると入社する予定ですけれど。 有賀： スタートアップのCTOはできることは何でもやるということで。いやあ。ご活躍されていて。 本橋
【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/ Deep Learning基礎講座を自習する - Qiita
2. numpy, scipy, scikit-learn の使い方を理解する 3. k-Nearest Neighbors (k-NN) を使った手書き文字認識 4. ロジスティック回帰の実装と学習、活性化関数とその微分の実装、多層パーセプトロンの実装と学習 5. Tensorflowの基礎を学ぶ 6. Denoising Autoencoderの実装. また, MNISTを用いて次のことを確認、Stacked Denoising Autoencoder (SdA) の実装 7. 畳み込みニューラルネットワーク(Convolutional Neural Networks)の実装と学習 8. CIFAR10データセットを使ったAugmentation、前処理、Batch Normalization、CNN実装、Activation可視化 9. Recurrent Neural Networ
機械が見出しを自動生成！編集業務をテクノロジーで変革する朝日新聞社 (1/2)
2018年5月31日、AWS Summit 2018において「機械学習を用いた編集業務の生産性向上への取り組み」というセッションを披露した朝日新聞社。メディアの激変にテクノロジーに立ち向かう同社のエンジニアが、機械学習を用いた編集業務の省力化・自動化について説明した。 現場の課題を解消する実用度の高い機械学習活用 セッションは登壇者の自己紹介と組織の説明からスタートする。前半に登壇した落合隆文氏が所属する情報技術本部は、朝日新聞社内のITエンジニアを統合し、2015年に発足した組織で、新聞製作や社内業務、「朝日新聞デジタル」のシステム開発などを担当。また、「ICTRAD」と呼ばれる本部横断チームで、機械学習を用いた研究開発にも取り組んでいるという。 落合氏らのチームは、おもに現場の課題を聞き取り、社内サービスを構築。まずはプロトタイプからスタートし、ニーズのあるものは本番サービスに仕上げて
文章特徴抽出ライブラリWordBatchを試してみる - Qiita
GWを使って、文章から特徴を抽出するライブラリwordbatchを試しました。wordbatchって何なの？って人も見たことあるって人もこれから使ってみようという人にも役に立てればと思います。 WordBatchとは こちらで公開されております。 一言で言うと 「機械学習用の並列処理テキスト抽出ライブラリ(予測器付き)」です。 ミニバッチで文章からの特徴抽出を行うため、少ないメモリかつ並列処理で文章からの特徴抽出が可能です。カスタマイズ性も高く、他のライブラリをそのまま置き換えることができます。 また、wordbatchというライブラリは文章特徴抽出器の他に、単一ラベル用のオンラインで並列処理できる予測器も備えています。こちらも実際にメモリに乗りづらい大きいデータの予測などに活用できると思われます。 ユースケースとしては、以下の要望に応えられるものかと思います。 なるべく時間かけずに文章の
データ分析で頻出のPandas基本操作 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最
SSDで道路の損傷を検出した - Qiita
はじめに SSD(Single Shot Multibox Detector)で道路の損傷を検出しました． 作業環境等に関しては株式会社パソナテックさんにご協力いただきました． なお成果物は学習済みモデルとともにGitHubに公開されています． 不具合もまだ複数あると思いますので，気軽にissueを立てていただければと思います． やったことを最初から文章で説明するより，まずは成果物を見ていただいたほうが早いと思うので，デモをお見せします． このように，横断歩道やセンターラインのかすれ，陥没，ひび割れなどを検出することができます． 道路の損傷を検出する方法はいろいろありますが，画像認識を用いるならば，車で移動しながらスマホや車載カメラでリアルタイムに検出できると便利です． このような認識手法を採用するのであれば，デバイスの制約により，計算量が小さいモデルが求められます． 道路の損傷を物体認識
「TensorFlow.js」公開、Webブラウザ上で機械学習の開発、学習、実行が可能に。WebGL経由でGPUも活用
「TensorFlow.js」公開、Webブラウザ上で機械学習の開発、学習、実行が可能に。WebGL経由でGPUも活用 TensorFlow.jsの基となったオリジナルの「TensorFlow」は、Googleが開発しオープンソースとして公開されている機械学習ライブラリです。Windows、Mac、Linuxなどに対応し、Python、C＋＋、Java、Goなどに対応したAPIを備えています。 今回発表されたTensorFlow.jsはそのJavaScript版で、Webブラウザ上で実行可能。TensforFlow.jsのAPIはオリジナルTensorFlowのPython APIのすべてをサポートしているわけではありませんが、似た設計となっており、機械学習のモデルの構築、学習、学習済みモデルの実行が可能なほか、学習済みモデルのインポートも可能。 WebGLを通じてGPUを利用した処理の高
KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog
週末KagglerとしてavazuのCTR予測コンペに参加しました。Kaggleは機械学習版のISUCONだと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に行けたので、そこまでの試行錯誤をメモしておきます。謎ノウハウ(?)を持っているガチ勢じゃないと上位に行けないものかと思っていましたが、基本に忠実にやればこれくらいの順位(上位7.6%)に行けましたし、他の人の工夫を垣間見えるという意味でも現場の機械学習やり始めたエンジニアにお薦めできそうでした。 参加の動機 目標感: 頑張りすぎずに上位10%以内に入る 試行錯誤 AthenaとRedashによる探索的データ解析 ベンチマークをまず超える 線形分類器でシンプルな特徴量 時系列要素を忘れていて過学習発生 特徴量エンジニアリン
Pythonでの数値計算ライブラリNumPy徹底入門
NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste
ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball
今日で週休七日生活が終わる野球エンジニアこと@shinyorkeです. 昨年末に,BigQueryに突っ込んだ野球データでダルビッシュ有さん（@faridyu）の投球データについてかる～く調べてみました. 「今年こそPythonでデータ分析するぞ！」 「BigQueryをPythonから使いたいぞ！」 っていう野球好きの方の参考になれば幸いです. なお今回はホントにデータを覗き見した程度の軽いネタです. TL;DR 投球コースを散布図で可視化するといい感じになる 球種と結果をSankey Diagramにするのも面白い BigQueryとJupyter,pandasの組み合わせすっごい楽 次回はPySparkあたりで学習とかさせたい 多分おそらく@faridyuさんはここに書いた分析と傾向の斜め上をいくと思ういや行って欲しい（ファンとして） Starting Member TL;DR St
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
資格試験について
「ゼロから作るディープラーニング」を動画でまとめている人がいたので紹介します。｜Dai
Booking.comは機械学習のためにどのようにKubernetesを使っているか
長文日記
