ニューラルネットワークで時系列データの予測を行う - Qiita
Hopfield networkは、一般的なクラス分類以外に最適化問題への応用が可能なモデルです。 Elman/Jordanは、Simple recurrent networksと言われているように一番シンプルな形となっています。RNNを利用したい場合はまずどちらかでやってみて、精度的な問題があるのなら他の手法に切り替えてみる、というのがよいのではないかと思います。 Elman/Jordanの違いは上記のとおりですが(前回データの反映が隠れ層から行われるか、出力層から行われるか)、こちらにも詳しく書かれています。精度的な優劣はありませんが、隠れ層の数によって次に伝播する量を変化させられるElmanの方が柔軟と言えると思います。 Echo state networkは毛色が違ったモデルで、ノードを事前に結合せずReservoir(貯水池などの意味)と呼ばれるプールに貯めておき、入力が与えられ
Keras Documentation
Keras is now available for JAX, TensorFlow, and PyTorch! Read the Keras 3.0 release announcement "Keras is one of the key building blocks in YouTube Discovery's new modeling infrastructure. It brings a clear, consistent API and a common way of expressing modeling ideas to 8 teams across the major surfaces of YouTube recommendations." Maciej Kula Staff Software Engineer - Google "Keras has tremendo
実践多クラス分類 Kaggle Ottoから学んだこと
Kaggleのコンペに参加することで�色々な実践的ノウハウを学んだので�そのノウハウを共有する p.3～53 コンペ中に自分がやったこと�p.54～99 ハイランカーがやっていたこと�p.100～ ハイランカーかやっていたことを�自分も実際にやってみるRead less
Scikit-learnでハイパーパラメータのグリッドサーチ - Qiita
使い方忘れるのでメモ． Scikit-learnのドキュメントのサンプルを少し改変したものとその実行結果． ソースコード: # -*- coding: utf-8 -*- from sklearn import datasets from sklearn.cross_validation import train_test_split from sklearn.grid_search import GridSearchCV from sklearn.metrics import classification_report, confusion_matrix from sklearn.svm import SVC ## データの読み込み digits = datasets.load_digits() X = digits.data y = digits.target ## トレーニングデータ
Tatsu's Blog
Co-Founder, Ex-CTO of Connehito, Inc.Angel investorSoftware Engineer, Ph.D.Please see more details here PostsStartup in LATAM ⑤ : Mexico, the largest Spanish-speaking market in LATAM, shaping ambitious startupsMay 03, 2021 Read post →Startup in LATAM ④ : Unicorn from Colombia, fueled by the economic crisis in neighboring VenezuelaFeb 23, 2021 Read post →My view on the Good and Ugly of Impact Inves
勾配ブースティングについてざっくりと説明する - About connecting the dots.
最近xgboostがだいぶ流行っているわけですけど，これはGradient Boosting（勾配ブースティング）の高速なC++実装です．従来使われてたgbtより10倍高速らしいです．そんなxgboostを使うにあたって，はてどういう理屈で動いているものだろうと思っていろいろ文献を読んだのですが，日本語はおろか，英語文献でもそんなに資料がなかったので，ある程度概要を把握するのに結構時間を食いました． そんなわけで，今回は自分の理解の確認も兼ねて，勾配ブースティングについてざっくりと説明してみようかと思います．とはいえ生理解な部分も結構あるので，マサカリが飛んできそう感が大いにしています．腑に落ちる的な理解を優先しているため，数式は一切出てきません． 勾配ブースティングとは 複数の弱学習器を組み合わせるアンサンブル学習には，いくつかの手法がありますが，ブースティングは逐次的に弱学習器を構築し
パッケージユーザーのための機械学習(12)：Xgboost (eXtreme Gradient Boosting) - 六本木で働くデータサイエンティストのブログ
今やKaggleやKDD cup以下名だたる機械学習コンペで絶大な人気を誇る分類器、Xgboost (eXtreme Gradient Boosting)。特にKaggleのHiggs Boson Machine Learning Challengeの優勝チームが駆使したことで有名になった感があるようで。 その実装ですが、C++ベースで高速化したものにRとPythonのラッパーをつけたものが既にGitHubで公開されています。 Rパッケージである{xgboost}のインストールについての注意事項は前回の記事に書いていますので、インストールの際はご参考にしていただければと。 さて。これだけ大人気の分類器となると国内外問わず色々な解説記事に溢れておりまして、例えば日本語ブログでもこれだけの記事が既に出てます。 勾配ブースティングについてざっくりと説明する - About connecting
Caffe | Deep Learning Framework
Caffe Caffe is a deep learning framework made with expression, speed, and modularity in mind. It is developed by Berkeley AI Research (BAIR) and by community contributors. Yangqing Jia created the project during his PhD at UC Berkeley. Caffe is released under the BSD 2-Clause license. Check out our web image classification demo! Why Caffe? Expressive architecture encourages application and innovat
ＢＥＳＯＭ（ビーソム）ブログ LSTM 、ちょっとだけ理解を試みる
ＢＥＳＯＭ（ビーソム）は、ベイジアンネットを用いて大脳皮質の情報処理を再現する機械学習アルゴリズムです。ＢＥＳＯＭに関連する研究者向けの情報発信をしていきます。（内容は個人の意見であり所属する組織の見解ではありません。） 時系列データを学習するニューラルネットの一種、 LSTM について、 ちょっとだけ理解しようと試みたので、自分用のメモをここに書いておきます。 「Long Short-Term Memory in Recurrent Neural Networks」 http://www.felixgers.de/papers/phd.pdf ドイツ Hannover 大、 FELIX GERS の Thesis, 2001 。 p.11 に「従来の（初期の）ＬＳＴＭ」の全体像が書かれている。 が、メモリブロックが１つに省略されているので全体像が分かりにくい。 （ＲＮＮの中間層の各ユニッ
Torch | Getting started with Torch
Getting started with Torch Edit on GitHub Installing Torch We provide a simple installation process for Torch on Mac OS X and Ubuntu 12+: Torch can be installed to your home folder in ~/torch by running these three commands: # in a terminal, run the commands WITHOUT sudo git clone https://github.com/torch/distro.git ~/torch --recursive cd ~/torch; bash install-deps; ./install.sh The first script i
Torch7の分かりにくい話 - デー
Facebookがtorchの拡張を公開したこともあり、torchを使ってみている方も出始めたようなので、自分がtorchで使う上で分かりにくかったことやハマったことなどを上げていきます。 ある程度使っている方を前提としています。 ひどいことをたくさん書きますが、torchが嫌いなわけではありません。torchはサイコーです。 リリースやバージョンについて ezinstallはgitのリポジトリをcloneしてインストールします。torchは今のところリリースの管理などしていなくて、日々更新される開発リポジトリがあるだけなので、インストールした日によって異なるバージョンがインストールされます。 たまに以下のようなコマンドを実行して更新したほうがいいです。 #!/bin/sh sudo luarocks install cwrap sudo luarocks install torch su
Torch7で複雑なモデルを書くときに便利な技 - デー
Torch7はnnに用意されている部品を組み合わせることで複雑なモデルを作れて便利なのですが、複雑なモデルは入力ベクトル(orテンソル)を様々形に変換しながら実行するので、どの時点でどのサイズになっているか分からなくて書くのが難しいというのがあります。 たとえば、伝統的なCNNは、Torch7で以下のように書くのですが require 'nn' function cnn_model() local model = nn.Sequential() -- convolution layers model:add(nn.SpatialConvolutionMM(3, 128, 5, 5, 1, 1)) model:add(nn.ReLU()) model:add(nn.SpatialMaxPooling(2, 2, 2, 2)) model:add(nn.SpatialConvolutionMM
[MLAC 2013 7日目] Torch7でお手軽ニューラルネットワーク - a lonely miner
はじめに この記事は Machine Learning Advent Calendar 2013 の 7日目の記事です． 2013年，Deep Learning もアカデミックレベルではさまざまな分野への浸透が進み，バズワードの域を脱したように思えます． これまでは，機械学習というと，応用分野においては(分類/回帰といった)タスクを決めてしまった上でブラックボックスとして 扱うもの，という空気がありましたが， Deep Learning に代表される柔軟な，いかようにも組み上げられるモデルは，問題の性質を積極的に(特徴量としてではなく，モデル自体に)組み込むことを容易にする，大きな武器になるのではないかと感じています． 素性エンジニアリング vs モデルパラメータエンジニアリング の不毛な戦いが幕を上げた，という見方もできちゃいそうですが・・・．． さて今回は， Torch7 という，Ne
![[MLAC 2013 7日目] Torch7でお手軽ニューラルネットワーク - a lonely miner](https://cdn-ak-scissors.b.st-hatena.com/image/square/be0f4e8c7e927775c6d1d3ce704d32b08e1915a3/height=288;version=1;width=512/http%3A%2F%2Fconditional.github.io%2Fimages%2Ftorch%2Ffeatures.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://dl.acm.org/doi/10.1145/1143844.1143891