kaz_uki_1014のブックマーク (945)

  • Graph embedding の RESCAL [ICML'11] を実装した - でかいチーズをベーグルする

    最近Graph embeddingに興味があって調べてるので有名っぽいRESCAL [ICML'11] をとりあえず実装してみた。さすが結構引用されてるだけあって簡単お手頃に実装できた。やっぱシンプルさ大事。 Graph embedding 入力 グラフ G = (V,E) 出力 それぞれの頂点 に対して r次元ベクトルを1つずつ 要するにグラフ上の頂点の特徴を表す特徴ベクトルがほしいってこと。Representation learningとも言える。グラフ(上の頂点)をベクトル空間上に "埋め込む" からGraph embeddingと呼ばれている。この特徴ベクトルを使うことで普通のベクトルベースの機械学習手法をグラフにそのまま適用できるからうれしいねということになる。 RESCAL ICML'11で提案されて、WWW'12でちょっと修正&拡張されてちょっとでかめの実データで実験されてる

  • 一人暮らしメンズへ。おしゃれインテリアでモテ部屋に

    部屋をおしゃれに演出したい! せっかく家具を新調するなら、カッコいい空間をつくりたい! という方に、おすすめのインテリア家具をご紹介します。デザイン性が高く、男らしさを感じさせる家具達でお部屋をまとめてコーディネート。イメージはクールでシンプルだけど、木の温もりは欠かせない。主にブラウン×ブラックを掛け合わせた、メンズスタイルはどうですか? 今回は一人暮らしのメンズにおしゃれインテリア家具を特集します。ぜひ、参考にしてモテ部屋を作ってください。 ムク・ブラウン(MUKU-brown) レザーソファー 天然木を使用したベーシックなフォルムスタイル。カラーはブラック・ブラウン・アイボリーの全3色。座り心地はフワフワクッションで、長時間でもゆったりくつろげるスペースを確保できます。フレーム部分はアッシュ材で、木目調のスッキリとした直線ライン。1年保証付きで安心して購入できます。アンティークなイン

    一人暮らしメンズへ。おしゃれインテリアでモテ部屋に
  • Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

    We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time. At training-time the binary weights and activations are used for computing the parameters gradients. During the forward pass, BNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations, which is expected to substan

    kaz_uki_1014
    kaz_uki_1014 2016/02/11
    Title:BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1Abstract: We introduce BinaryNet, a method which trains DNNs with binary weights andactivations wh...
  • Binarized Neural Networks

    We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time and when computing the parameters' gradient at train-time. We conduct two sets of experiments, each based on a different framework, namely Torch7 and Theano, where we train BNNs on MNIST, CIFAR-10 and SVHN, and achieve nearly state-of-the-art results. During the forward

    kaz_uki_1014
    kaz_uki_1014 2016/02/11
    Abstract: In this work we introduce a binarized deep neural network (BDNN) model. BDNNsare trained using a novel binarized back propagation algorithm (BBP), whichuses binary weights and binary neuro...
  • 15 Must-Have Apps for Those Who Spend All Day on a Mac

    Our list of the best Mac apps already caters to all kinds of users, but today we have a set of apps aimed squarely at those who are glued to their MacBooks and iMacs all day. These powerful utilities are designed to enhance your everyday Mac OS X experience. They'll make your digital workflow not just more productive, but also more comfortable and pleasant. We have saved applications like office s

    15 Must-Have Apps for Those Who Spend All Day on a Mac
  • Chainerで学ぶLSTM - kivantium活動日記

    このブログで何回も取り上げているように、ニューラルネットワークを用いた機械学習はかなりの力を発揮します。畳み込みニューラルネットワーク(convolutional neural network, CNN)は画像中で近くにあるピクセル同士の関係に注目するなど画像の特徴をうまくとらえたネットワークを構築することでかなりの成功を収めています。ノーフリーランチ定理が示唆するように万能の機械学習器は存在しないため、対象とするデータの特徴を捉えた学習器を構築することが機械学習の精度を上げる上で重要になります。 そこで今回は時系列データの解析に向いた回帰結合ニューラルネットワーク(recurrent neural network, RNN)の精度を上げるのに重要なLSTMを取り上げます。 この記事では誤差逆伝搬などのニューラルネットワークの基知識は説明しません。誤差逆伝搬についてはPRMLの5章やNe

    Chainerで学ぶLSTM - kivantium活動日記
    kaz_uki_1014
    kaz_uki_1014 2016/02/01
    2016 - 01 - 31Chainerで学ぶLSTMこのブログで何回も取り上げているように、 ニューラルネットワーク を用いた 機械学習 はかなりの力を発揮します。畳み込み ニューラルネットワーク (convolutional neural network, CNN)は画像中で近くに
  • https://qiita.com/gash717/items/eaba532730bad7a67efd

    kaz_uki_1014
    kaz_uki_1014 2016/01/30
    x^{(i)}_{\mathrm{norm}} = \frac{x^{(i)} - x_{\mathrm{min}}}{x_{\mathrm{max}} - x_\mathrm{min}}平均0, 標準偏差1となるように変換すること. 機械学習ではnormalizationよりこちらを用いるほうが多い. 理由としては, 値が正規分布に従うようになるので重
  • 変分ベイズの自分向けの説明

    StanでADVIが使えるようになったので、変分ベイズの基礎は抑えておきたいなぁと思って最近学んでいました。自分向けのメモとして残します。 ●対数周辺尤度・変分下限・KL情報量 目的は事後分布 の最もよい近似となる を求めることです。 にはあとで因子分解可能 という条件を入れます。 イエンセンの不等式を使って、対数周辺尤度 を下から評価すると、          を変分下限と呼びます。任意の関数 の関数です。対数周辺尤度はevidenceとも呼ばれるため、変分下限はevidence lower bound、略してELBOとも呼ばれます。対数周辺尤度と変分下限の差は、          となります。これは と事後分布 のKL情報量(Kullback-Leiblerdivergence)です。対数周辺尤度が にはよらない、データ のみから決まる定数であることを考えると、事後分布の最もよい近似と

  • Your Cart tells You: Inferring Demographic Attributes from Purchase Data (WSDM 2016) 読んだ - 糞糞糞ネット弁慶

    Your Cart tells You: Inferring Demographic Attributes from Purchase Data(pdf) 概要 購買履歴からユーザの属性(年齢,性別,結婚状況,収入,学歴)を同時に推定する. つまり,複数の属性を同時に推定する multi-task multi-class prediction に取り組む. 手法 : Structured Neural Embedding (SNE) 至ってシンプル. ユーザ が購買した商品を bag-of-items として持つ また, の属性を 1-hot encoding する 例えば,性別が二種類,年齢が四種類,結婚状況が二種類だとしたらそれぞれをラベル数だけのベクトルとしてみなす その上で2+4+2次元のベクトルをすべてつなげて8次元のベクトル にする 各商品を 次元に embedding する

    Your Cart tells You: Inferring Demographic Attributes from Purchase Data (WSDM 2016) 読んだ - 糞糞糞ネット弁慶
    kaz_uki_1014
    kaz_uki_1014 2016/01/20
    Your Cart tells You: Inferring Demographic Attributes from Purchase Data(pdf) 概要 購買履歴からユーザの属性(年齢,性別,結婚状況,収入,学歴)を同時に推定する. つまり,複数の属性を同時に推定する multi-task multi-class prediction に取り組む
  • 最近のDeep Learning (NLP) 界隈におけるAttention事情

    Neural Network with Attention Mechanism for Natural Language Processing: survey Read less

    最近のDeep Learning (NLP) 界隈におけるAttention事情
    kaz_uki_1014
    kaz_uki_1014 2016/01/20
    最近のDeep Learning (NLP) 界隈におけるAttention事情1.Attentionkiyukuta最近のDeep Learning界隈における事情neural network with attention: survey2016/01/182.今日はこんな形,よく見ることになります== iit tなんか計算ii3.今日はこんな形,よく見るこ
  • [OSX / Linux] ターミナルのプロセスが終わると通知を表示する Noti

    これはターミナルでのコーディングが仕事の大きな部分になっている人にとって、小さいですが、とても便利な仕組み。 Noti はターミナルプロセスが終了するのを待って、OSX / Linux マシン上で小さな通知窓を表示します。処理に長い時間がかかるコマンドを入力した際に、それが終わるのをたとえ十数秒であってもぼうっと待っている必要はありません。プロセスが終了すると Noti が音とともに通知を発生させます。 数秒以上の待ち時間を有効活用 たとえばちょっと大きめのディレクトリで tar コマンドでファイルをかためている際などに、終了までしばらく時間があると、ぼうっと待っているのも無駄ですし、「終わったかな」といちいちウィンドウを見に行くのも面倒なことです。noti を使えば: noti tar -cjf music.tar.bz2 Music/ という一行のコマンドで通知が発生してポップアップが

    [OSX / Linux] ターミナルのプロセスが終わると通知を表示する Noti
  • Loading...

    Loading...
    kaz_uki_1014
    kaz_uki_1014 2016/01/16
    Tweet所属している会社のテックブログで、機械学習で必要な数学の知識をまとめている。 かなり強引な解説も多い。 機械学習を学ぶための準備 その1(微分について) 機械学習を学ぶための準備 その2(級数と積分について
  • Brad Neuberg: Ten Deep Learning Trends at NIPS 2015

    I attended the Neural Information Processing Systems (NIPS) 2015 conference this week in Montreal. It was an incredible experience, like drinking from a firehose of information. Special thanks to my employer Dropbox for sending me to the show (we're hiring!) Here's some of the trends I noticed this week; note that they are biased towards deep and reinforcement learning as those are the tracks I at

  • Photo Tourism: Microsoft Research, Interactive Visual Media Group

    Deep Learning allows computational models composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object recognition, object detection, and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large datase

    Photo Tourism: Microsoft Research, Interactive Visual Media Group
    kaz_uki_1014
    kaz_uki_1014 2015/12/27
    Speaker    Geoffrey E. Hinton, Yann LeCun, and Yoshua BengioDeep Learning allows computational models composed of multiple processing layers to learn representations of data with multiple levels of a...
  • KINGGACOR | Situs Slot Gacor Gampang Menang dan Slot88 Maxwin Tertinggi Hari Ini

    Welcome to KINGGACOR Situs online terpecaya dan terkuat di muka bumi Pemeliharaan Terjadwal: ION Slot pada 2024-07-12 dari 7.00 AM sampai 11.00 AM (GMT + 7). Selama waktu ini, ION Slot permainan tidak akan tersedia. Kami memohon maaf atas ketidaknyamanan yang mungkin ditimbulkan. Pemeliharaan Terjadwal: Pinnacle pada 2023-08-08 dari 12.45 PM sampai 2025-06-03 12.30 AM (GMT + 7). Selama waktu ini,

    KINGGACOR | Situs Slot Gacor Gampang Menang dan Slot88 Maxwin Tertinggi Hari Ini
    kaz_uki_1014
    kaz_uki_1014 2015/12/26
    Guest Post (Part I): Demystifying Deep Reinforcement LearningTwo years ago, a small company in London called DeepMind uploaded their pioneering paper “ Playing Atari with Deep Reinforcement Learning ...
  • わかるLSTM ~ 最近の動向と共に - Qiita

    Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2~3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日語文献はあまり見当たらない。はて、どういうことでしょうか。 記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ

    わかるLSTM ~ 最近の動向と共に - Qiita
    kaz_uki_1014
    kaz_uki_1014 2015/12/15
    Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。この記事の目的ここ2~3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種
  • Chainerと読む「深層学習」-vol.1 - pip install deeplearning

    「深層学習 (機械学習プロフェッショナルシリーズ) 」をChainerのコードと交えて読み進めようという趣旨。 こんにちは。最近DeepLearningの学習環境が整ってきていますね。 先日「機械学習(DeepLearing)のと実際のコードを交えた資料があるとわかりやすい」という声を聞いたので、"Chainerと読む「深層学習」"をやってみたいと思います。 手探りで試行錯誤しながらなので、何か質問や意見があればコメントをください。 今回は導入として内容は2つです。 環境設定 深層学習の概要 では、よろしくお願いします。 Chapter0 事前準備 僕の機械学習環境を紹介します。 この記事を読むにあたって、必要なものは随時用意しましょう。 深層学習 (機械学習プロフェッショナルシリーズ) MacBookPro(OSX Yosemite, CPU:corei7 2.7Ghz, メモリ:8G

    Chainerと読む「深層学習」-vol.1 - pip install deeplearning
    kaz_uki_1014
    kaz_uki_1014 2015/12/09
    2015-12-08Chainerと読む「深層学習」-vol.1「深層学習 (機械学習プロフェッショナルシリーズ) 」をChainerのコードと交えて読み進めようという趣旨。こんにちは。最近DeepLearningの学習環境が整ってきていますね。先日「機械学習(D
  • 【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる - Qiita

    はじめに エヴァンゲリオン20周年おめでとうございます 加えて、アスカの誕生日もおめでとうございます。(4日遅れ) Twitter Bot等でも使われている、文章の自動生成を流行りのDeepLearningの1種であるリカレントニューラルネットワーク(以下:RNN)を使ってやってみました。 データ集め 何はなくともまずはデータが無いと始まりませんね。 書き起こしも覚悟してましたが、アニメ全セリフをまとめてあるありがたいサイトが有りました。感謝。 こちらから全セリフを抽出しました。 セリフのフォーマットはこんな感じで、キャラ名 「セリフ」になってます。 放送「日、12:30分、東海地方を中心とした関東中部全域に特別非常事態宣言が発令されました。住民の方々は速やかに指定のシェルターに避難してください」 放送「繰り返しお伝えいたします…」 ミサト「よりによってこんな時に見失うだなんて、まいった

    【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる - Qiita
    kaz_uki_1014
    kaz_uki_1014 2015/12/09
    はじめにエヴァンゲリオン20周年おめでとうございます 加えて、アスカの誕生日もおめでとうございます。(4日遅れ)Twitter Bot等でも使われている、文章の自動生成を流行りのDeepLearningの1種であるリカレントニューラルネット
  • https://danushka.net/papers/DeepNLP.pdf

  • コンストラスティブ・ダイバージェンス法を用いた制限ボルツマンマシン(RBM)の実装 - kivantium活動日記

    この記事はDeep Learning Advent Calendar 2015の1日目です。 早いもので2015年も最後の月になってしまいました。2015年は「ディープラーニング」という単語が(残念ながらバズワードとして)それなりに広まった一年だったと思います。Deep Learning Advent Calendarがそんな2015年の締めくくりにふさわしいものになりますように。 この記事ではDeep Learningの一種である深層ボルツマンマシン(DBM)の基礎となる制限ボルツマンマシン(RBM)について理論から説明していき、C++による実装を示します。実装を行う関係上どうしても数式を多用しますがなるべく式変形を丁寧に示すつもりです。数式は基的に 深層学習: Deep Learning 作者: 麻生英樹,安田宗樹,前田新一,岡野原大輔,岡谷貴之,久保陽太郎,ボレガラダヌシカ,人工知

    コンストラスティブ・ダイバージェンス法を用いた制限ボルツマンマシン(RBM)の実装 - kivantium活動日記