タグ

masatoiのブックマーク (1,102)

  • 自然勾配法関連のメモ - HELLO CYBERNETICS

    勾配法 損失関数 勾配学習 自然勾配法 最急降下法 リーマン空間 勾配法を再び 自然勾配法 自然勾配法とその亜種 の推定を行う適応的自然勾配法 参照:Singularities Affect Dynamics of Learning in Neuromanifolods を推定しない擬似的自然勾配法 参照:自然勾配近似法を起点としたバッチ正規化の数理的理解 勾配法 損失関数 学習パラメータを持つ関数に関して、損失関数を考え、関数の性能を損失のについての期待値 で測る。さしあたり、の確率分布は不明なので、期待値を取る代わりに、観測されるデータの個々の損失の平均値 で代用します。これは真の分布の代わりに経験分布によって代用しているということになります。 を訓練誤差と呼び、これを最小化するを獲得することを学習と呼びます。 来は真の損失関数を最小化したいのに、代わりに訓練誤差を使う(すなわち真の

    自然勾配法関連のメモ - HELLO CYBERNETICS
    masatoi
    masatoi 2018/06/09
    Batch Normalizationは自然勾配法だった…?
  • 数量の正規化:方法の違いは何を意味するか? - jnobuyukiのブログ

    大量のデータをまとめて、視覚的に表現すると、データが持つ特徴を直感的に理解できることがあります。今回は、データを視覚化する際に施される「正規化」について考えます。wikipediaの正規化の定義は以下のようになっています。 正規化(せいきか、英: normalization)とは、データ等々を一定のルール(規則)に基づいて変形し、利用しやすくすること。 この定義は非常に抽象度が高いですね。その理由についてwikipediaは以下のように述べています。 非常に多くの分野で使われている言葉で、分野によって意味も大きく異なるため、頻度が高い分野についてそれぞれ個別に説明する。 今回は、数量の正規化に話を限定します。しかし、数量の正規化に絞るだけでは、まだその意味がはっきりしません。正規化する方法が沢山あるからです。私の専門の心理学では、行動データとして得たものを多変量解析にかける前に正規化するこ

    masatoi
    masatoi 2018/05/27
    CourseraのMLのコースでスケーリングのところでmax-minで割っていて、見たことない正規化だなと思ったらデータに一様分布を仮定する場合だった
  • cl-num-utils: 数値計算ユーティリティ|独学 Common Lisp

    masatoi
    masatoi 2018/05/25
    LLAの内部で使われてる数値計算ユーティリティ集らしい。中には自前で似たようなユーティリティを作ったりしていたので、なぜオレはあんなムダな時間を・・・ってなってる
  • Switching from Common Lisp to Julia

    I have written this post for developers in the Common Lisp community who asked why I am switching to Julia. It may only be relevant for the small set of people who use Common Lisp for scientific computing. I used Common Lisp for scientific computing for a while, from 2008 to about 2015, in combination with R and C++. This choice may surprise people who don't know about projects like Maxima or FEML

    masatoi
    masatoi 2018/05/21
    JuliaはJITでコンパイルするから実行時の配列の型情報が取れて、それで最適化されるので以降の呼び出しでは速いし配列の型を変えてもディスパッチされる、と
  • インクが一滴もいらないプリンター「インクレス」。特別紙もいらず、モノクロでの印刷は無制限に可能 | HEAPS

    「『インクレス』は、プリンター界における“フィルムカメラからデジタルカメラへの移行”のようなものです」 1950年代から格的な開発がはじまったといわれているインクジェットプリンターは、書物や文書を一文字一文字書き起こしし、活版印刷とは比べ物にならない速さで複製する現代の優れた発明品だ。3Dプリンターデスクまで書類を届けてくれるロボットプリンターまで登場するなど、昨今はプリンター発展期ともいえる。オフィス・工場・家庭で誰もが触れる身近なロボットのプリンターだが、彼につきまとう“めんどう”といえば、「インクカートリッジの購入・交換」だろう。カラーで何百枚も刷れば、またか…「カートリッジ交換サイン」。オンラインで一番安いカートリッジを探し、届いたらプリンターをガバッと開けての交換作業が待っている。 そんなプリンターのめんどうをオランダの大学院生チーム「Tocano(トカノ)」が解決してくれる

    インクが一滴もいらないプリンター「インクレス」。特別紙もいらず、モノクロでの印刷は無制限に可能 | HEAPS
    masatoi
    masatoi 2018/05/21
    焦げくさそう。っていうか下手したら燃えそう
  • 「Favstar」「Klout」終了へ 老舗のTwitter連携サービス

    Favstarは09年にスタート。Twitterで「お気に入り」(Fav)やRTを集めている人気のツイートを検索できるサービスとして人気を博していた。 Kloutは2008年にスタート。Twitter・Facebookアカウントの影響力を測るスコア「Kloutスコア」を算出するサービスで、一時期は広く活用されていた。2014年にLithium Technologiesに買収された。 関連記事 Twitter、“流れるタイムライン”の「User Streams API」廃止を延期 Twitterが、サードパーティアプリで更新ボタンをタップしなくてもタイムラインを自動的に更新する機能を可能にする「User Streams API」の廃止を、当初予定していた6月20日から延期すると発表した。 Twitterの“流れるタイムライン”なくなる? 「User Streams API」が来年6月20日に

    「Favstar」「Klout」終了へ 老舗のTwitter連携サービス
    masatoi
    masatoi 2018/05/17
    Twitter連携サービスはAPIの方針がコロコロ変わることや、公式が類似サービスを始めてしまうなどの不確実性が多すぎてなかなか難しい
  • 逆引き Common Lisp クックブック:インスタンスからスロット名を取得する

    masatoi
    masatoi 2018/05/16
    書いてみた。間違ってたら教えてください
  • #:g1: MOPを活用するユーティリティを眺める(1): closer to mop/fare-mop

    masatoi
    masatoi 2018/05/16
    インスタンスからスロット名を取得するのにcloser-mopでいろいろやった後に、そのものずばりのライブラリfare-mopがあるらしいことを知った。この辺は逆引きCommon Lispに欲しい(書きたい
  • 開発効率を上げる!Swaggerの記法まとめ - ZOZO TECH BLOG

    この記事ではOpenAPI Specification v2に関する内容を取り上げています。しかし、2023年9月現在での最新の仕様はOpenAPI Specification v3となっています。最新の仕様に基づいて実装や学習を行いたい方は、公式ドキュメントやそれに関連する資料をご参照ください。 こんにちは! バックエンドエンジニアのりほやんです。 以前、テックブログでAPIモックと仕様書を作成することができるSwaggerについてご紹介しました。 Swaggerそのものについて知りたい場合やSwaggerを実際に導入したい場合は、こちらの記事がとても参考になります。 techblog.zozo.com 記事では、SwaggerのAPI定義を行うSwagger YAMLの記法についてまとめてみました。 使い初めはとっつきにくいSwaggerですが、この記事がSwaggerを使う方の参考

    開発効率を上げる!Swaggerの記法まとめ - ZOZO TECH BLOG
    masatoi
    masatoi 2018/05/15
  • そんなに有能な人ばかりが必要なのか?

    ネットを見ているとよく思うのだが、無能を嫌う人は多い 「無能のせいで世の中がこうなってしまっている」 「有能な人間はそれに足を引っ張られている」 「だから無能は滅びろ」 みたいな人、結構見ると思う 正直、こういう「無能を嫌う人達」がさほど有能とは思えない 有能か無能かは相対的なもので、世の中の人を全て比較していけば99%の人は無能な人間だろう そして有能か無能かが相対的なものである以上、1%の有能な人だけを集めても、今度はその中で有能な人と無能な人に分かれてしまうだろう 無能が滅びるという事は人類が滅びるという事とほぼ同義だ 破滅願望を持つのは個人の自由だが、あまり建設的な意見ではないと思う 基的に無能な人間が害をもたらすのは、自分が有能だと勘違いした時だけだ 自分の無能を自覚さえしていれば、無能であるが故の影響力の低さもあって、余程その人とその周囲が不運でなければ害は無い(たまにとこと

    そんなに有能な人ばかりが必要なのか?
    masatoi
    masatoi 2018/04/23
    ラインハルト「ただ一人の才能だけで成り立っているうちは組織は未完成なのだ…」
  • kaggleのチュートリアル本を書きました!今後更に更新して、チュートリアルを作り上げます!|currypurin|note

    --- 【お知らせ】 第4版の紙のは、「とらのあな」にて通信・店頭販売しております。 希望の方は、とらのあなで購入ください。 はじめまして。カレーちゃんと申します。▶︎Twitterアカウント @currypurin ▶︎ブログ 概要説明技術書典4という技術同人誌の即売会で「kaggleのチュートリアル」を販売し、300冊完売という結果を達成することができました。 その後、私は専業のKagglerになり日々kaggleに取り組んでいます。 2019年9月に開催される、技術書典7において更新版のkaggleのチュートリアル第4版を販売します。このnoteではそのkaggleのチュートリアル第4版を販売いてします。 第4版は次のサポート ページで、コードとyoutubeでの説明動画への集約を行なっています。 サポートページからリンクが貼ってあるkernelのコードと、youtube動画のみで

    kaggleのチュートリアル本を書きました!今後更に更新して、チュートリアルを作り上げます!|currypurin|note
    masatoi
    masatoi 2018/04/21
  • draw.io で数式を入力する方法 – After Graduate School

    概要 Web上で使えるドローソフト draw.io の紹介 クリックとドラッグで直感的に矢印が引ける 数式入力 (tex記法) もできて便利 draw.io とは draw.io は Web 上で動作するサービスで、図の作成ができるソフトです。 仕事上で図を作成する時は、プレゼン等のために作ることが多く、 PowerPoint 等のプレゼンソフトで、スライド作成と同時にまとめて作りがちです。 そのため、”図の作成専用のソフト”はなくてもいいような気がしてしまうのですが、 draw.ioPowerPoint にはない便利さがあるので、自分は気に入って使ってます。 矢印を引くのが楽 個人的に draw.io で一番気に入っているのは、 直感的な操作で矢印を引けるところです。 PowerPoint で矢印を引きたい場合、 下の図のように、図形の挿入から矢印を選択しなければいけません。 矢印

    draw.io で数式を入力する方法 – After Graduate School
    masatoi
    masatoi 2018/04/13
    数式も入力できるのか!
  • Understanding the backward pass through Batch Normalization Layer

    Understanding the backward pass through Batch Normalization Layer At the moment there is a wonderful course running at Standford University, called CS231n - Convolutional Neural Networks for Visual Recognition, held by Andrej Karpathy, Justin Johnson and Fei-Fei Li. Fortunately all the course material is provided for free and all the lectures are recorded and uploaded on Youtube. This class gives

    Understanding the backward pass through Batch Normalization Layer
    masatoi
    masatoi 2018/04/13
    Batch Normalizationの逆伝搬の実装の参考
  • Google Colabの知っておくべき使い方 – Google Colaboratoryのメリット・デメリットや基本操作のまとめ

    機械学習エンジニア界隈で話題沸騰となっているGoogle Colaboratory(グーグル・コラボレイトリー)。記事では概要とGoogle Colabの知っておくべき基的な使い方をまとめました! すでに機械学習をやっている方や、これから機械学習を学んでみたいと考えている方で、下記のような事を感じたことはありませんか? 「訓練やデータ処理をやるのにローカルPCだと処理に時間がかかりすぎる」 「機械学習用にクラウド環境を立てたけど…思ったより費用が高い」 「機械学習は色々とライブラリが多くて環境構築がしんどい」 もし一つでも当てはまるものがあれば、Google Colabがそんな悩みを解決してくれます!機械学習の開発環境の新基準となる可能性も高いGoogle Colab、概要や基的な使い方をみていきましょう。 Google Colaboratoryとは? Google Colab(略式

    Google Colabの知っておくべき使い方 – Google Colaboratoryのメリット・デメリットや基本操作のまとめ
    masatoi
    masatoi 2018/04/08
    Google Drive上のデータも使えるのかー
  • Google 日本語入力チームからの新しいご提案

    メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。

    Google 日本語入力チームからの新しいご提案
    masatoi
    masatoi 2018/04/01
    キートップがタッチセンサーになっているという着想はあり…いやないな…
  • Quicklisp dist update for March 2018 now available

    masatoi
    masatoi 2018/03/30
    お、quicklispにcl-libsvm-formatが登録されてcl-online-learningとcl-random-forestがアップデートされてる。ファイルからのデータ読み込みが3倍速くなってscikit-learnと張れるようになった。
  • “シンギュラリティ信奉者”の翻意が難しい訳

    ここ数年で最も驚いた出来事について書く。筆者がまったく信じていないビジョンを信じている知人に相次いで会ったことだ。 2017年の末、30年近い付き合いの経営者と会した。数年ぶりに会ったため話が弾み、禁酒中を宣言していたにも関わらず相当飲んでしまい、気持ち良くなっていた時、いきなり質問された。 「谷島さん、シンギュラリティについてどう思いますか。人工知能が進化して世界が一変するという、あの話です」 調子に乗って楽しく話していたこともあって即答した。 「サイエンスフィクションとして楽しんでいる人に文句は言いませんが、気でそう主張する人がいて困惑します」 彼は頷き、数秒おいてゆっくりと言った。 「色々な人に聞いていますが私の周囲には谷島さんと同意見の人が多い。でも私はその日が来ると信じています」 勿論冗談ですよ、と言って笑うのではないかと相手の様子をうかがうと真顔である。しまったと思ったが後

    “シンギュラリティ信奉者”の翻意が難しい訳
    masatoi
    masatoi 2018/03/29
    永久機関は原理的に不可能だが、強いAIは原理的には可能、この二つを並べて語っている段階でお察し
  • エンジニアの英語力 - 怠惰を求めて勤勉に行き着く

    TL; DR どれだけ努力しても"ネイティブ並"は無理なので諦めが肝心 エンジニア英語ができなくても話を聞いてもらえるので「伝える意思」と「分かったか分かってないかを絶対に曖昧にしない」こと 謝辞 このエントリは弊Android Projectのビルド待ち時間を使って書かれています。Android Studioさんに感謝します。 ビルド待ち時間にブログを書かれたくない場合は弊社は僕に全部盛りiMacを買ってください。 前口上 英語力に関するエントリは盛り上がりやすく荒れやすい気がするんだけど、それはやっぱりみんな英語は出来たほうがいいに決まってるしさりとて英語を身につけるのは難しいよねってことが分かってるからだと思う。 僕はエンジニアの中では比較的英語が得意な部類に入ると思うけど、それでも全然充分だとは思わない。ただ、これでやっていけないか?というと全然そんなことはないので、一番重要なの

    エンジニアの英語力 - 怠惰を求めて勤勉に行き着く
    masatoi
    masatoi 2018/03/23
  • On Lisp --- 構造化代入

    構造化代入とは,代入の一般化だ. オペレータsetqとsetfは個々の変数に代入を行う. 構造化代入は代入をアクセスと組み合わせる. 第1引数に変数を単独で置くのではなく,変数のパターンを与える. すると各々に同じ構造の対応する場所に置かれた値が代入される. リストに対する構造化代入 CLtL2では,Common Lispに新マクロdestructuring-bindが加わった. このマクロは第7章で簡単に扱ったが,ここでは詳しく検討する. lstが要素を3つ持つリストで,xに第1要素を,yに第2, zに第3要素を束縛したいとしよう. CLtL1のみに対応のCommon Lispでは,こうしなければならない. (let ((x (first lst)) (y (second lst)) (z (third lst))) ...) 新マクロを使うと,代わりにこう書くことができる. (dest

    masatoi
    masatoi 2018/03/19
    脳がdbindの定義の理解を拒否している
  • Common LispでOpenID Connect - Qiita

    これはLisp Advent Calendar 2016の7日目の記事です。 どうも。 1日目の記事が好評だったようで嬉しいです。 今回はブログの方に書こうと思ったんですが、カレンダーの記事はQiitaに書くことにしました。 それと12日目はライブラリ紹介になりそうです。お楽しみに。 では題に入って行きましょう。 OpenID Connectはご存知でしょうか? ざっくり言えば、OAuthの上位互換の認証方式です。 最近の外部認証方式ではこれが一番安全らしいです(あまり詳しく無いので自信はない)。 これを使うと、いちいち会員登録しなくてもWebサービスなどにSNS(Twitterとか)のアカウントでログイン出来るようになります。 メールアドレス以外に個人情報を必要とするサービスの場合はさらに手続きがあったりしますが…。 今回はこれのクライアント側実装をCommon Lispでやってみまし

    Common LispでOpenID Connect - Qiita
    masatoi
    masatoi 2018/03/18