【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
深層ニューラル・ネットワークの効率を劇的に上げる「蒸留」 2016.09.30 Updated by Ryo Shimizu on September 30, 2016, 12:59 pm JST 深層ニューラル・ネットワークの世界はつくづく進歩が著しいと思います。 筆者も日々怒涛のように押し寄せる新情報を取捨選択しながら、毎日異なる人工知能をプログラミングしてやっと追いついている、というのが実情です。額に汗しながら必死でこの恐ろしくも妖しい魅力を放つ怪物と寄り添おうとしています。 最近ようやく、機械学習ばかりやっている人たちが、実用的に機械学習を使うことよりも、機械が上手く学習できるようになることに喜びを見出す気持ちが分かってきました。 筆者は基本的にどんな技術にも実用性が第一と考え、そもそも一定以上複雑な事柄はブラックボックスとして理解しなくてもいい、という立場です。 しかしそれでも、
著者のお一人、@songmuさんより、『みんなのGo言語【現場で使える実践テクニック】』をいただきました。ありがとうございます。 現場で使える実践テクニックのタイトル通り、Go言語界隈の有名人が様々なテクニックを紹介してくれています。自分もGo言語が好きでよく書いていますが、書き始めた当時に試行錯誤しながら身につけてきた知識、テクニックが簡潔にまとまっており、文法を一通り覚えた初学者にとって学習効率が非常に高い本ではないかと思います。 第1章 Goによるチーム開発のはじめ方とコードを書く上での心得 Go言語を快適に書くための開発環境の準備から、Goらしいコードを書くまでが簡潔にまとめられています。main.goだけのプロジェクトから卒業するときに悩むところが網羅されており、A Tour Of Goのあとに、みんなのGo言語 1章を読むまでを入門としてよさそうです。 また、この章で拙作の(d
2016年9月8日 報道関係者各位 GMOペパボ株式会社 ============================================================== GMOペパボが運営する国内最大のハンドメイドマーケット「minne(ミンネ)」 Apple Payへの対応開始について ============================================================== GMOインターネットグループのGMOペパボ株式会社(本社:東京都渋谷区、 代表取締役社長:佐藤 健太郎)が運営する国内最大(*)のハンドメイドマー ケット「minne( https://minne.com/ )」は、10月から国内でサービス開始す るApple Payに対応いたします。Apple Payは常に持ち歩いているiPhone 7、 iPhone 7 Plus
In today’s post we will compare five popular optimization techniques: SGD, SGD+momentum, Adagrad, Adadelta and Adam – methods for finding local optimum (global when dealing with convex problem) of certain differentiable functions. In case of experiments conducted later in this post, these functions will all be error functions of feed forward neural networks of various architectures for the problem
A Neural Network in 13 lines of Python (Part 2 - Gradient Descent) Improving our neural network by optimizing Gradient Descent Posted by iamtrask on July 27, 2015 Summary: I learn best with toy code that I can play with. This tutorial teaches gradient descent via a very simple toy example, a short python implementation. Followup Post: I intend to write a followup post to this one adding popular fe
いつの間にかシリーズ化して、今回はロジスティック回帰をやる。自分は行列計算ができないクラスタ所属なので、入力が3次元以上 / 出力が多クラスになるとちょっときつい。教科書を読んでいるときはなんかわかった感じになるんだが、式とか字面を追ってるだけだからな、、、やっぱり自分で手を動かさないとダメだ。 また、ちょっとした事情により今回は Python でやりたい。Python のわかりやすい実装ないんかな?と探していたら 以下の ipyton notebook を見つけた。 http://nbviewer.ipython.org/gist/mitmul/9283713 こちらのリンク先に2クラス/多クラスのロジスティック回帰 (確率的勾配降下法) のサンプルがある。ありがたいことです。理論的な説明も書いてあるので ロジスティック回帰って何?という方は上を読んでください (放り投げ)。 この記事で
(編注:2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次: さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき? SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
衝撃的なニュースが飛びこんできました。ほぼタイトルの通りですが、現在事前エントリー受付中の『FIREDROP』なるツールが色々ヤバイです。 テンプレートという概念を無くす。AIによる自動デザイン 以前にLedgeでも紹介したWix ADIやThe Gridの場合、デザインは(ほぼ)自動ながら、それでも事業形態やサイトタイプなど、いくつかのテーマ選択は人間が行う必要がありました。 が、今回発表された『FIREDROP』の場合、それすらAIにマルナーゲでOKらしいです。 テキストで書いたコンテンツをドサッと上げると、言語を形態素解析 ⇒ 文脈から意味を推測して『誰のどんなニーズに対しなにをどう伝えたいサイト』を作りたいのか?を一瞬で把握。 そこからいい感じにページ構成とレイアウトを整えて60秒で完成させてくれる。とかなんとか。 もし人間にそんなことできるデザイナーさんがいたら何としてでも採用し
最近の口ぐせは「30過ぎたら顔だけじゃ食っていけない」ムームードメインで開発エンジニアをやっています@pyama86です。今日は7月9日にペパボ福岡支社にて開催いたしました「ペパボ・はてな技術大会〜インフラ技術基盤〜@福岡」のレポートをお届けしたいと思います。 まずこの技術大会について、はてなブログやはてなブックマークをはじめ、多くのWEBサービスを運用されている株式会社はてなとペパボの共通点として、歴史ある大規模なWEBサービスを運用しているという点があり、その運用の中で生まれたノウハウや、開発した技術、または開発していく技術について、これからエンジニアを目指す大学生をターゲットに届ける場という位置づけでした。結果的に大学生だけではなく幅広い層のエンジニアにリーチすることができ、反応を得ることが出来ました。また、双方の企業共にエンジニアのアウトプットを重視しており、濃い内容の発表が多かっ
はてなさんと共催で行った「はてな・ペパボ技術大会@京都」と「ペパボ・はてな技術大会@福岡」が無事終わりました。 http://developer.hatenastaff.com/entry/2016/06/21/131302 ペパボ社内では、はてなサービスとその技術力の高さのファンが多く、はてなさんと一緒にこんな技術イベントできるなんて!!と喜んでいる人たちも沢山いましたし、僕自身もご一緒できてとても嬉しかったです。技術大会後の打ち上げも含めて、すごく盛り上がったしとにかく最高でめちゃくちゃ楽しかったです。 id:y_uukiさんをはじめ、はてなさんの若手エンジニアのスキルは圧倒的に高く、id:ichirin2501さん、id:masayoshiさん、id:taketo957さん、そして、技術大会で諸々沢山調整してくださった、id:wtatsuruさんとid:tomomiiさん、座談会をモ
最近は、大体月一ぐらいのペースでメンバーと1on1ミーティングをするようにしている。 一人あたり30分から60分ぐらいで、前回のミーティングからの振り返りとその他相談を話す感じ。相談は仕事のことが主だけれど、プライベートな内容もある。 1on1ミーティングにあたって今年から事前アンケートを用意するようにしたのだけれど、そこそこいい感じに回っているのでまとめてみる。 事前アンケートを用意するメリット 話すことが事前に想定できる アンケート自体がアジェンダになるので、ミーティングがコントロール可能になる。 どんな話をするか分かっていると安心感もあるし、話が横道に逸れることもない(雑談は雑談で良いものだけど)。 その場で回答が思いつかなくて適当な返しになることがなくなる(お互いに) 自分の体験談なんだけど、何か質問をされたときにその場では「うーん、今は特に思いつかないです」と答えたのに終わってか
最近、コンピュータサイエンスにおける様々な厳しい問題を解決するツールとして、ニューラルネットワークが選択肢の1つになってきています。Facebookでは写真に含まれる顔を識別するために、Googleでは写真に写る 全て を識別するために、それぞれニューラルネットワークが使われています。さらに、AppleではユーザがSiriに話しかけた内容を理解するために、IBMでは運用ビジネスのユニットの相乗効果を生み出すために、同じくニューラルネットワークが使われています。 どれもとても素晴らしいことです。しかし、現実の問題はどうでしょうか? ニューラルネットワークは、あなたが????という絵文字を本当に必要としているときに、それを見つけてくれますか? もちろん、答えはイエスです。Yes, they can.???? 本記事では、実世界における私たちの絵文字の使い方を自動的に何億通りでも学ぶことができる
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
綺麗にコミットしてますか?? はじめまして!Emojineerのnownabeです。グッドパッチではProttのサーバサイドエンジニアをやっています 本記事ではGitのコミットを綺麗に保つためにProttチームで導入しているEmoji Prefixを紹介します。 Emoji Prefixって何? Emoji Prefixは「Gitのコミットメッセージの先頭にEmojiをつけよう」という一種のスタイルガイドです。 GitHubなどEmojiに対応しているGitホスティングサービスの利用を前提としています。 Emoji Prefixをつけてコミットすると、例えばGitHubならこのように表示されます。 基本はコミットメッセージの先頭にEmojiをつけるだけです。 ただし、EmojiはEmoji Prefixのルールに従って決める必要があります。 コミットの種類によってEmojiが決まる、という
はてな・ペパボ技術大会〜インフラ技術基盤〜@京都 7/2 はてな・ペパボ技術大会〜インフラ技術基盤〜@京都 - connpass 行ってきました.メモってたのでせっかくなので共有しておきます. gistでいいかとおもったけどスライド埋め込みとか考えたらブログに雑に投げたほうが見なおしやすそうと思ったのでブログで. 自分で発表したわけでもないし,感想とか書いてるわけでもないけどまぁいいかってカンジ. 注意 わかってない人が書いたメモなのでいろいろわかってないメモが書かれてます. 理解度に関係なく聞き漏らしたところ雑に書いたりしてるので発表様がおっしゃってた話とちがうところもあるかもしれない. 特に座談会の内容とかは Twitterのハッシュタグみてたら @matsumotory さんと @yumu19 さんがまとめてたのでそっち見たほうがわかりやすいかも. Togetter http://t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く