(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット

このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。

プログラマと一口に言っても色々な分野があります。 私はWebやスマホアプリの分野なので、その目線で、かなり大げさに書いています。 プログラマという括りにも語弊があるのですが、気にしないでください。 プログラマというのは、とても難解な職種であるように思われています。 実際にやはり特殊な職業ではあるのでしょう。 わからない人から見れば、「やつらは一体あんな真っ黒な画面に文字だけが表示されている画面を睨んで、なにを考えているんだ」と思うでしょう。 体もほとんど動かさない。一体何をやっているのかもわからない。 表情もほとんど変わらない。いつも残業している。 こんなイメージかもしれません。 こういった現状をプログラマからすると、いかにプログラマに対して理解が低いものかと嘆くことが多々あります。 ですので、是非「プログラマではない」皆さんには、プログラマに対する理解を深めて欲しいと思うのです。 そうす

資格取得数２３８。６つの修士と１８の学士と２つの短期大学士。ＭＢＡサラリーマンの生きがい発見生涯学習奮闘記。 明日は大学評価・学位授与機構の論文試験の日である。 さすがに、この時期ともなると、拙ブログの「検索キーワード」も、機構に関するものが上位を占める。私にとっては11回目の試験であり、概ね流れはわかっている。しかし、これだけ受験しても、やはり、緊張するし、不安がないわけではない。 ただ、そもそも試験といえば、緊張もするし、不安にもなるものなのである。能天気に構えることができるのは、余程の自信家か、余程の鈍感者ぐらいなのではないだろうか。 ましてや、最初の機構の試験（ほとんどの方がそうだと思うのだが）を受験する人は、その情報量の少なさに、戸惑い、心配に思うことだろう。 でもね・・・機構の試験は「穴埋め」や「択一」ではないのだから、このタイミングで、専門書を読み漁る必要はないと考えています

未明の2時間半。一心不乱にコードに集中 ──中島聡流プログラミングの流儀 #OpenGL 2014.01.29 Category：【連載】ギークたちの『仕事の流儀』 Tag：OpenGL ,中島聡 米国マイクロソフト社でWindows95/98、Internet Explorer3.0/4.0 のソフトウェア・アーキテクトを務めたことで知られる、UIEvolution創設者の中島聡氏。 開発者としての日米にまたがる豊富な経験をふまえ、IT業界やそこで働くプログラマたちへ向けて、ブログなどで切れ味のよい提言を続けている。現在も毎朝4時起床してコードを書く現役エンジニアである中島氏に、プログラミングの流儀を聞いた。 by 馬場美由紀 （CodeIQ中の人） 未明に起きて仕事。昼寝は「18分間」と決めている ──現在はアメリカを拠点に活動されていますが、最近の中島さんの関心事は何ですか？ いま「

今は昔、ひとりの駆け出しプログラマがいた。 その頃はCOBOLばかりで、しかも保守ばかりだった。そこで、独学で身に付けたCをやらせてもらえる仕事を奪ってきては書いた。スクラッチプロジェクトを見つける嗅覚だけは抜群だった。たいていは人手が足りず、新人でも歓迎されたからだ。 そこには優れた先達がいた。「スーパープログラマ」と呼ばれていた。 なぜ「スーパー」なんて修飾子がついたかというと、速いプログラムを早く書いたから。もちろん、「速い」とは少ないメモリ・小さいプログラムのことを指し、「早く」とは実装が早いこと。実際、彼らが書いたプログラムはサクサク動き、バグは簡単に見つけられた。 教えを請うと、先達たちは、おしなべてこういった。 最初に学ぶべきは、コンピュータサイエンス。特にアルゴリズムとデータ構造だ。実践的なコーディングテクニックよりも、まず基礎だ。これはコードを書きながらではなく、文献から

はてな匿名ダイアリーで以下のようなエントリーを見ると、自分の研究室でうつ病になった子を思い出して心配になる。 自殺すると研究室にお金が入る仕組みってないのかなぁ 気持ちの整理になるかもしれないので書いてみる 私は、卒業研究や修士研究で得た経験が今後の人生においていくばくかの役に立つと信じているので、卒業研究や修士研究を真剣にかつ楽しく行って欲しいと思っている。でも、一方で、卒業研究や修士研究は長い人生において、何回か登場するちょっとした進級試験でしかないことも理解している。だから、はっきりいって卒業研究や修士研究で自分の心や体を壊すなんていうのはあまりにももったいないと思う。 博士研究は別として、卒業研究と修士研究は成果ではなく努力を評価の対象としている。「でも、中間試問や最終試問とかでは成果について問いただすじゃないか？」という疑問もあろうかと思うけれども、それは、努力の度合いを成果を用

卒論大詰め。やっぱり、だめだった。 そこで、せっかくなので卒業研究を華麗に失敗する方法をちょっと書いてみる。タイトルのとおりだけれども、卒業研究を華麗に失敗するための有力な方法は「他人の話を聞くのをやめる」。かなり効果的なのでお勧め。 やり方は始めのうちは簡単。先生や先輩が何を言ってきても以下のように答えて、実際は何もしなければよい。 真剣な顔で、まじめに聞いているふりをする 相手の言っていることがわかっていようが、わかっていまいが「はい、わかりました。」と答える 向こうが「何か質問がある？」と聞いてきたら「特にありません」と返す とりあえず、相手の気が済むまでしゃべらせて、その後は忘れる はじめのうちは、先生や先輩もだまされていることに気がつかず「あいつは素直なやつだなぁ」なんて、思うけれども、しばらくするうちに、何かしら注意されたことや相手が教えてこようとしたことに対して失敗してしまう

Susan K Burton looks back at her time teaching at Japanese universities and wonders why more Westerners don’t head east Source: Reuters Ten years ago I had just received my doctorate in history from the University of Sussex and was working for the minimum wage at Waterstones. One Thursday lunch hour, I went to the public library to check out the new jobs in Times Higher Education and saw an advert

ツイート今日は、第 1 回のSQL アンチパターンの回から良コンテンツを提供しまくりなエンバカデロ・テクノロジーズさん主催の第 3 回 DB エンジニアのための勉強会に参加してきました。 今回は 漢(オトコ)のコンピュータ道で有名な漢の中の漢、 @nippondanji 氏がデータベース設計を徹底指南してくれるということで、元々 DB エンジニアがバックグランドのわたしとしてはいかないわけにはいかんだろう、と喜び勇んでいってきました！ 内容はというと下記の概要をカバーする内容でした。 リレーショナルデータベース（以下RDB）は登場してからかなりの時間が経っています。その名が示すように、RDBはリレーショナルモデルをベースに考案されたソフトウェアです。しかしながら、未だに現場ではRDBが使いこなされているとは言いがたく、リレーショナルモデルへの理解も進まず、誤った常識が跋扈しているのが現状で

だいぶ前の話になりますけど、「新人にデータ移行ツールのコーディングを任せるので、面倒をみてやってくれ」と頼まれたことがありました。 その新人はやたらとGoogle検索に頼る人で、とにかくわからないことがあると、わたしに聞かずにGoogle先生に尋ねるんですね。 検索サイトにはわたしもかなりお世話になっていますし、昔に比べるととても使い勝手がよくなっていますけれど、その人の技術レベルに対応して検索結果を出してくれるほど高機能なわけではありません。 そのため新人の書いてくるコードは、つぎはぎというかちぐはぐというか、身についてない知識に振り回されてる感が満載でした。 そういう弊害を気にしつつも、自分で調べようとする気持ちは尊重するべきなのかなあ、と思ってとりあえず黙認していたんですが、あるとき「ちょっと考えが甘かった」と思い知らされるトラブルが発生しました。 その新人が「Windowsのレジス