ビッグデータを支える技術を読んだ | 射撃しつつ前転
ビッグデータを支える技術を技術評論社様から御恵贈いただいたので、レビューを書きます。 個人的に、著者の西田さんとは一度お会いしたことがあります。（先方は覚えてらっしゃらないでしょうが。）いかなごの釘煮を頂いた事を今でも覚えています。 西田さんは2008年にGoogleを支える技術という本を出版され、そちらの方は私も購入して読んだ記憶があります。思えば、技評の「支える技術」シリーズはGoogleを支える技術から始まったような気がします。 ビッグデータを支える技術は、ある種、Googleを支える技術の続編といえるかもしれません。まだ当時はHadoopを中心としたデータ処理のエコシステムは完成したとは言えない状態でしたが、あれから9年が経ち、Hiveがリリースされ、Prestoがリリースされ、あの頃思い描いていたものとは少し違う気もしますが、ともかく、それなりの大規模データであっても分析できる環
シリコンバレーのエンジニア給与相場が想像の倍ぐらい高かった | 射撃しつつ前転
IM飲み会2017で、アメリカの給与相場についての話をした（もはやIMと全く関係ないが、IM開発者の人生に関係があるということで）。会社に雇われてると、こういうトピックを書くには差し障りがあったり、自慢っぽくなったりしてしまうので、タイミングよく無職である今の間に、こちらにも書いておきたい。 内容を一言に要約すると、「シリコンバレーでは、ある程度の経験を積んだソフトウェアエンジニアの年収は3000万円に容易に達しうる」ということになる。 最近、アメリカでは人工知能系のエンジニアの給料は3000万とか4000万とかが当たり前らしい、というような噂をTwitterなどで見かけるが、こういった情報は、間違ってはいないが、完全に正解であるとも言い切れない。このあたりは、日本とアメリカの報酬システムの違いを知らないと、しっかりと理解できない。 USでのエンジニアの報酬システムの概要アメリカのテック系
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model sizeを読んだ | 射撃しつつ前転
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model size を読んだメモ。 最近の畳み込みニューラルネットは巨大化する傾向があり、メモリ消費量が大きい。メモリ消費量を減らしたい、というのがこの論文の目的である。SqueezeNetでは、Convolutionレイヤーを、SqueezeレイヤーとExpandレイヤーの2つの組み合わせで置き換える。Squeezeレイヤーは1x1のConvolutionであり、出力チャネル数が少ない（16〜64程度）のが特徴である。Expandレイヤーは1x1 Convolutionと3x3 Convolutionを横に並べたものである。GoogLeNetのInceptionモジュールに近い。 Squeezeレイヤーによって3x3 Convolutionに与える
なぜcuDNNのConvolutionは高速なのか | 射撃しつつ前転
cuDNNはNVIDIAが公開しているDeep Learning用のライブラリである。このライブラリを使うとCaffeやChainerなどのDeep Learning用のソフトウェアの速度が向上する。 この速度向上に寄与している最も大きな部分がConvolutionの高速化である。 個人的には、CPUでどこまで高速にConvolutionが実現できるのかに興味がある。本記事は、その準備段階として、どういう高速化戦略がありえるのかを調べたものである。 ConvolutionとはConvolutionは、日本語では畳み込みと呼ばれる操作である。畳み込み操作自体は何次元のデータ構造に対しても定義できるが、以下では、画像処理でよく使われる、二次元のConvolutionのみを考える。 何も考えずに普通にConvolutionを実装すると、以下の擬似コードのようになるだろう。ただし、簡単のため、境界
もっさりしたYosemiteの日本語入力を高速化する | 射撃しつつ前転
いつ頃からか、Macbook Proでの日本語入力がもっさりするようになってしまっていた。Mavericksの頃にどうだったのかよく覚えていないのだが、テキストエディットやらTerminalやら、とにかくなにで入力をしていても、とてつもなく動作が重い。 普通に日本語を入力していてもついてこれていないし、適当にあｓヵｊｌｓｆｋじゃｓｌとか勢いよく入力してみると、もう全然ついてこれず、あとからゆっくりとプリエディットが更新される。Windows 95でももうちょっと快適だったんじゃないかってぐらいに遅い。 【解決】Yosemiteで日本語の入力が遅くなる件について を参考にしてスペルチェッカを減らしてみたりもしたのだが、自分の場合、問題は解決されなかった。あまりにもストレスフルだったので「Yosemite 日本語入力 遅い」などで検索して見ると、次のページが見つかった。 https://dis
Stochastic Average Gradient法を解説する | 射撃しつつ前転
Stochastic Average Gradient (SAG)はNIPS 2012で提案された新しい最適化手法である。目的関数がstrongly convexである場合、という条件付きではあるが、線形収束が保証されている。要するに、速い。 A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets 論文の解説についてはOiwa神の記事を参照すると良いと思う。以下では、SAGの考え方について、一般的なSGDとの差異を中心に説明したい。 SGDの復習 SAGを説明する前に、SGD（Stochastic Gradient Descent、確率的勾配降下法）とはどんな手法だったかを確認しておこう。 SGDはランダムに1つのデータを取ってきてgradientを計算し、そのgr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
