fluentd x embulk x bigqueryで作るバッチ集計処理基盤
@joker1007 メインのバッチ集計処理基盤として bigqueryを利用するために今取り組んでいること、 そしてそれを支えるfluentdとembulkの bigqueryプラグインの現状を解説します。 self.inspect @joker1007 Freelance (Ruby/Rails/JS/Redshift/Bigquery) パーフェクトRubyとかパーフェクトRailsとか 最近はアプリより基盤寄りの仕事が多い (株)Reproで仕事中 Repro Inc.の最新情報 - Wantedly Hireling Now 資料作成サボってて時間がやばくなってしまい、 業務時間使って資料作ってたので、 宣伝を入れるからってことで許してもらいました BQの利用背景 MySQLの限界 将来的にもデータ量は増え続ける 割とヘビーな集計処理がある できるだけ同時に算出したい 構成イメー
DeNAの分析を支える分析基盤
Hadoop/Spark Conference Japan 2016でのライトニングトークの資料 by Ryosuke Iwanaga (@riywo) This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS a
リンクトイン2.6兆円の巨大買収の舞台裏詳細（計5社と交渉していた模様）｜決算が読めるようになるノート
リンクトインがマイクロソフトに2.6兆円で買収されるというニュースがありましたが、その舞台裏の交渉の様子が公開されました。 米国証券取引委員会（SCE)が先週金曜日に公開した文書に詳しくでています。なぜこんな詳細を公開しているのか、という点ですが、リンクトインは公開企業で、Dual Class Stockを採用しており、創業者・取締役会長のReid Hoffman氏が過半数以上の議決権を有しています。つまり、Reid Hoffman氏は他の株主が反対しようとも彼が売りたいと思えば、M&Aを決めることが出来てしまったわけです。とはいえ、あまりにも彼「だけ」が美味しいディールにすると、他の株主から訴訟されかねません。従って、売却にいたる経緯をしっかり公開し、利益相反等がなかったことをしっかり他の株主にも説明するための文書と思われます。 リンクトイン創業者・取締役会長のReid Hoffman氏
第9回［最終回］ データパイプラインのためのワークフロー管理 | gihyo.jp
基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など）。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など）。今回、取り上げるパイプラインとは、広義のパイ
Bayesian Deep Learning Part II: Bridging PyMC3 and Lasagne to build a Hierarchical Neural Network — While My MCMC Gently Samples
Recently, I blogged about Bayesian Deep Learning with PyMC3 where I built a simple hand-coded Bayesian Neural Network and fit it on a toy data set. Today, we will build a more interesting model using Lasagne, a flexible Theano library for constructing various types of Neural Networks. As you may know, PyMC3 is also using Theano so having the Artifical Neural Network (ANN) be built in Lasagne, but
モバイルの入力UIをデザインするための７つのポイント
Ning T.氏はProto.ioのコンテンツエディターであり、人類学者、ウェブデザイナー、そしてUXオタクでもあります。私は、猫やブルース、スウィング ダンス、そしてWes Anderson氏の映画が大好きです。 私たちはいまや、何をするにもスマホを使います。家の温度調節から医者の予約まで、労力をかけることなく手のひらの上で行おうとしているのです。スマホと数々のアプリによってそのような未来が来るのはほぼ確実と言っていいでしょう。 しかしながら、実際にはまだまだ問題点も残っています。私たちは割と頻繁に、スマホ入力の煩わしさに悩まされています。 例えば、絶望的に分かりにくいログイン画面や入力フォームなどです。そういうとき、私たちはスマホを使うことを諦めて、パソコンを使います。残念なことにスマホアプリやスマホ用のサイトはスマホユーザーが入力しやすいように最適化されているとはいえません。 Luk
ICML 2016 Thoughts
ICML is too big for me to ``review'' it per se, but I can provide a myopic perspective. The heavy hitting topics were Deep Learning, Reinforcement Learning, and Optimization; but there was a heavy tail of topics receiving attention. It felt like deep learning was less dominant this year; but the success of deep learning has led to multiple application specific alternative venues (e.g., CVPR, EMNLP
システムプログラミング会 - 兼雑記
すごい久々にイベントの(共同)主催的なことをしました http://connpass.com/event/34995/ イメージとしては言語雑談会的な感じで、closedに人集めてウダウダやるつもりだったんですが、途中でPFNさんに場所貸していただけるということで、不特定な人を呼ぶことになって、当初想定してたより大袈裟な会になりました。適当に募集すると人が集まって自己顕示欲が満たされるとか、普段得られない種類のフィードバックが得られたり交流ができる、てのがあるわけですが、めんどくさいのとグダグダ雑談がしにくいのが難点ですね。まあ自分自身が一般的に募集されてる会で勉強した面もあるわけで、そういうのの恩返しになるかもという面もあり、まあ色々。 まとめとしてはkoieさんのブログやtogetterがまとまってそう http://blog.livedoor.jp/hkoie/archives/55
実力以上の給料を受け取っている時、気をつけるべきこと
これも、昔の先輩に教えてもらった話。よく憶えている。 その日は、ある大手企業のコンサルティングに行った後、近くの喫茶店で振り返りのミーティングをしていた。 先輩は、私に問いかけた。 「今日のメンバーの中で、一番優秀だと思ったのは誰だ？」 「リーダーのYさん…ですかね。彼の意見は非常に的確で、他の方と視点が違っていると感じます。」 「当たり。」 「ありがとうございます。」 だが、先輩の次の質問は、想定していなかった。 「じゃ、もう一つ聞くけど、一番給料が高いのは誰だと思う？」 「給料……？」 「そう、給料。」 「……一番優秀な人だと思いますから、リーダーのYさんですか？」 「本当にそう思う？」 私はあの部屋にいた人物を思い浮かべた。 リーダーのYさん、その脇に「メンバー」として年配の方が一人、Yさんと同年代の方が3名、若手が2名いた。彼らの発言を思いだす。 若手の一人はなかなか良い議論をして
ディレクターがSQLを使えてよかった話 - クックパッド開発者ブログ
こんにちは。ディレクターの川原田です。 クックパッドでお気に入りレシピを保存する「MYフォルダ」のサービス開発や、保存・記録に関する新規サービスの検討・開発を担当しています。 ディレクターの仕事は様々ありますが、今回は私が身につけたことで仕事領域が広がった！と感じているSQLについてお話ししたいと思います。 いきなりですが、SQLが使えてよかった点をまとめると以下です。 よかったこと 数値抽出から分析まで自己完結 エンジニアとのコミュニケーションがスムーズに 仕事が増えていそうで実は効率アップ 周囲の知的好奇心を刺激 それぞれ具体例を交えてお話します。 数値抽出から分析まで自己完結 事例１：ログ構造を理解でき後の仕事がスムーズに 昨年、アプリのサービス開発を担当した際、エンジニアの設定したログが、実際に送信されるかどうかを事前チェックをしました*1。 アプリのリリースはタイミングが決められ
Reactor Core 2.5: もう一つのJava向けReactive Extensions実装 - Qiita
Reactive Extensionの調査中にReactor Core 2.5が面白いことに気がついたのでまとめ。 JavaDoc GitHub A lite Rx API for the JVM by Sébastien Deleuze (Spring I/O 2016での発表資料) Reactor Core (2.5) = Reactive Streams + Reactive Extensions(の一部) Reactor(〜2.0)は効率的な非同期プログラミングのためのツールキットで、基本的な関数型(Java8以前に開発されたため)に始まって高効率なスケジューラー上に実装されたReactive StreamsやそのReactive Extensions(Rx)、非同期のネットワークライブラリ等を提供していました。 ところがReactor 2.5を開発するにあたってプロジェクトの構成
伊藤直也氏に聞く、「ロードマップ」なきWeb業界の歩き方【キャリアごはんvol.4レポ前編】 - エンジニアtype | 転職type
エンジニア同士が交流し、ごはんと悩みをシェアしながら 仕事人生の次の一手を探るためのワークショップ型イベント「キャリアごはん」のイベント情報やイベントレポートを紹介します かつては【特定の技術分野を深掘り】→【その分野で専門家に】→【その後はマネジャーかスペシャリストに】といったような、ある程度決まったロードマップの上でキャリアを作っていたエンジニアたち。それが今、特にWeb関連の仕事を中心に、サービス開発の複雑化と求められるスキルの多様化などを背景に変化が見え始めている。 エンジニア経験をこれまでにない方法で活かせる新職種も方々で生まれており、企業側の評価やキャリアパスも以前に比べれば多様なものになっている。 そこで6月16日、弊誌『エンジニアtype』と転職サイト『@type』は、【続々生まれる「エンジニア新職種」の未来を考える】をテーマにワークショップ型イベント『キャリアごはん』の第
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
【論文シリーズ】GoogleがCTRの予測プログラムを作った - Qiita
原文 広告クリック(率)の予測: (Ad Click Prediction: a View from the Trenches) H. Brendan McMahan, Gary Holt, D. Sculley, Michael Young (2013) 1. 要約／背景 Googleのリスティング広告(search advertising)のビッグデータを学習させて、広告のCTRを予測した。 メイン理論はよく研究されているので、より実践的な項目(メモリ節約、パフォーマンス評価方法、校正など)について調査した。 2. 骨子の理論 / 実践Tips 入力次元に対応する広告関係のメタパラメータは残念ながら公表されない。 メインの学習手法は、NNを利用しているみたいだ。 論文では、重みと学習係数の更新の計算手法として、一般的なOGD(オンライン確率降下法)に代わってFTRL-Proximalア
【機械学習】ニューラルネットワークにおける効率的なパラメータ調整方法についてまとめてみた - Qiita
はじめに ニューラルネットワークの実装を考えたことがある方なら、聞いたことがあるかもしれません。ニューラルネットワーク（以下NN）のモデリングの完成には、職人芸的処置が必要だと。具体的には、モデル化においてたくさん出てくるパラメータをどう設定するかという点です。 本記事では、NNにおけるパラメータの効率的な調整手順をまとめてみました。NNの理論については、ここで触れないので、各自お調べください。 概観 まず、留意していただきたい点が一つあります。それは、 「最適なパラメータをすぐに決められる一発公式のようなものはない」 ということです。 実際に、多くの研究者が論文において、自身のモデルに特有なパラメータ設定をしています。 この問題に対して、神の一手(a priori)をゲットするのは、難しいでしょう。 したがって、自身の経験と探索的アプローチの積極的活用がパラメータ設定の基本戦略になります
The Last HttpURLConnection
An awkward API OkHttp 1.0 started out as an optimized implementation of HttpURLConnection. This old API is awkward to implement because there is an implicit state machine that corresponds to the underlying network I/O. GET / HTTP/1.1 Host: publicobject.com Accept: text/html HTTP/1.1 200 OK Content-Length: 300 <html> <head><title>Public Object</title></head> ... For example, calling getResponseCode
実験の再現性と効率化の話（Docker と Serialization 周辺）
2016-07-04 ビッグデータ基盤勉強会での発表資料です．Kaggle Tokyo Meetup #1 の資料から主に Serialization の Blosc まわりの説明を加筆しています．
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://yato.main.jp/koneta/ABC_conjecture.pdf
GitHub - theguildjp/GLDTween: SuperHandy Animation Engine
https://qiita.com/masaharu-suizu/items/2e2fed71bf4074d05713
AWS Solutions Architect ブログ
GitHub - henryboldi/felony: 🔑🔥📈 Next Level PGP
イノヴェイターを育てるイノヴェイター──冨田勝