Log Analysis System And its designs in LINE Corp. 2014 earlySATOSHI TAGOMORI
“flynnの時代” “Docker meetup tokyo #3”で発表してきた.内容は,Dockerの応用の1つであるOSSでPaaSをつくるflynnというプロジェクトの概要とそのアーキテクチャーの紹介.このflynnというプロジェクトの中には,Dockerの面白い使い方がたくさん詰まってるため,今後Dockerを使う人が,その応用の際の参考になればという思いで紹介させてもらった. 今回の発表のために資料を集めまくり,理解できない部分は出来る限りコードも読んだ.発表スライドの補完にもなると思うので,そのメモ書き(一応体裁は整えた)を公開しておく. デモ 以下は,簡単なデモ. やっていることは以下. nodeのアプリケーションをデプロイ ルーティングの追加 スケール コマンドを含めた詳しい解説は以下で解説する. 前提知識 (Herokuの動作) まず,前提知識としてPaaS (ここで
Private content!This content has been marked as private by the uploader.
Hadoop Conference Japan 2014に参加しました。 最近あまり触ってなかったのですが、また案件で利用するニーズが出てきたので最新情報の収集目的です。 今日の収穫としてはこんな感じ Apache Spark 一週間の活動量がすごい 500 patch updates / w 200 updates / w 140 thread / w 80 merged patches / w Facebook Presto プラガブルよさ気 Facebookの中で使われてるリポジトリ←すごい 各種DBマージして使える DBに投げるときにすでにクエリを入れてフィルタリングしてから取り出すこともできる←mongohadoopでも実装してたの懐かしい BigQuery 公開してるBigQueryと中で使われてるのは同じ(リソース競合あり) お高いお金を払えば専有できるリソースもあるって D
Google Launches Cloud Dataflow, A Managed Data Processing Service Google expanded its Cloud Platform today with a new managed service called Cloud Dataflow that allows developer to create data pipelines to help them ingest, transform and — most importantly — analyze data.Developers can use the service to work with streaming real-time data and by uploading batches of data to the system. For now, th
1) Twitter migrated their Hadoop infrastructure from Hadoop 1 to Hadoop 2 to address scalability challenges and improve efficiency from tens of thousands of servers and hundreds of petabytes of data. 2) The migration involved extensive testing of Hadoop 2 configurations and dependent components before rolling out to production clusters supporting various use cases such as analytics, personalizatio
データ分析・活用から、成長と収益を生み出す!気鋭のデータサイエンティストが大集合!:データサイエンティストサミット 去年2013年12月に開催された第1回からおよそ7ヶ月。早くも今年度のイベントとして開催告知されていたので申込み。2014/06/27(金)に参加して来ました。 データサイエンティストサミット 2013に参加してきた | Developers.IO 開催場所は秋葉原コンベンションホール - AKIHABARA Covention Hall@秋葉原。弊社オフィスも秋葉原で、会場も駅を挟んですぐという事でアクセスもあっという間でした。駅からすぐ近くの建物というのも嬉しいですね。 こちらは会場入口。例によって会場内は写真撮影禁止のようでしたので、ここからは文字と引用画像や動画等を踏まえてセッション内容をレポートして行きたいと思います。では開店! 目次 10:00 - 12:30【S
Chartio has joined Atlassian! For over a decade, we have loved serving tens of millions of charts on millions of dashboards for thousands of incredible companies. All of you have helped us create a product that truly enables anyone in a company, not just data teams, to explore and understand their data. We are excited to announce that we have joined Atlassian and are now focused on bringing our te
リーダブルコードから学べるのは嘘メソッド名と嘘コメントが最大の罪ってことだよ— 片手間以上 (@mizchi) 2014, 7月 5 コードコンプリート、個人的にそんな有益な話はなかったという記憶なんだけど単に趣味のドメインが違うだけかもしれない可能性はある— 片手間以上 (@mizchi) 2014, 7月 5 コードコンプリート、作者が一生懸命になってる主張の部分が全然共感できないのがあった— 片手間以上 (@mizchi) 2014, 7月 5 僕はGoFはむしろ初心者に絶対に読ませてはいけない本だと認識していて、グローバル変数をファサードとか言い出したり、これはシングルトンなんです!と言い出す— 片手間以上 (@mizchi) 2014, 7月 5 本読んでコード書けるようになるとか幻想だと思ってるので、基礎文法覚えたあたりでコードコンプリート読んで、その後はいろんなパラダイムのフ
pecoというインタラクティブに入力をフィルタして出力するコマンドがあって、使い始めてからシェルの操作方法が大幅にかわり、だいぶライフチェンジングだった。 最近このへんが流行ってるのでやたら記事あるけど、せっかくなので僕も使い道を紹介しようと思う。 pecoをzshで使う 1. peco ghq ghqを使ったローカルリポジトリの統一的・効率的な管理についてのこと。 僕も$GOPATHは$HOMEにしていて、今のところ別に困ることはない。 go getしたりghq getしたりして美しくディレクトリ切った上で、pecoに割り当てておいたC-sですぐ目的のディレクトリ開けるようにしてあるので、めちゃくちゃソース管理が楽になった。 function peco-src() { local selected_dir=$(ghq list | peco --query "$LBUFFER") if
日本で(多分)最初のJuliaの勉強会 JuliaTokyo #1 を開催しました。イベントページはこちらです。 http://juliatokyo.connpass.com/event/6891/ 当日は40人ほどの参加者が集まり、いつの間にJuliaがそんなに一般化したんだという感じでしたが、Julia歴1週間とか当日の朝から始めましたというように、何処からかJuliaが熱いらしいとの噂を聞きつけてJuliaを使ってみようという新しいもの好きの人たちが多い印象でした。 私はパッケージの作り方についてお話をしてきた次第です。 以下は、それぞれの発表と私のひとこと感想です。 メインセッション Juliaのこれまでとこれから - @sorami Juliaの背景的な情報やどんなエコシステムになっているかを紹介していました。 JuliaはPythonやRからユーザを取り込みつつ、共に進化してい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く