Engineering Data Analytics with Presto and Parquet at Uber
Data / MLEngineering Data Analytics with Presto and Apache Parquet at UberJuly 11, 2017 / Global From determining the most convenient rider pickup points to predicting the fastest routes, Uber uses data-driven analytics to create seamless trip experiences. Within engineering, analytics inform decision-making processes across the board. As we expand to new markets, the ability to accurately and qui
[翻訳] Spark Architecture: Shuffle - Qiita
TungstenのShuffleまでカバーされていて、感動してしまったので、翻訳（意訳）してみました。 元記事: Spark Architecture: Shuffle これは Apache Spark のアーキテクチャに関する2本目の記事です。今回は、Spark デザインの中で、もっと面白い Shuffle について詳しく紹介します。前回の記事は、Spark のアーキテクチャとメモリ管理についてでした。 一般的に Shuffle とはなんでしょうか？ 電話の履歴リストがテーブルにあり、それぞれの日にどのくらい電話があったかを数える場合を考えてください。この場合は、各レコードを"day"をキーにして（それぞれの電話の回数として）バリューを"1"として変換します。この処理の後、各キーごとのバリューを合計することでそれぞれの日の電話の回数が得られます。しかし、データがクラスタに分散して保存され
![[翻訳] Spark Architecture: Shuffle - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6633461f31ea0fcf9655cd16ed52cbaf83a159d9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwU3BhcmslMjBBcmNoaXRlY3R1cmUlM0ElMjBTaHVmZmxlJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jMzJkZmMzOGYwZGFiM2E4ZjEyNmZhOWFiMmExMGRiNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBnaXdhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jNWUwZjY0YjI2MTZiMGI3MTZhZWE4YmM0ZDNlMzY3Yw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D7be3977d44ee50f68274424a5444a3dd)
独学で確実に英会話を上達させる7つのステップ
著者 : 藤永 丈司 ◆上智大学比較文化学部卒（現：国際教養学部） ◆初受験でTOEIC990（満点）、英検1級、小学校英語指導者資格 ◆ニンテンドー3DS TOEIC「超速」プログラム・スペシャルアドバイザー ◆日経HR「英語コミュニケーション in Business」特別講師（2017年8月～） ◆日経メディカル「医師のためのDailyイングリッシュ」特別講師（2019年10月～） ◆公式動画チャンネル：マイスキ英語【たった3分で奇跡を起こす！】（2020年2月～） タップして詳しいプロフィールを見る 著者自身の受験英語への疑問や登校拒否といった苦い体験や、10年以上にわたる海外生活から、外国人の英語習得の早さと相対する日本人の遅さの違いを同時に徹底的に解読・研究を繰り返すことで、日本人へ「英語回路」を植え付ける仕組みを解明。 ◆活動 - 芸能人 への個別指導、英会話・ TOEIC講座
null使ったら負け福岡版
The document discusses various techniques in Perl for dealing with reference cycles and memory leaks caused by strong references, including using weak references, extracting needed data from objects before destroying them, and passing objects into subroutines to avoid capturing them. It also discusses analogous techniques used in Objective-C like weak references and guard objects to break cycles.
『第2回 コンテナ型仮想化の情報交換会＠東京』を開催し『Linux コンテナ入門』というお題で発表してきました - TenForward
(2013/10/13 追記) アンケートの結果を公開しました!! → アンケート結果] 10/5 に東京でコンテナ型仮想化の勉強会を開催し，『Linux コンテナ入門』というお題で発表してきました． きちんと数えてませんが，100 名前後の参加だったでしょうか (もっと多い?) @m_asama: つかコンテナ型でこんだけ集まるのおかしくね？？ 2013-10-05 11:42:10 via Twitter for iPhone いやまったく同感!!ww 開催に関わるお話，お礼 atnd にイベント登録した当初は「コンテナ型仮想化の勉強会があれば参加したいと思う人を募る会」という，企画者自身が『こんなニッチでマニアックな勉強会で人集まらんやろうなあ．「東京だったら絶対集まるよ」と言われたけどホンマかいな??』という状態で，『いきなり勉強会として募集するんじゃなくて，「面白そうだから行って
DDD(ドメイン駆動設計)に関する資料 - きしだのHatena
ちょっとまとめ。 ドメイン駆動設計・開発の実践 Eric EvansがDDD（ドメイン駆動設計）を語る Domain-Driven Designのエッセンス -目次- ドメイン駆動設計 ( DDD ) をやってみよう DDD時代の設計 - DDD-memo エリック・エヴァンスのドメイン駆動設計 (IT Architects’Archive ソフトウェア開発の実践) 作者: エリック・エヴァンス,今関剛,和智右桂,牧野祐子出版社/メーカー: 翔泳社発売日: 2011/04/09メディア: 大型本購入: 19人 クリック: 1,360回この商品を含むブログ (131件) を見る エンタープライズ アプリケーションアーキテクチャパターン (Object Oriented SELECTION) 作者: マーチン・ファウラー,長瀬嘉秀,株式会社テクノロジックアート出版社/メーカー: 翔泳社発売日:
Spannerお勉強メモ - スティルハウスの書庫の書庫
Spannerお勉強メモです。かなり久々の技術系エントリだ。。 朝起きてTwitterみてたら@ichiro_satoh先生のこんなつぶやきが。 現時点ではGoogle Spannerの一番詳しい資料かも。berlinbuzzwords.de/sites/berlinbu…— ICHIRO SATOHさん (@ichiro_satoh) 6月 6, 2012 。。やっぱりGoogleのインフラ情報は学会発表で流れてくるケースが多いなぁと思いつつ、先日公開されたF1（Google規模でスケールするRDB。AdWords用に使われてる）でもSpannerが重要なカギを握っているので、ついカッとなってスライドの要点を訳してみました。 原文はこれです：Building Spanner - Better clocks → stronger semantics（セッションのビデオ） 一行に要約すると、
livedoor Techブログ : 第2回 NHNテクノロジーカンファレンス 開催ログ
株式会社データホテルの伊勢です。 2012年8月18日（土）に開催されました 第2回 NHN テクノロジーカンファレンス の発表資料と動画を公開致します。 ご登壇頂きました皆様、ご参加頂きました皆様、どうもありがとうございました。 また、今回「H」な技術と言う事で、オライリー・ジャパン様より「HBase」の書籍をプレゼント頂きました。アレンジしていただいた翻訳者の玉川さん、オライリー・ジャパン様ありがとうございます。 「H」本当たった皆様、おめでとうございました。 それでは、以下 第2回テクノロジーカンファレンスの開催ログとなります。 ※ 登壇者の皆様と。左から 田籠氏、井上氏、中村氏、濱野氏、沈 氏、伊勢です。 「HTML5 Animation in Mobile Web Games」(沈 相旻 氏 NHN Korea、 Mobile Ajax チーム) 「日々進化するHadoopの『今
codestre.amがヤバい - すぎゃーん日記
codestre.am: streaming your code to the massesというWebサービスがヤバい。 他人のターミナルでの操作と出力をライブで見られるし、記録されたものを後から再生して見ることもできる。 試しに書いてuploadしてみた。 http://codestre.am/1 簡単なFizzBuzzワンライナー http://codestre.am/3X tmuxを起動してその上でemacsでコード書いたりしても再現できる 仕組みとしてはnpm install -g codestreamでインストールしたコマンドを起動すると、socket.io-clientでサーバに繋ぎ、子プロセスとしてbashを立ち上げて操作させつつ、ターミナルの出力を拾って時刻情報を付加してサーバに送信している、ようだ。サーバ側はおそらくそれぞれ保存しておいて時間順に出力することで再生させて
大規模データ技術の現状と今後の方向性
また、データの全件処理、特にI/Oの性能が求められる多重のバッチ処理にはMapReduceが新たな選択肢として加わります。MapReduceはデータインデックシングや非構造化データの前処理（ETL、クレンジング）への適用が有名ですが、より汎用的なバッチ処理のインフラ技術[3]として適用範囲が広がっています。 こうした技術の選択肢の中で、特にスケールさせるためにはデータを分割し、分散配置させることと、データの配置場所に処理を持っていくこと、つまり、シェアードナッシングのデータベース技術がアプリケーションアーキテクチャーに大きな影響を及ぼしています。 非構造化データを含めた大規模データ分析はMapReduceで実行し、その結果の集計やレポート機能にRDBを利用して分析結果の可視化をするのが現在は主流となっています。しかし、この方法は十分に全体最適化がされてなく、データ転送コストの無駄が発生して
fastutilの注意点 - kaisehのブログ
WEB+DB PRESS Vol.60で、「fastutilとsuxによる大規模データ処理」と題して、プリミティブコレクションライブラリのfastutilと、簡潔データ構造ライブラリのsuxを紹介する記事を書きました。 WEB+DB PRESS Vol.60 作者: まつもとゆきひろ,西尾泰和,山田憲晋,城戸忠之,増井俊之,羽生章洋,uupaa,ミック,塙与志夫,原悠,奥一穂,はまちや2,大沢和宏,吾郷協,浜本階生,中島拓,中島聡,矢野りん,角田直行,能登信晴,田村哲也,吉村譲,結城亜砂子,角谷信太郎,石橋秀仁,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2010/12/22メディア: 大型本購入: 12人 クリック: 185回この商品を含むブログ (24件) を見る fastutil: http://fastutil.dsi.unimi.it/ sux: htt
How I got massively faster DB with async batching
About Always loved programming - its like Lego without gravity. Basic on my ZX81 graduating to assembler and Turbo Pascal during my teens. Developed phone OS software - engineer, architect, product manager - but got made irrelevant by the iPhone and redundant by Android. These days, I mostly just code again Ask me anything As said in my moreSQL article: I found databases to be fastest when my own
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
Riak Documentation
Datomic - Excision
HBaseのアーキテクチャを理解しよう
TechCrunch
Under a microscope: how AvocadoDB stores data in RAM and data is secured consistently nonetheless in case of a server crash | | AvocadoDBAvocadoDB
ポストロックって結構いいね！ : はれぞう
State Driven Design (SDD)