第7回 大規模データ処理におけるCPUとI/Oのバランスをどう考えるか | gihyo.jp
3大ボトルネックを解消すれば終わり、ではない これまでの連載では、ディスクI/O、CPU、ネットワークI/Oの3つの観点で、大規模データを処理するときのボトルネックの傾向と改善点について説明しました。それらの改善策をすべてを実施すれば、もう何も心配する必要はないのでしょうか？ 残念ながら、よかれと思って実施したチューニングがほかの箇所に影響を与える可能性があります。最終回となる今回は、その具体例を見ていきましょう。 データを圧縮した場合、CPUボトルネックが生じやすくなる 大規模データを扱うときは、データの総量を小さくしてストレージ装置のコストを削減するため、圧縮機能の利用を検討することが多いです。 データを圧縮する場合、RDBMSの機能を利用するのが一般的です。たとえばOracle Databaseには、以下のように何種類かの圧縮機能があります。 標準圧縮機能 OLTP圧縮機能（Adva
Windowsで最高のターミナルを構築する方法 - 純粋関数空間
皆さん、Windowsでコマンドライン使ってますか？ まともなターミナルエミュレータすらないと思っている方もいらっしゃるかもしれませんが、案外何とかなるものです。 これが完成図です。1週間ほどいろいろ試した結果、動作、見た目、フォントレンダリング、どれもおおむね満足行く結果になりました。 Terminal Emulator選び Windowsをお使いの皆様ならご存じかとは思いますが、デフォルトのTerminal Emulatorである cmd.exe が良くないです。 挙動、フォント云々の話をするまでもなく、横幅が80文字固定なのがどうしようもありません。 プロパティのレイアウトのところから幅の変更ができるようでした。ご指摘ありがとうございます。 この辺を見てWindowsで動作するものを一通り試してみたのですが、動作がおかしいか、フォントが気に入らないか、プロプライエタリかで、どれもよく
中学1年生、取締役社長が語る「マグカップ論」
本連載では、Life is Tech ! が主催するイベント「Edu×Tech Fes 2013 U-18～驚異のプレゼンテーション～」をレポートする。Edu×Tech Fes 2013 U-18は、テクノロジーから教育を考え、教育からテクノロジーを考えるイベント。天才中高生が語るゾクゾクする3時間を、全7回の連載でお届けする。 米山氏は、幼いころから興味を持った事柄を探求するのが好きで、幼稚園のときは太陽系に興味を持っていた。彼の通っていた幼稚園では、自然科学の教育に力を入れており、太陽系に関する授業があったという。米山氏は、天文学の本を読みあさり、どのように惑星ができたのか、惑星は何でできているのかなどを調べたそうだ。また、家の近くにあるJAXA（宇宙航空研究開発機構）の相模原キャンパスで行われる一般公開イベントや博物館などにも通った。 こうして宇宙について調べていると、「地球のでき方
SSD に関する雑感 - mura日記 (halfrack)
SSD は block erase やら wear leveling で作業領域としての DRAM に大きく頼らざるを得ない。 電源断により DRAM の dirty な領域が消失することを考慮しながらメタデータの破損を防ごうとすると、 DRAM -> NAND の書き込み順序に強い制約が生じ、高速化に支障を来す。(ファイルシステムにおけるそれと同じように) DRAM with BBU を仮定すると、ファームウェアが書き込みの順序をイジる自由度が大幅に増す。 HDD と違い、 NAND は短時間ならキャパシタの電力で書き込みを行うことが出来るので、 SSD 内部での DRAM with BBU が容易であり広く普及するだろう。 コンデンサは二次電池と違い、はめ殺しに出来る程度に寿命が長い。 定期的な交換を必要とせずメンテナンスが楽なので、コンシューマ向けにも普及するだろう。 安価な SSD
8つの質問で、Hadoop業界の現状を知る - 科学と非科学の迷宮
Webサービス系の隆盛があったのかどうかはよく知らないが、Hadoopのリリースが騒がれたのが7年前ぐらいだろうか。Hadoop業界の人材動向が、今どうなってるかって？ 大方の予想より凄惨ですよ。 それが分かる方法がある。Hadoop技術者に技術力を問う8つの質問によってだ。Hadoop業界のエンジニアの平均レベルを知りたくって、いろんな会社さんのHadoop開発者（経験者）向けに以下のような8つの質問をしてみたいと思ってるけど、やったことはない。 対象者としては、Hadoop経験3から4年の現役バリバリのはずのHadoopエンジニアだ。 その8つの質問というのはこんな問題だ。 Hadoop技術者に技術力を問う8の質問 投機的実行のメリットを一言で表して下さい。（筆記解答） ネームノードのRPCアドレスを取得するコマンドは何ですか？（筆記解答） 標準jarファイルでベンチマークを取る方法を
Mesos: A Cloud Scheduler (1) - steps to phantasien
WIRED に ”Return of the Borg: How Twitter Rebuilt Google’s Secret Weapon” という記事があった。Twitter が Mesos というクラスタ管理のソフトウェアを開発しており、 それは検索会社のなんとかいうシステムみたいなもんらしいよ、という話。 不勉強につきそのなんとかいうシステムのことはよく知らないけれど、 去年の今頃開かれた Twitter の Open House (ASCII のレポート) をのぞかせてもらった際、 Twitter 社のエライ人 Rob Benson が 「これからインフラは Mesos でいく!!」 と熱心に話していたのを覚えている。 WIRED の記事によれば、Mesos ベースに移行したマシンは二割。もう全部移行する勢いなのかとおもってたけど、インフラを変えるのは大変なのだろう。 そういえ
Flow.js Ver 1.0.1 リリース と (this.self || global) の解説 - latest log
Flow.js Version 1.0.1 をリリースしました。 使い方はこちらをごらんください http://www.slideshare.net/uupaa/flowjs リポジトリはこちらです https://github.com/uupaa/flow.js $ npm install flow_js でもインストールできます 既にインストールしている方は、 $ npm update flow_js でupdateできます。 主な改善は、 FlowのargsをJunctionに引き継いでいなかったので引き継ぐようにしました var Flow = require("flow_js").Flow; var junction = new Flow(2, function(err, args) { // この場合の args は = [ [1,4], [2,3] ] です。 // Array
Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
Happy Elements Labs: fluentdとMongoDBでユーザー行動を見える化
はじめに エンジニアの@ryooo321です。 よろしくお願いします。 今回は弊社で運用中の全アプリで利用している行動分析プラットフォームについてご紹介したいと思います。 2012年の6月に作ってから、約9ヶ月ほど運用しています。 特徴 ・手がかからないデータストア ・さまざまな問い合わせ対応で利用できる柔軟なクエリ ・機敏なMap/Reduceによる集計 ・集計結果をCSVやグラフで可視化 目的 ・ユーザーの問い合わせに効率的に対応し、アプリの企画・開発に集中するため ・ユーザーの行動を抽象化・可視化することでPDCAの質を向上させるため 行動ログのフロー 1. ユーザーからRuby on Rails製のソーシャルゲームにリクエスト 2. Railsからローカルのfluentdにログ出力(fluent-logger-ruby) 3. ローカルのfluentd
tuningathon5_mysql56
1 チューニンガソン5の復習 MySQL 5.6 新機能編 MyNA(日本MySQLユーザ会)会 2013年3月 2013/03/15 平塚 貞夫 2 自己紹介 • DBエンジニアやってます。専門はOracleとMySQL。 – システムインテグレータで主にRDBMSのトラブル対応をしています。 – 仕事の割合はOracle：MySQL＝6：4ぐらいです。 • Twitter：@sh2nd • はてな：id:sh2 • • 写真は実家で飼っているミニチュアダックスのオス、アトムです。 3 前回のあらすじ 4 前回のあらすじ • チューニンガソン5の復習 MySQL 5.5 チート編 http://d.hatena.ne.jp/sh2/20130304 ベースライン ベースライン (2 回目 ) (1) バッファプール拡大 (2) クエリキャッシュ削除回避 (3)Bug#42197 対処 (
RCFile，Parquet，ORCFile
この2ヶ月で，Cloudera/Twitter，Hortonworks からそれぞれ別の列指向ファイルフォーマットが公開されました．Parquet と ORCFile です． この記事では，まず RCFile の復習をして，その後 Parquet と ORCFile それぞれの共通点と違いをおおまかに見ていこうと思います．コードレベルの詳細な違いについては，次回以降で見ていきます． RCFile の復習 RCFile は Record Columnar File の略で，Hive から利用できるストレージフォーマットです．特に，HDFS や S3 といった分散ストレージ上でパフォーマンスがでるように設計されています． HDFS/S3 といったストレージでは，基本的にデータを計算機間で同じ負荷になるようにデータを分散配置します．このため，従来の列指向ストレージフォーマットのように適当に列毎に
言葉はグラフィックより大事なインターフェイス
2013年3月16日にAndroid Bazaar Conference 2013 Spring が開催されました。昨年に引き続き今年も登壇。前回はゲームをテーマにして話をしましたが、今回は「コンテンツで改善する UI デザインの極意」と題してコンテンツと UI をテーマに話をしました。 見た目が綺麗だから良い UI というわけではない UI のインスピレーションとして Dribblbe や Android Patterns のようなギャラリーサイトを見ている方は多いと思いますし、「素晴らしい UI のまとめ」と名付けた記事も、だいたいはこうしたギャラリーサイトを参照していることが多いです。 実装まで携わった経験がある方ならなんとなく分かると思いますが、Dribble で紹介されている UI アイデアの多くは現実味がない想像図が多く掲載されています。実装しようとするならばパフォーマンスや操
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kaggle: The Home of Data Science
UCI Machine Learning Repository
ColourCode: Color Palette Generator | Toptal®