HDFSのイレイジャーコーディング (Erasure Coding)
2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介 以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる？HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop 3.0をターゲットにして開発されているようです。 http://blog.cloudera.com/blog/2015/09/introduction-to-hdfs-erasure-coding-in-apache-hadoop/ 背景から設計の方針、評価まで幅広くかなり詳しく網羅されており読み応えがあります。しかし、日本語訳が出るかわからないので、自分用にまとめてみました。間違いを発見したらご指摘下さい。 ※Erasure
Building Distributed Systems with Netflix OSS and Spring Cloud
Building Distributed Systems with Netflix OSS and Spring Cloud As presented at: http://www.meetup.com/Pivotal-Open-Source-Hub/events/219264521/ With the advent of microservice and cloud-native application architectures, building distributed systems is becoming increasingly common for the enterprise Java developer. Fortunately many of the innovators in the space, including Twitter, LinkedIn, and Ne
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
ナイーブベイズで羽生さんと羽生くんを分類してみた | DACエンジニアブログ：アドテクゑびす界
はじめに こんにちは。システム開発部の中村です。 機械学習についての理解を促進するため、 データから分類モデルを自動で構築する古典的な方法である、 ナイーブベイズ分類器を実装してみました。 最近はCloudVisionAPIなど専ら画像解析が流行っていますが、 自分のような初学者には敷居が高そうだったため、まずは自然言語処理です。 今回は、TwitterAPIを利用してbotアカウントから名言を収集し、 羽生さんと羽生くんを分類する羽生分類器を実装しました。 尚、APIクライアントはRuby、分類器はPythonで実装し、 形態素解析にはMeCabを利用しています。 また本来ならばどちらも羽生さんとお呼びしなければならない所、 便宜上フィギュアスケーターの羽生さんを羽生くんと表記させて頂く事をお許し下さい。 ツイートデータの収集 APIClientは、Twitter Ruby Gemを使っ
Hadoop0.23 YARNメモ2(Hishidama's Hadoop0.23 YARN Memo2)
円周率算出サンプル（中途半端版） 最初にコンテナー抜きのサンプルを作ったので、今度はコンテナーを起動するサンプル。 ただし、コンテナーの起動は出来たものの、戻り値を受け取る上手い方法を見つけられなかったので、今回はその部分は無し！ つまりコンテナーを起動するだけ（結果はログに出力するだけ）＾＾； 参考として従来のMapReduceで動く円周率算出（モンテカルロ法）のサンプルを使って作ってみたが、 結果を返さないので、別に円周率算出でなくてもよかったな…(苦笑) →ソース全体 MapReduce版のサンプルでは、Map処理を複数起動して数値の算出を行い、Reduce処理で合算している。 最初に入力ディレクトリーをHDFS上に1つ作り、Map数と同じだけ入力ファイルを作っている。 （従来のMapReduceでは、入力ファイル数（と大きなファイルの場合はブロック数）の個数だけMapタスクが作られ
第14回 Hadoopの設計と実装～並列データ処理フレームワークHadoop MapReduce［2］ | gihyo.jp
はじめに 今回は、Hadoopの構成要素である並列データ処理フレームワークMapReduceにおける実装アーキテクチャの特徴について解説します。加えて、類似のシステムである並列データベースを取り上げ、想定するワークロードなどの違いについて解説します。 Apache Hadoopの実装における特徴 現在、Apache Hadoopは、MapReduceの一実装であるHadoop MapReduceと、Googleの分散ファイルシステムGFSのクローンであるHadoop Distributed File System（HDFS）、そしてリソース管理を行うYet Another Resource Negotiator（YARN）から構成されます。ここでは、それぞれのコンポーネント間に存在するアーキテクチャの特徴と、各コンポーネントの実装について述べます。 これら3つのコンポーネントは、すべて
livedoor Techブログ : livedoor グルメの DataSet を公開
櫛井です。 以前 livedoor clip のデータを学術研究用に公開しましたが，おかげさまで，たまに発表等で livedoor clip という名前が引用されているのを見かけるようにもなり感慨深い限りです。 さて，今回は第二弾としまして，livedoor グルメのデータをまとめてダウンロード & 利用可能にしようと思います。 今回はいろいろと余裕がなかったため 豪華なイラスト付きページが用意できませんでした livedoor clip のデータとは違い，定期アップデートはされません。2011年4月22日の時点のデータのみとなります ...が，なにかしら皆様の研究のお役に立てればと思います。 よくありそうな質問と答え ライブドアグルメのユーザですが，自分の個人情報が公開されちゃうってこと？困ります！ 公開されるのは，もともとライブドアグルメのサイトで誰でも見れるようになっている情報だけで
雑にgit cloneして管理していたリポジトリ群をghq管理下に移行してスッキリさせる - 平常運転
このエントリは はてなデベロッパーアドベントカレンダーの21日目のエントリです。 developer.hatenastaff.com id:motemen さん作のリポジトリ管理ツールであるところの ghq を最近ようやく使い始めたところ大変便利だったのですが、いかんせん手元の~/work/や~/hobby/にはすでにgit cloneしたリポジトリが山ほど転がっています。今回、それをghq管理下のディレクトリにさっと移してghqライフをスタートさせた話をします。 ghq ghq そのものについての説明は作者のid:motemenさんのエントリが詳しいので、そちらをご参照ください。 motemen.hatenablog.com 代表的な使い方は↓こういう感じで、まぁだいたいどういうことかわかっていただけるのではないかと思います。 [asato@praline01 ~]$ ghq get g
Java開発の性能改善！ その３ ヒープダンプを取ろう - Qiita
プロセスIDがわかったらjmapコマンドでダンプを取ります。 サーバのディスク容量に注意してください。 heapサイズを2GBとかに設定した場合は2GB以上のファイルが 生成されることがあります。 これで指定した場所にダンプファイルができます。 -dump:live,format=...というようにliveをつけるとGCが起きて コマンド実行時に活きているオブジェクトのみのダンプになるようです。 とりあえず今回はフルで取ります。 ヒープダンプの中身を解析をする 解析をするにはツールを使います。 java標準のjhatやMemory Analyzer、HeapAnalyzerなど いくつかありますが今回はMemory Analyzerを使います。 Eclipseベースなのでサイズの大きいダンプファイルを開く場合は MemoryAnalyzer.iniの設定でツール自体のヒープサイズを 増やす
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散アプリケーションアーキテクチャ 2015
sakamotomsh/zha · GitHub