Hadoopを使いこなす(2)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。 古いAPIでは、MapRunnerを通じてこの流れを制御できますが、0.20.0からの新しいAPIでは単純にMapperクラスのrun関数をオーバーライドすることで、行えます。 デフォルトのrun関数は以下の通りです。 public vo
MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。
fluentdによるログ収集システムの構築～応用編
はじめに 基本編では、ログ収集サーバーおよび、クライアントのインストールと基本的な設定について解説しました。応用編では、サーバーが収集したログをデータベースに集積し、検索する方法を解説します。 データベースへのログ集積 基本編では、fluentdが収集したログは全てファイルとして保存していますが、保存されたログファイルのサイズが大きくなると、ログの解析も困難になります。 そこで、公式プラグインとして用意されているmongoプラグインを使用して、収集したログをMongoDB上に集積します。 なお、セットアップはサーバー上で行って下さい。 MongoDBレポジトリ設定 インストールに先立ち、MongoDBのリポジトリを設定します。 $ sudo vi /etc/yum.repos.d/mongo.repo [mongo] name=MongoDB Repository baseurl=http
fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する | 踊る犬.net
Programming, Technology fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する SaaSは利用料が高いのでOSSを使う 要件 独自フォーマットのログを扱いたい アプリケーション特化の情報も一緒に格納したい グラフ設定を簡単に柔軟に変えられるようにしたい システム構成 Chefを使ったセットアップ手順 fluentdの設定 ElasticsearchとKibanaのインストール Elasticsearchの設定 Kibanaの設定 参考リンク SaaSは利用料が高いのでOSSを使う サーバのログを可視化するSaaSは沢山あります。 DataDogとかKeen IOとかlibrato、Logglyなどなど。 とても便利そうですね。でも価格が高い！ なんでもかんでもSaaSに頼ってたら毎月数十万とかになりそうです。貧
ThreadDumpの内容をJavaのコード内で扱う - 水まんじゅう2
[twitter:@making]さんにおしえてもらいました。 code public static void main(String... args) { java.util.List<java.lang.management.ThreadInfo> threadInfos = java.util.Arrays.asList(java.lang.management.ManagementFactory.getThreadMXBean().dumpAllThreads(true, true)); System.out.println(threadInfos); } output ["Signal Dispatcher" Id=4 RUNNABLE , "Finalizer" Id=3 WAITING on java.lang.ref.ReferenceQueue$Lock@15db9742
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう！ by SRA OSS, Inc. 日本支社 長田悠吾
Strutsを使い続けることの問題点＆現在有力なJava EE、Spring、Play Frameworkの基礎知識とアーキテクチャ
エンタープライズJava開発に従事している方であれば、一度はStruts 1を扱ったことがあるでしょう。Struts 1はJavaのWebアプリケーションフレームワークとして2001年ごろに誕生しました。 MVCモデルに基づいたアーキテクチャと高い生産性から、数年後にはデファクトスタンダードとなるほどの人気を獲得。当時、多くの企業がこぞってStruts 1を使った企業システムを構築しました。筆者自身が業界に入ったのは2004年のこと。最初に参加したプロジェクトがStruts 1を使った企業システムの構築だったことをよく覚えています。 当時に作られたシステムの多くは、今でも現役で稼働しています。最近でもStruts 1ベースの企業システムを改修する話はよく聞きます。しかし、2013年にサポート終了を迎えたため、今後Struts 1を使い続けることは大きなリスクになりました（参考）。つまり、新
Juliaで並列計算 - sfchaos's blog
Juliaでの並列計算に関する調査メモ。 Juliaでの並列計算の概要 Juliaでのマルチプロセッシング環境は、メッセージパッシングに基づいている。MPIなどの通常のメッセージパッシングは、プロセス間でデータや命令などを相互にやりとりする。しかし、Juliaのメッセージパッシングの実装はあるプロセスから他のプロセスへの一方通行であることが特色となっている。そのため、ユーザは片方のプロセスの管理だけを行えば良い。 あるプロセスから他のプロセスへのメッセージとして重要なのが、"remote call"(remotecall関数)と"remote reference"(fetch関数)である。これらはそれぞれ、「あるプロセスから他のプロセスへの処理の指示」、「指示された処理を行ったプロセスでの処理結果を指示を出したプロセスが参照」に対応する。 remote call(remotecall関数)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう！ by SRA OSS, Inc. 日本支社 長田悠吾](https://cdn-ak-scissors.b.st-hatena.com/image/square/46c3b9f8f50262dee4361ea9f86da974612915d8/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015b17postgresqlsraoss-150616021919-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
