Cloudera World Tokyo 2012 で発表した、Hadoopのシステム設計と運用のポイントに関する資料です。Read less
This document discusses how to collect big data into Hadoop using Apache Flume and Fluentd. It describes some problems with a poor man's approach to data collection and discusses the basic theories of divide and conquer and streaming to make data collection more efficient. It then provides an overview of how Apache Flume and Fluentd work, including their network topologies, configurations, and plu
将来、企業向けのビッグデータを支えるプラットフォームの多くではApache Hadoopを盛り込むようになる――。米Gartnerの予測では、自然言語認識や音声認識といったテクノロジも、データ分析の対象として存在感を増すという。 調査会社の米Gartnerは1月24日、ビジネスインテリジェンス(BI)とデータ分析の動向に関する報告書を発表した。大規模データ処理に使われるオープンソースプラットフォームのApache Hadoopは、2015年までに、高度な分析機能を備えたパッケージ型分析アプリケーションの65%に組み込まれると予想している。 Hadoopは特に、構造化されていないデータやテキスト、動作分析およびタイムベースクエリの分析など、ビッグデータの分析に活用され、組織もそのパワーを認識するようになっているとGartnerは指摘。 今後数年の動向として、IT組織がHadoop対応のデータ
Programming Pig 作者: Alan Gates出版社/メーカー: O'Reilly Media発売日: 2011/09/29メディア: Kindle版この商品を含むブログ (1件) を見る 本当はJavaで書きたい。けどコンパイルや多段MapReduceは面倒なので まずは僕の面倒くさがりな性格とプログラミング言語の話。10年前はJavaでWebアプリを書いていましたが、就職してScript言語をばりばり使っていた時期が長く続いたのでJavaから遠ざかってしまいました。もともとJavaのコンパイルが嫌いで、環境を整えたり直ぐに動作確認ができなかったり。スピードを求められる単純作業がその面倒な事によって時間が削られることを嫌っています。(自分でも良くないことだと思っていますので、今後は時間が有るときにJavaを書いてみます)JavaMapReduceは柔軟であり速度的にも速いこ
uspBOA (Bigdata Oriented Architecture) は、ユニケージ開発手法をベースにしたビッグデータ処理専用ソフトウェアアプライアンスである。一般的にアプライアンスと呼ばれているのは、ある用途に特化したハードウェア製品だが、uspBOAは汎用のPCとオープンソースを使い、ソフトウェアだけで大量データの処理を快適に行うことを可能にしている。Hadoopの廉価性とスケールアウトに、アプライアンス商用製品の性能・保守サポート・安定性を合わせた「いいところ取りをする」というのが製品コンセプトだ。 ここで採用されているユニケージ開発手法とは、シェルスクリプトとテキストファイルで企業の基幹システムを安く、早く、柔軟に構築することを可能にしたものだ。「プログラムの習得が容易」、「データ構造が明快」、「プログラムが非常に短い」、「UNIX系のOSの最新機能でセキュリティを確保して
こんにちは. 昨年知人のオーケストラ演奏会で聴いたメンデルスゾーン交響曲第4番「イタリア」が大好きな,技術部の石川有です. そんな「イタリア」大好きな私ですが Hive のデータ移行も大好きという体で, 今回の記事ではオンプレミスで Hive を頑張って運用している方たちに向けて,どうしてもというときの Hive のデータ移行方法を紹介したいと思います. 弊社では最近,Cloudera's Distribution including Apache Hadoop 3 update 2 (CDH3u2) から CDH 4.1.2 にバージョンアップを行なっています. このようにオンプレミスで Hive を運用している方たちの中には,すでに持っているデータをうまく移行したいという方も多いかと思います. Hive には現状 MySQL の mysqldump のような機能が提供されていないのでバ
2013年2月14日と15日の2日間にわたって東京・目黒で開催されるDevelopers Summit 2013(デブサミ2013)の1セッションで、QA@ITの委託開発の話をさせて頂くことになりました。 ソーシャルコーディング革命後の開発委託の世界〜QA@ITの事例(仮) 私はこれまでいつも、デブサミは取材記者という立場で見て来ました。記者として取材して、例えば以下の様な記事を書いて来ました。聴衆に混じって講演を聞く側だった私が、まさか話す側に回ることになるとはと、今からドキドキしています。 デベロッパーズ・サミット2008:すばらしいソフトを作るには、カリスマが講演 未来の言語は「APL」? Rubyのまつもと氏が講演 IIJのRuby対応PaaS「MOGOK」は、どんなサービスか? さて、デブサミは開発者のイベントですが、私は委託側、つまり受託開発における「お客の声」ということでお話
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
ペアプロって難しい。今のところ、基本的にうまくいかないことが多い。 その中でもたまに成功体験みたいなのがあったので、それを書いてみる。今回の話はあくまでも主観で感じたことである。断定的な書き方をしているのは単に書きやすいからであって、他意はない。あと失敗体験も書いておく。 今回の話に初心者と上級者という言葉が出てくる。これはペアプロ対象に対する初心者・上級者というものとする。なので初心者は「ペアプロ対象に対してあまり知識を持っていない」人であり、上級者は「ペアプロ対象に対して知識をある程度持っている」人とする。 ペアプロ対象の定義は難しくて、Perlで書かれたものであれば、Perlの知識は必要だけど、Perlで作られたある機能の知識や、もしかしたらMySQLの知識みたいなものも対象になりうるかもしれない。そのようなものを漠然とまとめて、ペアプロ対象と言っておく。 成功体験 ペアプロ対象に対
この記事は、 Vim Advent Calendar 2012 63日目の記事です。 Vim Advent Calendar 2012 : ATNDみなさん、vimにちは! いよいよ二月になりましたね。自分もクリスマスが待ち遠しくて、今更ながら参加してしまいました。 秒速でメモを書く条件 今回は「秒速でvimでメモを書く条件」ということで、普段の自分のvimでのメモ環境を紹介しようかなと思います。 EvernoteでもなくSimplenoteでもなくDropboxを使うはい、これで話の8割は終りました。まさに秒速ですね! メモのクラウド化はとても需要の高い分野で、例えば「Evernote」なり「Simplenote」なり様々なサービスがあります。 当然ながら、それらを扱うためのvimプラグインも充実しています。 PSP-4 Vim で Evernote にポスト!Markdown 対応の
はじめに ちょっとデプロイしてスマホで確認したい、皆に見てもらって感想が欲しい、とにかく直ぐにデプロイしたい。そんな時に便利なgrunt.js用のタスクのgrunt-rsyncです。 rsyncコマンド知ってますか? 僕は知りませんでした(汗。ファイル群の同期を取る用途のコマンドです割と古くからあるみたいです。多くのUnix系環境にデフォルトで入っているようです。名前の通り、ファイルの同期を取るのがこのコマンドの仕事で、ローカル同士でもリモートともSCP経由などで同期を取れるようです。 詳しくはWikiで。 grunt-rsyncパッケージ rsyncwrapperというrsync用のパッケージを使用しているgrunt用タスクです。もっとシンプルにrsyncをラップしている grunt-rsync-2 というのも存在しますが、コピーに失敗してもがエラーが出なかったのでこちらの方がいいと思い
どれがこれであれがどれだ。なんか JavaScript の this について揉めてるらしいので燃料投下することにした。これで何度目だよチキショー。早いとこ学習しやがれ。 this は4種類もない this は1つだ。 「this はレシーバを指す」 これだけだ。 レシーバの指し方が複数ある 複数あるのはこっちだ。覚えておけ。 receiver.method() method.call(receiver) method.apply(receiver) method.bind(receiver)() new Constructor() 上4つは見たままだ。一番下は少し特殊だが、新しく生成されたオブジェクトがレシーバになる。以下の様なコードを思い浮かべるとわかりやすい。 function Constructor () {} var receiver = Object.create(Constr
システムエンジニアの過酷な実態をコミカルに描く電撃文庫の異色作『なれる!SE』。本企画は、その主人公&ヒロインである桜坂工兵と室見立華による“中二っぽい”IT用語の解説コーナーだ。初回はそれに先立ち、見た目は中学生だが敏腕SEの室見立華に、システムエンジニアについての質問をぶつけてみたぞ。 現場だから言える、SEってこんな仕事! ――本日は敏腕SE、室見立華さんにシステムエンジニアについてお話をお伺いしていこうと思います。まずは自己紹介からお願いできますでしょうか。 株式会社スルガシステム、システムエンジニアリング部所属、 室見立華よ。担当分野は主にネットワーク。サーバ周りもミドルまでなら対応できるわ。好きなOSはJUNOS、生活環境のコマンドシェルはtcsh、……ちょっと徹夜作業空けだから食事しながらでいい?(おもむろにツナ缶を開ける) ――は、はいどうぞ。……えーと、ではさっそくですが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く