Impalaのファイルフォーマット 最適なファイルフォーマットを使用することは、優れたパフォーマンスを得るためには極めて重要です。これは、Impala アプリケーション(英語)でJSONがサポートされていない理由の一つです。実際に、1レコードでさえ全てのテキストレコードの構文解析や取得をすることは、パフォーマンスにひどいダメージを与えます。Impalaでは別の一連のフォーマットを推奨しています。 ここではjsonデータを含んだAvroフォーマットのHiveテーブルと、新しいParquetフォーマットのテーブルをどのようにして作成するのかを紹介しています。HadoopチュートリアルシリーズのEpisode 2 of the Season 2 (英語)の同じYelpデータを使用しています。 Avro 最初の手順はPigスクリプトの支援によりデータをJSONに変換することです。Pig Edito
増えるログ、多様化するログをどう効率的に運用するか:今さら聞けないfluentd~クラウド時代のログ管理入門(1)(1/2 ページ) 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
アシタノレシピは「明日を楽しく!」をモットーに、日々の仕事やプライベートを楽しくするためのちょっとした工夫やコツ、考え方を紹介するブログメディアです。 photo credit: HPDeutschland via photopin cc 私の愛しいアップルパイへ 私はフリーソフトが大好きです。フリー!なんて甘美に響く言葉でしょう!!Windowsを快適に使いこなす上でフリーソフトは切っても切り離せない関係ではないでしょうか。 私が特にこだわっているのは、スタートアップに登録するフリーソフトです。スタートアップに登録したら、Windows起動時に自動起動することになります。それは、機能として必要不可欠であると同時に、信頼できる動作をするソフトでなければなりません。無闇に増やすわけにもいきませんから、厳選する必要が出てきます。 自分のパソコンのスタートアップに登録するということは、そのフリー
ドイツは福島第一原発の事故のあと、脱原発を高らかに掲げ、将来、原発を止めた暁には、その分の電力を再生可能エネルギーで賄うという決意を示した。以来、頑張っているものの、しかし、現実は難しい問題が山積みという状態だ。 確かに、再生可能エネルギーで発電できる電気の容量は抜群に増加している。ドイツに来れば分かるが、あちこちに風車が立ち並び、そして、多くの一般住宅の屋根にソーラーパネルが載っている。アウトバーンを走っていると、巨大なソーラーパークも目に飛び込んでくる。 何故、こういうものが雨後の竹の子のように増えたかといえば、再生可能エネルギーで発電した電気が、20年にわたって全量、固定価格で買い取ってもらえるという素晴らしい法律があるからだ。 土地と投資力を持っている事業者は、広大な土地にソーラーパネルを並べ、絶対に損をしない商売にニコニコ顔だ。 そうするうちに、再生可能エネルギーでの発電容量は6
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く