問題 以下のブログでSTOREをTextFileにしてで圧縮を有効にしていると、hive.merge.(mapfiles|mapredfiles)が無視される問題が報告されています。 Hiveのファイル圧縮とSTOREの種類とマージの関係 Hiveは圧縮されたTextFileをインプットにした場合は、複数ファイルのCombineを行わないようなので、圧縮された細かいファイルはsmall files problemによるパフォーマンスの悪化に繋がります。 また、RCFileでもマージはされるようです。が、実運用で用いているデータで試すとマージされないケースがあったので、下記のワークアラウンドを入れておくのが無難だと思います。 対応方法 ダメな形式の複数のMapper(Reducer)からファイルが出力されると、マージされずにそのまま残ります。 現状のワークアラウンドとしては Reducerを
ジャパンディスプレイの他のプロトタイプ ・651ppi 液晶ディスプレイ http://www.youtube.com/watch?v=L7tx6_3cuJE ・超低消費電力反射型カラーディスプレイ http://www.youtube.com/watch?v=SRO5qPiUQR8 ジャパンディスプレイ、超薄型・省電力・新IPS技術搭載の最先端ディスプレイを開発 http://jp.diginfo.tv/v/12-0206-r-jp.php DigInfo TV - http://jp.diginfo.tv 2012/10/31 FPD International 2012 ジャパンディスプレイ イノベーションビークル
Jenkinsを使用してメトリクス測定の結果をグラフ化し、プロダクトに対する品質向上の指針としています。以下はそのグラフの例です。 これらのことを行うsbtとJenkinsの設定方法について以下で解説していきます。 sbt設定について テスト結果レポートを出力するためのsbt設定 Specs2 を使用してテストを行う場合、build.sbt に以下を設定します。 testOptions += Tests.Argument(TestFrameworks.Specs2, "console", "junitxml") カバレッジレポートを取得するためのsbt設定 scct という Scala プログラムのカバレッジツールを使用します。 http://mtkopone.github.com/scct/ resolvers += Classpaths.typesafeResolver resolv
ステージの上に専門家が並び、与えられたテーマに沿って本音をぶつけ合う。IT業界ではこうした形態のパネルディスカッションが、ベンダー主催の大きなイベントからコミュニティによる勉強会まで、さまざまな場所で行われています。 筆者(新野)は、10年以上前からパネルディスカッションのモデレータの依頼を数多く受けてきました。おそらく、IT業界においてモデレータをもっとも多くこなしてきたひとりだと思います。 大きなイベントでは、例えば2009年、2010年にIBMのイベント「IBM Rational Software Conference 2009」や「Innovate 2010」で、アジャイル開発をテーマにしたパネルディスカッションのモデレータを担当し、来場者アンケートの評価で2年連続して基調講演を含めて全数十セッション中最高の評価を得たことがありました。コミュニティ主催のイベントでも、昨年の「クラウ
Kazuho Oku @kazuho バージョン管理システムの目的は変更履歴を管理することなんだから、git rebase とか履歴を改変するコマンドは言うまでもなくダークサイド 2012-11-09 16:58:32
アップタイム・テクノロジーズ合同会社 アップタイム・テクノロジーズ合同会社(本社:東京都港区、代表社員:永安悟史)は、オープンソースの運用管理ソフトウェア「Hinemos」を用いてオープンソースのデータベースソフトウェア「PostgreSQL」の性能監視を行うためのアドオン「Hinemos PostgreSQL性能監視オプション」の提供を本日2012年11月14日より開始いたします。 近年、企業システムへのオープンソースソフトウェアの導入が進んでおり、その対象はPostgreSQLなどの企業の基幹システムを構成するデータベースソフトウェアにも及んでいます。 一方で、特に企業システムにおけるオープンソースのデータベースについては、運用管理するための技術やノウハウが十分に浸透しているとは言えず、PostgreSQLの利用を検討している・利用しているユーザーの半数以上が「運用・保守フェーズ」に不
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く