HBaseFsck(hbase hbck)について(1) – 概要 (Cloudera cdh3u3の場合) | Synergy Marketing LAB BLOG
研究開発Gの久保です。 Hadoopの関連プロジェクトに、HBaseがあります。 HBaseはHadoopの基盤の上に構築されたスケーラブルな分散データベースです。 さて、HBaseを動かしていると、時々HBaseのデータ整合性がおかしくなることがあります。 整合性がおかしくなると、データをscanしようとしてもエラーになってデータが取得できなくなったりします。 そういうときにHBaseFsck(hbase hbck (-fix)コマンド)を使って整合性をチェックしたり、直したりする・・・らしいのですが、このツールのことが今ひとつわかりません。 不整合がある場合には 1799 inconsistencies detected. Status: INCONSISTENT という風に表示されますが、修復のため-fixオプションを使っても全くinconsistencyの数が減らないこともあ
ストリーミングアーキテクチャ: State から Flow へ - 2016/02/08 Hadoop / Spark Conference Japan 2016
ビッグデータの処理モデルとしては、最近までバッチ処理が中心でしたが、最近 Apache Spark や Apache Kafka のようなストリーミングアーキテクチャを採用する例が出てきています。これらはシステムをシステムをシンプルかつロバストにするという観点で大きなメリットがありますが、一方で従来のメッセージキューイングの設計と大きな違いがあります。この講演では、いくつかのストリーミングシステム特有の考え方や設計パターンを例に挙げながら、モダンなストリーミングシステムの構築の指針をご紹介します。2016年2月8日に開催されたHadoop / Spark Conference Japan 2016での講演資料です。Read less
Apache Kafkaを使ったマイクロサービス基盤
class: center, middle # Apache Kafka<br/>を使った<br/>マイクロサービス基盤 [2016/01/31 Scala Matsuri](https://scalamatsuri.org/)  --- class: center, middle 発表後に追記 [当日の発表動画はこちら](https://www.youtube.com/watch?v=64HNeksRx5I) --- class: middle <img src="image/xuwei.gif" alt="icon" width="100" height="100" /> - twitter [@xuwei_k](https://twitter.com/
ＵＳＢ接続口ふさぎきれず「あくまで緊急対応」 : 社会 : 読売新聞（YOMIURI ONLINE）
堺市の有権者情報がネット上に流出した問題で、情報の無断持ち出し防止のため、市がパソコンのＵＳＢ接続口をふさいだとする部署には、マウスやキーボードをＵＳＢ接続しているパソコンがあり、外部の記憶媒体が接続できる状態になっていることが９日、わかった。 市は「穴をふさいだのは流出防止への職員の意識付けの意味が大きく、あくまで緊急対応。他の対策を急ぎたい」としている。 市によると、住民情報を扱う部署では、この問題が発覚する前からパソコン約６００台を専用ソフトでＵＳＢを使えないように設定。ほかの約１０００台は１月から市販の器具で接続口をふさぎ、専門家による検証委員会に対して８日、「完了した」と報告した。 この約１０００台の中には、マウスやキーボードをＵＳＢ接続で使用しているパソコンがあったが、「業務に支障が出る」として、そのまま使っているという。 市は、マウスやキーボードを接続しているＵＳＢポートを利
清原容疑者「覚醒剤飲んで本塁打連発」「Ｖ旅行で大麻」元同僚が爆弾証言 | 東スポWEB
【薬物逮捕でアウト！番長の転落と闇（７）】元プロ野球選手の清原和博容疑者（４８）が覚醒剤取締法違反（所持）容疑で逮捕された事件について、２００６年に同法違反（使用）容疑で逮捕（有罪確定）された巨人時代の同僚選手（４７）が本紙に爆弾告白した。清原容疑者に直接、覚醒剤を渡していただけではなく、「清原はシャブを飲んで３試合連続ホームランを打っていた」など衝撃のエピソードを生々しく明かした。 ――清原容疑者の事情に詳しいようだが、いつから（清原容疑者は）覚醒剤をやっていたのか 元同僚：自分が（巨人に）入った１９９８年からやってますよ。（他にも）マリフアナ、コカイン、エクスタシーもやっていた。僕が１００錠ぐらい仕入れていたエクスタシーは効くやつと効かんやつがあって、僕のは「よく効くから」と言っていて手渡していた。よく「仕入れてくれ」と頼まれていた。大体、２０００年ごろまでか、０２年の僕がアメリカに行
Apache HBase ブック
Adding first cuts at Configuration, Getting Started, Data Model
JPL（ジェット推進研究所）におけるLispの顛末 | POSTD
この記事はジェット推進研究所(JPL)におけるLispの盛衰について、私の（しかもかなり偏った）個人的見地から書きました。JPLの所員としての立場で書いているのではなく、JPLの公的な立場を代弁するものでもないことをお断りしておきます(これについては読み進めていただければ分かります)。 1988-1991 ロボット工学の時代 私は1988年にJPLに入所し、自律移動ロボットの人工知能（AI）グループに配属されました。当時は今と違って政府の財源から資金が潤沢に流入していました。「ＡＩの冬」が始まりかけていましたが、まだJPLには到達していませんでした。研究所の技術動向は最先端から数年遅れになる傾向があるようです。 当時のJPLはマーズ・ローバー・サンプル・リターン（MRSR）と呼ばれるマーズ・ローバー・ミッションの初期計画段階にありました。あの時代、宇宙ミッションはあらゆる意味で巨大でした。
HBaseのデータ書き込みの仕組み - pandazx's blog
以下の記事の意訳と補足 Apache HBase Write Path | Apache Hadoop for the Enterprise | Cloudera 本記事ではHBaseがどうやってHadoop上で低レイテンシな読み書きを実現しているか、また、データの更新が出来ないHadoopでどうやって更新を実現しているかを説明している。 ポイントは HBaseのデータはrow keyのソート制約があること ディスク上のHFile、メモリ上のMemstore、データロストを回避するためのWAL 以下、内容。 本記事のwrite pathとは、データのputやdeleteを行う方法を意味する。 このpathはクライアントで始まり、region serverに行き、データがHFileにeventuallyに書き込まれて終わる。 write pathにはregion serverと通信できない状
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
２月２９日月曜日、APMのワークショップが東京で、開催されます。 | New Relic
各社の監視SaaSを利用してAmazonLinuxを監視してみた（NewRelic,Datadog,mackerel） | DevelopersIO
HBase - Who needs a Master?