この投稿は、Hadoop Advent Calendar 2013 - Qiita [キータ] 21日目です。 今日は、HDFSのスナップショットについて書きます。 HDFSスナップショット HDFSスナップショットは、特定の時点でのHDFSの状態を記録しておくことで、問題があった場合に容易に復旧させることができる、バックアップを容易にするという目的で、Hadoopの機能としてHadoop2.2系より提供されています。 これまでも利用者が複数のコマンド(Hadoop、OS)を組み合わせれば同じような仕組みを実現できたと思いますが、これにより統一できることがポイントです。 HDFSスナップショットの特徴 HDFSスナップショットには以下の特徴があります。 ユーザ単位で実行可能 スナップショットは、特定のユーザのみが取得できるわけでなく、HDFSにアクセスできるユーザであれば誰でも取得できます
B2B系Fintechリーダー企業が語った「ブロックチェーンは本当に破壊的なのか?」 3/4「Fintechセミナー」インフォテリア、テックビューロ、マイクロソフト、カレンシーポート ブロックチェーンは金融とテクノロジーの融合するFintechの中核技術と言われる。もともと仮想通貨ビットコインの基盤技術であったブロックチェーンが、なぜここまで注目されるのか?3月4日に開催されたセミナーのパネルディスカッションでは、インフォテリア平野社長、テックビューロ朝山社長、カレンシーポート杉井社長、マイクロソフトの榊原CTOによる、ブロックチェーンの課題と可能性についての議論が行なわれた。 ブロックチェーンはシステムのアーキテクチャを変える インフォテリア株式会社 代表取締役社長 平野洋一郎氏/日本マイクロソフト株式会社 執行役 最高技術責任者 榊原彰氏 インフォテリア主催の「Fintechビジネスセ
キケンな「ブラック企業」はこう見抜け! ~たった一つの指標でわかる 現役東大生が明かす「成功する就活の秘伝」 「現存する『就活本』としては断然のベスト」と経済評論家の山崎元さんが太鼓判を押す『進め!! 東大ブラック企業探偵団』という「企業分析小説」が今、東大・京大でいちばん売れている。 その本の著者で、東大経済学部生の大熊将八さんが、3月1日の就活解禁日に、就活生向けのセミナーを開いた。場所は、東大本郷通りと言問(こととい)通りの交差点近くのイベントスペース。 小説のモデルとなった「Tゼミ」(瀧本哲史京大准教授が顧問)で実践されている最強の企業分析の「秘伝」を伝授すると銘打ったこのセミナーで、就活生30余名を前に語った、「本当のホワイト企業」「実は危ないブラック企業」の見分け方とは? 「就活強者」でさえ「情報弱者」 2017年卒の就職活動が3月1日に解禁されてから1週間あまりが経過しました
■MOM’S STAND(マムズ スタンド)3月号 五輪選手とまでは言わない。でも、子どもには運動好きになって欲しい、得意なスポーツを持って欲しい――そんな人も多いのではないでしょうか。幼児期からちょっと心がけることで、運動能力を伸ばす環境につなげられるようです。 平日は水泳と体操、週末はバドミントン。2男1女がいる東京都大田区の女性(36)は、小学2年の長男に三つのスポーツをさせる。 夫婦ともスポーツが好きだ。「世界をみろ!」と家で夫は熱い。そして、「この年代では色々なスポーツをした方がいい」。母親としても、いずれ何かのスポーツに打ち込めるよう、今は基礎的な運動能力をつけさせる時期なのか、そろそろ一つの競技に絞り始める時期なのか、知りたいと思っている。さて……。 ■習うより遊ぼう 「小学校低学年までは、特定の運動の上達を目指すのではなく、色々な動きを経験させることが大事です」。幼児期の運
スマートフォンが急速に普及し、人々の生活は便利になり、街を歩くときにスマートフォンのナビゲーションは常識になりました。 しかし、屋内や地下など、GPSの電波が届かない場所は無数にあります。 土地の上には建物があり、建物の中には空間がある。その空間に位置情報を整備する(場所のIoT)テクノロジーが「TAGCAST」です。 TAGCASTは、CEATEC AWARD 2014のソーシャル・イノベーション部門 グランプリ、2016年と2017年の2年連続でMicrosoft Innovation Awardファイナリスト、MCPC award 2017 総務大臣賞、2018年にイオンビジネスコンテストで優勝したプロダクトで利用しているテクノロジーです。 土地の上には建物があり、建物の中には空間がある。 その空間に位置情報を整備するテクノロジーは未開拓の状況です。 TAGCASTで位置情報「場所の
この記事は、やたらはてブを稼いでしまった前回の記事の続きです。 ASAのプレスリリース及び声明の中には、確かに「p値に依拠しない新たなアプローチの例」として予測値を重視するアプローチ*5、ベイジアンモデリング、決定理論的アプローチ*6およびfalse discovery rate*7といったものを用いるべき、という趣旨のコメントが入っています。とは言え、重回帰分析とか機械学習のような多変量モデリング(なおかつサンプルサイズも大きい)を伴うテーマならともかく、統計学的仮説検定のようなサンプルサイズも小さい(データも少ない)シチュエーションでどうやるんだよ的な疑問を持つ人も多いのではないかと。 そんなわけで、実際にそれっぽい各種検定の数々をStanによるベイジアンモデリングで代替してみたので、この記事ではその結果をつらつら紹介してみようと思います。テーマは前々回のこちらの記事の1節で取り上げた
以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日(現地時間)に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p
そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定(t検定・カイ二乗検定・ANOVAなど) t検定 カイ二乗検定 ANOVA(分散分析) その他の検定 重回帰分析(線形回帰モデル) 一般化線形モデル(GLM:ロジスティック回帰・ポアソン回帰など) ロジスティック回帰 ポアソン回帰 正則化(L1 / L2ノルム
sar を使っている時に、 Invalid system activity fileまたは、 システム動作情報ファイルの形式が正しくありませんというエラーメッセージが表示されて使えないことがあります。 SYSSTAT の 2.1 を見ると、 You are trying to use a file which is not a system activity file, or whose format is no longer compatible with that of files created by current version of sar. If you were trying to use the standard system activity files located in the /var/log/sa directory then the solution is
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く