Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とは
関連キーワード Hadoop | Apache | データセンター | IAサーバ | 運用管理 | ネットワーク | サーバ | ストレージ Apache Hadoopの公式Wepページ《クリックで拡大》 大量データを複数のマシンに分散して処理できるオープンソースのプラットフォーム「Apache Hadoop」のユーザー企業は通常、複数の汎用（はんよう）サーバで並列処理するクラスタを独自に構築する。各サーバの内蔵ストレージを使用し、6～12台のディスクを「JBOD構成」（複数のディスクを論理的にまとめて1つのディスクに見せる構成）にするのが一般的だ。 Hadoopクラスタは、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャとして知られている。それは各サーバが独立して処理をすることによって、クラスタ内の全処理が並列に動くことに起因する。データのやりとりは、
【VBA】ExcelVBAで実現するエビデンスツール - Qiita
はじめに インフラ系のエンジニアでWindowsServerやWebコンソール周りの操作をする際などにエビデンスとして画面のスクリーンショットを撮るといったことは結構定番かなと思います。 自分も新人の頃は「自分の身を守るためにもエビデンスを残すように！」と何度も忠告をうけたなーなんてことを思い出します。 エビデンスの残し方としてはWinshotのようなツールを利用して効率よくとっていくこともありますが、私の周りではExcelシートにべた張りしていく方法がよく用いられてましたね。 Excelエビデンスのメリット Excelシートに貼り付けていくことは以下のようなメリットがあるかと思います。 単一のファイルで管理可能 シートを分けることで、作業単位でエビデンスを記録できる 適宜コメントなどを書き込める(Excelだから) とはいっても、以下のフローを毎回実施するのは面倒です。 記録対象のウィン
料理を学ぶということ｜料理人という仕事｜稲田 俊輔｜webちくま
料理人・飲食店プロデューサーの稲田俊輔さんによる「料理人という仕事」。料理人はいかにして料理を学ぶのでしょうか？ 料理学校、働いているお店･･････。料理を学ぶ際の基本から伝授します。 「見て覚える」こそが重要 さて、あなたは新人として先ずは調理補助に追われ、それにもだいぶ慣れてきました。スピードも最初の頃に比べて格段に速くなったはずです。指示を待つだけでなく、自分から仕事を見つけてテキパキとこなせるようにもなったでしょう。 もしかしたらそれと並行して、ホールの仕事も一通り体験できたかもしれません。であればラッキーですね。いずれにせよ、そのあたりから徐々に、もっと料理らしい料理を任されるようになっていきます。最初は簡単な仕込みや、既に仕上がっているパーツを組み合わせるだけのことだったりもしますが、もちろん徐々にその内容は高度なものになっていきます。 任せられると言っても、当たり前ですが、
エンジニアの信頼を得るには良質なアウトプットが必要な話 - そーだいなるらくがき帳
先日、僕が大好きでリスペクトしてるソフトウェアエンジニアさんたちと意見交換会（呑み会）中にソフトウェアエンジニアの信用と信頼について話題になったのでメモ。 僕が「このソフトウェアエンジニアは信用できる」っていうのはどういう指標がありますか？って質問した時に出た意見としては コードに対して何らかの貢献をしている 新規プロダクトの開発など OSSのメンテナンスなど（パッチを送るなど） 自分の持つプロダクトに対する反応など が出てきた。 これらのような「良質なアウトプット」を定期的に行う頻度も大事だよねという感じ。 なるほど、確かにって思ったのだけど更にその中で良質なアウトプットとは何かという話題になった。 ソフトウェアエンジニアの属性 ソフトウェアエンジニアには得手不得手がある。 言語だったりレイヤーだったりで好き嫌いも含めて得手不得手がある。 更にもっと言えば「プロダクトの成長段階」でも得手
メンテのいらないソフトウェア - 誰かの役に立てばいいブログ
ソフトウェアエンジニアとして働き始めて 20 年以上になります。 元々ソフトウェアでいろいろ作りたくて就いた職業なので、結構な数のプロダクトを開発してきました。 私がメインで開発したもので OSS として出ているものでは、 yrmcds: memcached クローンで、レプリケーション機能などを持つ usocksd: SOCKS4/5 サーバー & ライブラリ transocks: アプリのネットワーク通信を透過的に SOCKS サーバーにプロキシする透過プロキシ coil v2: Kubernetes の CNI ネットワークドライバ moco: MySQL を自動運用する Kubernetes オペレーター accurate: Kubernetes 上で namespace ベースのソフトマルチテナンシーを実現するためのソフトウェア などがあります。これらのソフトウェアの多くは、現役
飛行機の緊急脱出時にペットを含めるべきかどうか問題の議論ポイント
ペット緊急脱出の議論を見ていてポイントや乗り越えるべき箇所をまとめようと思ったメモ。 まとめた理由としてはディベート的な興味で増田自身はどちらでも良いと思っている。 脱出シューターがペットに対応してないこと現在使われている脱出シューターはペットケージに対応していない。脱出シューターは硬いもので破損する場合があり破損すると人命に関わる。 この問題は航空会社にはどうしようもできず、航空機会社の方で対応するべき問題。 飛行機には搭載重量の制限があり、航空機会社はこれをクリアして設備を作ることにいつも四苦八苦している。 また、このような保安機器は信頼性が重要になるためシンプルなものだったとしても開発費が高く短期間で開発できるものではないだろう。 緊急脱出は時間がシビアで命に関わる問題であること航空会社では90秒で乗客が緊急脱出できるように訓練をしている。その際にペットも脱出させようとすると余計なト
認知の歪みってどこで治せる？
アラサーの独身男性。 彼女が生まれてから一度もできたことがない。 そのことについて、顔が整っておらず、身長が低く、女性をドキドキさせるような甘いアプローチや誘い方ができない自分が悪いということを頭ではわかってる。 それでも女性を憎悪する気持ちが抑えられない。 幸い今の所表立って女性に憎悪を向けたりすることはない。 女を当てがえなんてことももちろん思っていない。 しかし、自分がいつまで理性を保っていられるかわからない。 この世界で唯一、自分自身すら肯定できない自分を理解して肯定してくれる両親がいなくなり、付き合いのある友人たちもみんな結婚や子育てで離れていき本当の孤独になったらと思うと怖い。 猟奇的なニュースが他人事ではない。 容姿もコミュニケーション能力も正常な人間からしたら「死んでくれると安心です」と思うだろうが、死ぬほどの勇気なんて持ち合わせていない。 この「自分に全ての原因があるにも
実を言うとこの世の中、「気にしない」スキルの高さがかなり重要。想像以上に「気にしない」以外に対処法がないことって多い→他人はコントロール出来ないもんな…
yuzuka@新刊発売中 @yuzuka_tecpizza エッセイスト、地獄の番人。元精神科の看護師で夜職の経験もあり。息子と大型犬がいます。エッセイ書いたり脚本書いたり取材したり喋ったり。著書「埋まらないよ、そんな男じゃ。」（逆旅出版）他3冊。日刊spa!でも連載中。結婚相談所、ナレソメ予備校で学年主任してます。yuzuki.mari.info@gmail.com note.com/yuzuka_tecpizz… yuzuka@新刊発売中 @yuzuka_tecpizza 実を言うとこの世の中、「気にしない」スキルの高さがかなり重要。想像以上に「気にしない」以外に対処法がないことって多い。一番シンプルで一番難しいんだけど、一番大切。「気にしない努力」って、なんだか切ないけど、結局ほどよく無神経な人が生きやすい世の中なんだよな。 2024-01-04 20:28:27 yuzuka@新刊
2023年読んで良かった技術書Top5
こんにちは。uenikiです。2023年も残すところ後10時間となりました。 今回は2023年に読んで良かった技術書を紹介します。マネジメント系の本は抜きにして、ピュアに技術的な本を紹介します。これまであまり振り返りというものをせずに生きてきたのですが、たまには振り返りというものをしてみたいと思います。 2023年はたくさん言語化をしてきて、言語化することの気持ちよさにハマりつつあるので、アウトプットしてみようと思い立ちました。 Top5のご紹介 なっとく！関数型プログラミング まずは関数型プログラミングの入門書である本書を紹介します。人生を変えてくれる予感のある本に数年ぶりに出会った気がします。何よりも読んでいて楽しく、ワクワクします。 関数型プログラミングの原則から始まって、関数型独自の概念を一つ一つ丁寧に、なぜその概念が必要なのか？を解説してくれています。命令型の問題点を一つ一つ解決
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
