もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存
USBメモリやSDカードなど、各種フラッシュメモリについてエラーがないかどうかチェックしたり、フォーマットできるのがこのフリーソフト「Check Flash」です。バルク品でノーブランドかつ激安のフラッシュメモリなどを買ったときにこのソフトを使ってチェックすればかなり便利です。 また、USBメモリなどのデータすべてに違うデータを上書きし、各種復元ソフトで二度と復元できないようにすることも可能です。 ダウンロードとインストール、使い方は以下から。 HOME PAGE OF MISHA CHERKES http://mikelab.kiev.ua/index_en.php?page=PROGRAMS/programs_en 上記サイトにアクセスし、クリックしてZIPファイルをダウンロード後、解凍します 中にある「ChkFlsh.exe」が本体なので、検査したい各種フラッシュメモリをパソコンに装
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Linuxの生みの親であるLinus Torvalds氏は、LinuxカーネルにParagon SoftwareのNTFS3カーネルドライバーを導入することに同意し、Linuxカーネル5.15ではNTFSファイルシステムのサポートが強化されることになった。ただし同氏は、カーネルにコードをサブミットする際の手順とセキュリティに関する対応に苦言を呈した。 Paragon SoftwareのNTFSドライバーは、LinuxでWindowsのNTFSドライブを簡単に扱えるようにするものだ。NTFSはFATの後継にあたるMicrosoft独自のファイルシステムで、これによって数十年にわたって続いたNTFSがらみの困難が解消されることになる。 To
ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。本記事では運用本部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
正月早々インフルエンザにかかって寝込んだmikioです。電車に乗る時や繁華街などに出る時はマスク着用が必須ですね。さて今回は、Tokyo Cabinetで実装したテーブル方式のデータベースについて紹介します。意外にどうして強力な機能なので、このネタは連載することを予告します。 テーブルデータベースとは 簡単に言えば、リレーショナルデータベースのテーブルのように、複数の列からなるレコードを格納できるデータベースです。SQLや表結合などの複雑な機能はサポートしませんが、そのぶん高速に動作します。つまり、DBMの速度で動くリレーショナル風データベースです（厳密にはリレーショナルデータベースではありません）。 TCの基本となるハッシュデータベースは、単純なkey/value型のデータベースであり、つまりキーにも値にもスカラ（数値や文字列などの特に構造を持たない単一の値）しか格納することはできません
Linux には tmpfs という便利なファイルシステムがあります。 $ mount -t tmpfs -o size=64m tmpfs /dev/shm $ mount -t tmpfs -o size=64m /dev/shm /var/tmpとすると、/var/tmp がディスク上ではなくメモリ上に作られたファイルシステムとして mount されます。なので、/var/tmp は I/O 時にディスクI/Oが一切発生しない高速なディスクとして使えると。いわゆる RAM ディスク。(もちろんサーバーの電源を落とすと保存したファイルは消えます。) この tmpfs はなかなかに便利で、キャッシュとかそういうものでディスクにおいてたものここ置くと、ディスク I/O がカットできて超高速になります。はてなでは MySQL のスレーブの MyISAM のファイルを tmpfs において、オ
VMware 仮想ディスクマネーシャ（VMware Disk Manager）を使用する事で、コマンドラインから、仮想ディスクファイルの作成、管理、変更が可能です。 1) コマンドシンタックス vmware-vdiskmanager.exe -x <拡張後のサイズ> 仮想ディスクファイル.vmdk これで仮想ディスク容量の変更はOKです。これで、仮想環境上からみれる物理ディスクの容量は増えます。 仮想ディスク容量を増やした後どうする？ 上記のコマンドで仮想ディスクを増やしただけでは OS 上から使用可能な容量は増えません。パーティション情報も変更してやる必要があります。商用の Partition Magic とか持っていなくても、GParted Live CD を使えば、パーティション情報を変更することができます。ISOイメージをダウンロードして、VMware の仮想 CD-ROM の「I
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
セキュリティ関連コンサルティング｜ペイペイに換金できるゲーム｜Cybernetic Survival Network
本サイトの目的は、「SOHOと個人が、ITを駆使して強く生き抜くことを援護する」ことにある。 本サイトへのリンクは自由。 Cybernetic Survival Network Windows XP/2000/Me/98 Mac OS 9/X対応 フリーソフトでデータを確実に 抹消・リカバリー! 大全 NORbert (本サイト管理人) 著 株式会社ソシム刊 本サイトのデータ抹消・復元ネタを発展させた本が出版されました。 この本のサポートサイトはこちらです 本書とWebサイトの内容で食い違っている点があれば、本の方が正しいです(徐々に、Webサイトの記事も追いつくようにするつもりですが)。執筆中にわかった情報も盛り込まれており、さらにWebサイトにはあまり書かれていない「まっとうなデータリカバリー」つまり読めないディスクや起動しないPCからのファイル退避、などの方法にも多くのページを割い
tips - Ubuntu 9.10 + ドライブドア で 8TB RAID-5 をこさえてみた : 404 Blog Not Found
2010年01月12日21:00 カテゴリTips tips - Ubuntu 9.10 + ドライブドア で 8TB RAID-5 をこさえてみた 体調が悪くてあまり難しいことを考えられない時には、こういう単純作業にもってこい。というわけで、 Ubuntu 9.10 とドライブドアで、型落ちの MacBook Pro 2,2 を 8TB RAID-5 Serverに仕立てたので備忘録。 理由 2TBのHDDが15kで売ってたらいつの魔に買っていたので。 ここではなりゆき上お古の MacBook Pro 2,2 を使っているが、port multiplier 対応の e-SATA 付きの Ubuntu BOX ならなんでも使えるはず。 材料 センチュリー ドライブドア SATAボックス5BAY EX35ES5 日立GST Deskstar 7K2000 (2TB/SATA3G/7200rp
『画像システムの車窓から』
2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/
たとえば、あなたが午後いっぱいを費やして製作したオーディオ・ファイルの再生を楽しみながら、「やあ、こいつはすごい音だ! こっちに移動しておくとしよう」と思ったとする。そのとき、潜在意識が違和感を唱えるのだ。「ええと、mvだっけ、rmじゃないのか?」…やっちまった。そのショックはよくわかる。誰にでもありうる失敗だ。だが、失われたファイルを取り戻す簡単な方法はある。しかも、それはどの標準Linuxシステムでも使える方法だから、覚えておいて絶対に損はない。 簡単に説明すると、Linuxファイルシステム上にあるように見えるファイルは、実際はinodeへのリンクに過ぎない。inodeには、ファイルのあらゆるプロパティ（アクセス権や所有権など）のほか、ファイルの中味が実際に存在するディスク上のデータブロックのアドレスも記録される。rmコマンドでファイルを削除すると、ファイルのinodeを指すリンクは削
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem
はじめに Raspberry PiのSDカードの取り扱う上で、複製したり、イメージとして保存しておきたいシーンは多いと思います。 しかし、大容量のSDカードが一般的になった今では、空き容量が大半を占めるベタイメージを作成することは、以下の点から現実的でありません。 イメージファイルの大半を空き容量が占め、時間およびストレージの効率が悪い 元より容量の小さいSDカードに書き込むことができない SDカードに書き込む際、空き領域にも書き込みが行われ、カードの寿命を縮めてしまう ファイルシステムが破損していても、コピー時に気づくことがない パーティションの構造とLinuxの操作を学びながら、SDカードのバックアップをしていきましょう。 背景 Raspberry PiのSDカードの論理構造を見ていきましょう。難しく考える必要はありません。大体こんな感じといったイメージを掴むだけでOKです。 まず、セ
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 FrontPage 最終更新： linuxfs 2009年01月19日(月) 16:03:10履歴 Tweet 詳解ファイルシステム ファイルシステム諸元 subcontentsファイルシステム諸元性能比較パーティション用語集OOMkillerkernelSELinuxgitskillcheckKDBJapanese Linux hackerext3/4最新情報Hans Reiser情報Committerfeature-removal-scheduleTODO中の人OSC2007 Tokyo/FallOSC2008 Tokyo/FallOSC2009 Tokyo/Fall ファイルシステム詳解 filesystem contents注目度の高いファイルシステムvfsext3ext4reise
ネアンデルタールゆずゆ @yuzuyu_hd 愛を込めて提案する。皆さんのスマホやデジカメに眠っているパレードの熱気が伝わる必死写真の数々を俺にも見せて下さい。喜びの狂乱(？)を見せて下さい #羽生結弦の写真撮るの下手くそ選手権 2018-04-22 20:49:20 ネアンデルタールゆずゆ @yuzuyu_hd (…たとえそこに…羽生が写っていなくても…羽生愛が感じられさえすれば…それは…立派な羽生写真なのです…破棄しては…いけません…今こそ陽の目を…見せてあげるのです…愛に溢れた下手くそ写真を…放出するのです…) #羽生結弦の写真撮るの下手くそ選手権 2018-04-23 10:09:41
Dedicated to JavaScript and its awesome community since 2015
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
巨大なファイルを使ってディスクやネットワークの速度を測定する ディスクやネットワークなどの性能（速度）がどのくらい出ているかを手っ取り早く調べるには、ある程度大きなデータファイルを用意しておいて、その読み書き速度や送受信速度を調べると簡単だ。 厳密なベンチマークツールがなくても、ファイルをコピーさせながら、その速度をタスクマネージャーやパフォーマンスモニターで見たり、完了するまでの時間を測定したりするだけでも大まかな速度は計測できる。 これを行うには、数十～数百GB以上のサイズのテストファイルが必要になる。本Tech TIPSでは、「fsutil.exe」というコマンドを利用して、こうした巨大なファイルを簡単かつ素早く作成する方法を紹介する。 fsutilコマンドで巨大なファイルを作成する Windows OSで巨大なファイルを作成するには「fsutil.exe」というコマンドがとても便利
セキュリティ研究者のJonas L(@jonasLyk)氏が、たった1行でNTFS形式のストレージを破壊させうるコマンドの存在を明らかにしました。Jonas氏とIT系ニュースサイトBleeping Computerの調査の結果、このコマンドを利用した「見ただけでストレージが壊れるショートカット」も確認されています。 Windows 10 bug corrupts your hard drive on seeing this file's icon https://www.bleepingcomputer.com/news/security/windows-10-bug-corrupts-your-hard-drive-on-seeing-this-files-icon/ 問題のコマンドが以下。以下は報道のために記載しているもので、実際にコマンドプロンプトから実行するとストレージが破損してア
/usr は何の略か – ビットログ
Unix系OSのルートディレクトリ直下にある “/usr” はなんの略なのか。 巷の意見はおおよそこんな感じです。 「もちろん “USeR” の略でしょ。」 「あまいな。 “User Services and Routines” の略だ。」 「その “User S*R*” の略だっていうソースはあるの？」 どうもはっきりしません。そこで調べ始めたら、思いのほか深入りしてしまったので、今回調べたことを書いておきます。 0. Unixユーザグループの機関誌に載っていた説 Unixユーザグループの機関誌に “User Services and Routines” の略だと書いてあったという情報が散見しますが、ここではそれをソースとして認めません。その記事に「XXXのドキュメントに書いてある」とか、「IEEE NNN.N で決まっている」とか書いてあれば一件落着なのですが、原典を見つけることはでき
2007/11/26 2007年11月24日、「楽天テクノロジーカンファレンス2007」において、Ruby言語の開発者で楽天技術研究所フェローのまつもとゆきひろ氏は、開発中の大規模分散処理基盤「Roma」（ローマ）と「Fairy」（フェアリー）のコンセプトを語った。研究段階ではあるものの、米グーグルなど世界トップクラスのネット企業だけが持つ大規模分散処理技術に真っ向から挑戦する試みだ。 米グーグル、米ヤフー、米アマゾンなど世界トップクラスの大手ネット企業は、巨大なトラフィックに対処するため、大規模データセンターの信頼性、可用性、性能などを確保する大規模分散処理基盤の研究開発を進めている。最近では、こうした大規模分散処理基盤は“ウェブOS”と呼ばれることもあり、注目を集めている。つまり世界トップクラスのネット企業は“ウェブOS”を自社開発しているわけだが、楽天でも国産の“ウェブOS”が生まれ
Distributed Object Storage Made Easy! Use commodity hardware/software to build your own scalable object storage! Learn more » What is STF? STF is a simple, yet very scalable distribute storage system. STF powers sites like livedoor Blog, loctouch and many more, serving gigabytes after gigabytes of data. On one such system, it's serving 400Mbps of image at peak hours without a hitch. GET STF! STF i
こんにちは、Docker 0.91 が出ましたね。 CoreOS でのデータの置き場所をどうすべきか考えていた時に、CoreOS-devで出ていた話です。 なので知っている人は知ってるかも知れません。 全てにおいて使えるパターンではないのですが、運用形態のひとつとして紹介します。 （もちろん、Dockerはどんどん進化しているのでこのパターンは陳腐化する可能性もあります） データの永続化の問題 Docker で悩ましいのはデータの永続化をどうするか？というとこでしょうか. 例：mysql のコンテナを立ち上げる -v オプションをつけて mysql のデータを永続化していますね。 さてこれはこれでよいのですが、Docker の旨みを活かせていませんね。 Docker の特徴はコンテナであり、コンテナにするとポータビリティがあげられるわけです。 上記の方法だと Volume でホストにべった
備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS : 404 Blog Not Found
2011年06月19日23:30 カテゴリTipsiTech 備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS HP ProLiant MicroServer ヒューレット・パッカード Amazonで24,800円だったので半周遅れぐらいで買ってみた。 いいね! コバQことCobalt Qube復活した感じ。 とはいえ、ある程度工夫しないとFreeBSD + ZFSでは使いづらい。半周遅れだけあって、すでに先人の苦労の後を追検証していくだけでよかったのだけど。 hp proliant microserver freebsd - Google 検索 追加部品 PC3-10600 DIMM 4GB x 2枚セット 8GBで6000円ちょっと?そんな価格で大丈夫か? USBメモリ(高速タイプ) これが起動「ディスク」。右のようにして使う。8GBがちょうど
2009/06/02 サン・マイクロシステムズが2009年夏にも提供を開始するクラウドサービス「Sun Cloud」の概要が見えてきた。同社のクラウドサービスはOpenSolarisベースの仮想環境で、Amazon EC2/S3に相当するサービスを提供するものだ。計算リソース（OSやアプリケーションなどのソフトウェア実行環境）を提供する「Sun Cloud Compute Service」とストレージサービスの「Sun Cloud Storage Service」で構成する。 価格などまだ不明な点は多いが、技術情報は徐々に出てきている。例えばストレージサービスに関してはWebDAVやAmazon S3互換のRESTful APIでアクセスできることが明らかにされているほか、APIのドキュメントやJavaで書かれた管理コンソール、PythonやRuby向けのライブラリが公開されている。スクリ
B木 - naoyaのはてなダイアリー
昨年から続いているアルゴリズムイントロダクション輪講も、早いもので次は18章です。18章のテーマはB木(B Tree, Bツリー) です。B木はマルチウェイ平衡木(多分木による平衡木)で、データベースやファイルシステムなどでも良く使われる重要なデータ構造です。B木は一つの木の頂点にぶら下がる枝の本数の下限と上限を設けた上、常に平衡木であることを制約としたデータ構造になります。 輪講の予習がてら、B木を Python で実装してみました。ソースコードを最後に掲載します。以下は B木に関する考察です。 B木がなぜ重要なのか B木が重要なのは、B木(の変種であるB+木*1など)が二次記憶装置上で効率良く操作できるように設計されたデータ構造だからです。データベースを利用するウェブアプリケーションなど、二次記憶(ハードディスク)上の大量のデータを扱うソフトウェアを運用した経験がある方なら、いかにディ
USBメモリなどのフラッシュメモリにはその特性上、書き込み回数などに制限があり、頻繁に読み書きしていると壊れるらしい……というのは聞いたことのある方が多いと思いますが、実際に読み書きできなくなるとどうなるのか？その貴重なケースとして、編集部で購入したUSBメモリが1月13日に寿命を迎えたっぽいので、実例として紹介します。 一体どのような状態になっているのでしょうか？詳細は以下から。 寿命が来たのは以下のUSBメモリです。 GH-UFD2GTB これが実物 使用頻度としては2週間～3週間に1度あるかないかぐらいで、LinuxのISOイメージなどを詰め込んで移動させるのに使ってました。 購入したのは2007年2月27日。故障したことが発覚したのは2008年1月13日。発覚したきっかけはこのUSBメモリにコピーしたZIPファイルをローカルに戻して解凍しようとしたらエラーが起きたこと。さらに画像も
drbd.conf
ストレージには寿命があり、保存された情報は永遠に正常性を保証されるわけではありません。その為に別のストレージにデータをバックアップしたり、ストレージそのものを多重化してデータを保護することが重要です。今回紹介するは、ストレージデバイスを多重化し、データを複数のストレージに保存する仕組みで、DRBD(Distributed Replicated Block Device)と呼ばれているものです。同様の仕組みにソフトウェア／ハードウェアRAIDがあります。 DRBD(Distributed Replicated Block Device)とは、TCP/IPネットワークを通じて複数のサーバのストレージ（パーティション）をリアルタイムにミラーリング（複製）するソフトウェアです。RAID1のようなミラーディスクを構築することができます。ソフトウェア／ハードウェアRAIDは同じサーバ内のストレージを使
47NEWS（よんななニュース）
取り調べは「拷問」、裁判長は勘違い、エリート調査官も「誤り」 「袴田事件」の経過を改めてたどって判明した、刑事司法のずさんな実態（後編）
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
数年前、Microsoftは、社内全体のエンジニアリングシステムを活性化させるため、数年間にわたる投資を行う決定をしました。私たちは山のような数のチームを抱える大企業です。チームはそれぞれ、担当のプロダクト、独自の優先順位、プロセス、ツールを持っています。”共通の”ツールもありますが、チームによって様々に異なる点も多く、内部で開発した単発のツールも数え切れないほどあります（「チーム」とは社の部門のようなもので、数千のエンジニアの集まりです）。 この状況にはたくさんのマイナス面があります。 似たようなツールを構築しているチームがいくつもあり、巨額の冗長な投資が生まれている 「クリティカルマス（損益分岐点を超える生産量、普及率）」に向けた設備投資ができない 皆がバラバラのツールやプロセスを用いているため、従業員が異動しにくい 組織の垣根を越えてのコード共有が難しい “MS限定”ツールの過多のた
Linux Foundation、「オープンコンプライアンスプログラム」を開始 | The Linux Foundation
Powered by WordPress ユーザー名またはメールアドレス パスワード ログイン状態を保存する ← The Linux Foundation に戻る
Dominic Alves 普段何気なく利用している/tmpと/var/tmp。 意識して使い分けてる方も分けてない方もいらっしゃるかと思います。 Linuxのファイルシステムとしての存在意義や、一時フォルダとしての機能を改めて意識すると 非常に便利な存在です。 /tmpと/var/tmpの違い 「/tmpと/var/tmpの違いについて述べよ」・・・インフラエンジニアの入社試験の問題に出てきそうですね。 さて単純な解答ですが、システム的なことを言えば以下あたりです。(RHEL) /tmp /var/tmp どちらもディレクトリ配下はtmpwatchコマンドにより監視されファイルの削除が組み込まれています。 $ cat /etc/cron.daily/tmpwatch #! /bin/sh flags=-umc /usr/sbin/tmpwatch "$flags" -x /tmp/.X1
iPhoneやiPadからパソコン内のファイルへ簡単にアクセスできる無料アプリ『Younity』 | ライフハッカー・ジャパン
疲れやすい、呼吸の浅さを改善。ストレッチポールは毎日使いたいほど気持ちがいい!【今日のライフハックツール】
えっ！日本ハム新球場使えない！？ ファウルゾーンの広さ公認野球規則の規定に満たず 拡大 日本ハムが北海道北広島市に建設中の新球場「エスコンフィールド北海道」が、公認野球規則に定める規定を満たしていないことが７日、分かった。この日行われた日本野球機構（ＮＰＢ）と１２球団による実行委員会で指摘を受けた。来年３月開場に向けて約９５％の工事が終了した中で思わぬ問題が持ち上がった。 新庄監督の下、新たな球団の歴史を刻むフィールドに、思わぬ問題が持ち上がった。指摘を受けたのは、ホームベースからバックネット側のファウルゾーンの広さだ。 公認野球規則では、試合を行う競技場の構造が細かく設定されており、野球規則２・０１において「本塁からバックストップまでの距離、塁線からファウルグラウンドにあるフェンス、スタンドまたはプレーの妨げになる施設までの距離は、６０フィート（１８・２８８メートル）以上を必要とする」と
2009/02/14: PerfectDisk 2008の"空き領域の結合を重視"オプションをつけた結果を掲載しました SSDにおける断片化の影響について SSDにはデフラグは不要という主張を時々目にしますが、実際にはSSDもデフラグの効果はあります。ただし、Windows標準のデフラグはあまり効果がありません。 SSDは、ランダムリード速度に優れたストレージです。そのため、書き込み済みのファイルが断片化していても、そのファイルの読み込み速度はあまり低下しません。 一方、JMF602搭載製品など、一部のSSDはランダムライトがHDDより遅いという欠点を持っています。それらのSSD上の空き領域が断片化していると、書き込み速度が低下してしまいます。Windows標準のデフラグは、積極的に空き領域のデフラグを行わないため、書き込み速度を回復させる効果は高くありません。 空き領域の断片化は、書き込
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
そろそろHadoopについてひとこと言っておくか - nokunoの日記
USBメモリなどにエラーがないかどうか徹底的にチェックできるフリーソフト「Check Flash」
LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言
DBMによるテーブルデータベース - mixi engineer blog
naoyaのはてなダイアリー - tmpfs は本当に容量が動的なのか
VMware で仮想ディスクのサイズを変更したくなったとき :: Drk7jp
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
削除したファイルをlsofで復元する | OSDN Magazine
一時ファイルとdentry cacheとメモリ - blog.nomadscafe.jp
Raspberry Piを極限まで無駄なくバックアップする | DevelopersIO
FrontPage - 詳解ファイルシステム - livedoor Wiki（ウィキ）
たとえ羽生結弦が写っていなくてもいいんです #羽生結弦の写真撮るの下手くそ選手権
302 os - JS.ORG
＠IT：Windows TIPS -- Tips：巨大なサイズのファイルを簡単に作る方法
たった1行でストレージを即時破損させうるコマンドが見つかる、「見ただけでストレージが壊れるショートカット」の存在も
大規模分散処理向けの国産“ウェブOS”をRubyで開発中 − ＠IT
STF Distributed Object Storage - Home
Docker でデータのポータビリティをあげ永続化しよう - Qiita
http://blog.jippahitokarage.com/entry/2014/02/20/050020
サンのクラウドは、Amazon EC2とどう違うのか？ － ＠IT
USBメモリの書き換え限界寿命が来ると何が起きるのか、実際に寿命が来たケースをレポート
Gitのスケーリング（と、その背景） | POSTD
Tmpディレクトリの活用法について改めて考える | RickyNews
えっ！日本ハム新球場使えない！？ ファウルゾーンの広さ公認野球規則の規定に満たず/デイリースポーツ online
SSDのデフラグの効果を検証 - Lansenの現実逃避日記