第2回 最大の課題「I/Oボトルネック」の原因と分析法 | gihyo.jp
I/Oの「レスポンス」と「スループット」とは？ 連載第1回でご紹介したように、大規模データ処理を行うデータベースで一番大きな課題となるのは、ディスクI/O（以降、単にI/Oと表記します）のボトルネックです。数百GBやTBクラスの巨大データウェアハウスの場合、SQLが実行される時間のほとんどがI/Oを待つ時間となっているケースが多々あります。 ここでは、I/Oボトルネックが発生するおもな原因を、「レスポンス」と「スループット」という概念から見ていきましょう。それぞれ、広義では以下の定義となります。 I/Oレスポンス＝I/O要求処理にかかる応答時間 I/Oスループット＝単位時間当たりのI/O処理量 Oracle Databaseに当てはめると、以下のように定義できます。 I/Oレスポンス＝1データブロックの読み出しや書き込みにかかる時間 I/Oスループット＝単位時間あたりの読み出しや書き込み
P2Pの専門知識ゼロから独自DHTを実装評価するまでの学習方法と参考資料まとめ - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 P2P、特にDHTの前提知識が無い状態から、オリジナルDHTアルゴリズムを実装・評価できるようになるまでの学習方法と参考資料をまとめました。 基本的なアルゴリズムの仕組みから、実装評価に用いるツールキットの使い方までを短期間で学習することが出来ます。 「P2Pに関する卒論を書こうと思っている人」や「P2Pアプリケーションの開発前に、アルゴリズムをテストしたい人」、「なんとなくP2Pアルゴリズムに興味が出た人」などにぴったりだと思います。また、研究室での後輩教育用資料にするのも良いと思います。実際に使いましたし。 ここで紹介する資料一覧は以下の通りです。 資料１：「ChordアルゴリズムによるDHT入門」 資料１ーオプション１：「DHTアルゴリズムSymphony
分散型のハイパーメディアプロトコル「IPFS」とは？
はじめに HTTP（Hypertext Transfer Protocol）はブラウザと併用されることで、インターネット上のファイル転送プロトコルのデファクトスタンダードになりました。ところが、現在のインターネットは、中央集権化などの課題を抱えています。 本記事で紹介する「IPFS」（InterPlanetary File System）は、HTTPの課題をクリアし、補完・代替しようと開発されているプロトコルです（2020年5月7日現在、ベータ版。v0.5）。本記事では、未来の分散型Web（いわゆる「Web3」）のインフラとなり得るIPFSについて紹介していきます。 P2Pハイパーメディアプロトコル「IPFS」とは？ IPFSとは、分散型のファイルストレージを実現するために開発されているP2P（Peer to Peer）型のハイパーメディアプロトコルです。IPFSはオープンソースプロジェク
Kademlia -首藤一幸 - 産業技術総合研究所 グリッド研究センター
1 Kademlia 首藤一幸 産業技術総合研究所 グリッド研究センター 2004年 7月 27日（火） 2 資料 IPTPS02 の論文とスライド � “Kademlia: A Peer-topeer Information System Based on the XOR Metric” ウェブページ � http://kademlia.scs.cs.nyu.edu/ 7/26時点では参照できず。 3 Kademlia の位置付け 論文中に現れる比較対象: � Chord � Chord の悪い点: � 経路表が厳格。 � ノードの failure や、経路表の欠損からの復旧が複雑。 � qeury 転送の方向が一方向。 � Incoming traffic を元に経路表を更新できない。 � Kademlia では、2ノード間の関係は symmetric。 � x が y の経路表に載っ
Winnyの技術
P2P型ファイル共有ソフトWinny。その仕様と実装について、P2Pの基本や開発手法までを含めて紹介した、作者自身による解説書。 関連サイト本書の詳細ページが用意されています。 『Winnyの技術』内容紹介本書は読者対象として、Winnyの動作や仕組みに関心のある方と、P2P技術に興味があるソフトウェア技術者を想定しています。 1～3章では、Winnyの技術背景となっているP2P型システムについての基礎知識を説明し、ファイル共有ソフトの歴史を紹介したうえで、Winnyの基本的な動作と設計コンセプトをわかりやすく解説しました。Winnyの動作や仕組みに関心のある方はこちらをご覧ください。 4～5章ではP2P技術に興味がある開発者向けに、さらに詳細な実装を解説し、実際にP2Pソフトウェアを開発してみてわかった注意事項やヒント、今後P2Pソフトウェアを開発される方へのメモをまとめました。 Win
IPFSを使って無料で静的サイトをホスティング（公開）してみる - Qiita
IPFSとは A peer-to-peer hypermedia protocol to make the web faster, safer, and more open. (参照元(GitHubはこちら)) IPFSは、オブジェクト（画像、記事、映像）を参照する時にどのサーバに保管されているかを調べるのではなく、全ての参照においてファイルのハッシュを使います。考え方としては、ブラウザで特定のページにアクセスしたい場合、IPFSはネットワーク全体に対して「このハッシュに対応するこのファイルを持っているか？」と問い合わせを行い、該当するIPFSのノードがファイルを返すことで、ページにアクセス可能になるという仕組みです。 （参照元） さて、これだけでは意味がわからないが、DEMOを見てみると、画像や動画ファイルを管理するための分散型システムということがなんとなくわかる. 本稿では、IPFSで
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 - エンジニアHub｜Webエンジニアのキャリアを考える！
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 インフラの特性をふまえ、ミドルウェアの挙動を理解し、プロファイリングによってボトルネックを把握し、要求に合ったアーキテクチャを選択する。そういった工夫を重ねることでアプリケーションのパフォーマンスを改善する事例を、Sansanの千田智己さんに聞きました。 アプリケーションの設計・実装方法を変えることで、性能が格段に向上するケースは数多くあります。有名IT企業のエンジニアは、どのような方針のもとでアーキテクチャあるいはアルゴリズム選択などでパフォーマンスを改善しているのでしょうか？ 法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社の千田智己さんに、これまで取り組んできた事例と、そのノウハウを教えていただきました。 千田 智己（せ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
