Immutability Changes Everything - ACM Queue
January 20, 2016 Volume 13, issue 9 PDF Immutability Changes Everything We need it, we can afford it, and the time is now Pat Helland There is an inexorable trend toward storing and sending immutable data. We need immutability to coordinate at a distance, and we can afford immutability as storage gets cheaper. This article is an amuse-bouche sampling the repeated patterns of computing that leverag
大規模、複雑、分散システムに必要な新たなパラダイムと考え方 － Twitter Storm：ヨロズIT善問答：オルタナティブ・ブログ
NoSQL Now 2013の コンファレンスでは、チュートリアルの他２つの基調講演に参加した。２つとも似通ったテーマだが、少し異なった点を強調した。電力系統は電力だけではな く、電力搬送に関する莫大な量のデータや情報も伝達する。これは、電話のシステムに似ている。電話システムはコントロール・システム(シグナリング)と音 声(データ)だ。電話システムも電力系統も国家の根幹をなす重要なインフラであり、予期できる故障や予期できない故障の際にもサービスを停止することはで きない。電力の提供を絶やさないために、インフラやそれに付随するシステムは冗長性、回復性、自己回復性や,フォールトトレラント 性を備えて設計され構築されなければならない。 コンピュータのシステムも同様だ。大規模な分散コンピュータ・システムをモニターしコント ロールするためには、突然であっても不可避な問題に対応できるように設計・構築さ
目的別ガイド：内部解析編 — Let's Postgres
データベース管理システムを使う利点は、ディスクとメモリの使い方や、データの検索方法を意識しなくてもアプリケーションが開発できることです。とはいえ、より性能を引き出したり、トラブルシュートの際には、内部の動作を知っておくと役立ちます。ここでは、アーキテクチャや動作解析に関する記事をまとめます。 また、PostgreSQLはオープンソースで開発されているソフトウェアなので、ソースコードのレベルでも調査ができることも魅力です。ソースコードの追い方や開発プロセスへの参加方法も併せて紹介します。 アーキテクチャ解説 PostgreSQLはクライアント／サーバ型のRDBMSです。クライアントとサーバは専用のプロトコルで通信を行い、サーバは複数のリクエストを平行して処理するために、マルチプロセスで構成されます。データの保存には、テーブルごとに1個または複数のファイルを使用します。 他の大規模向けDBMS
Shows
The AI Show Live showcases the amazing work happening in AI at Microsoft. Developers learn what's new in AI in a short amount of time and are directed to assets helping them get started and on the road to success right away. Seth Juarez and friends work on cool projects and highlight what's new in Azure AI and Machine Learning. Microsoft Visual Studio Code is a free, powerful, lightweight code edi
1024cores - Case Study: MultiLane - a concurrent blocking multiset
This is about the MultiLane : a concurrent blocking multiset paper. Go and read it first, it's just 4 pages including references and an appendix. Ok, I did not expect that you do that anyway :) It describes a way to improve scalability of a producer-consumer system by means of partitioning. Basically, it presents a way to wrap any producer-consumer queue in order to get a queue with the same prope
【インタビュー】超並列アーキテクチャとディペンダビリティ - プロセッサ開発の今後 (1) データフローマシンとアウトオブオーダー処理技術 | エンタープライズ | マイナビニュース
東京大学大学院情報理工学系研究科電子情報学専攻 坂井修一教授 データフロー型と呼ばれるコンピュータアーキテクチャがある。これは、現在のコンピュータの基礎をなすフォン・ノイマン型とは異なるコンピュータアーキテクチャである。このデータフローマシンは1970年代に米MITで着想され、その後1980年代にかけて世界的に研究開発が進められた。その中で、国内では1986年よりデータフローマシンの「EM-4」が電子技術総合研究所(現:産業技術総合研究所)にて開発される。その時、アーキテクチャの研究及び試作機の開発を担当したのが、当時電子技術総合研究所に在席した坂井修一氏(現:東京大学大学院情報理工学系研究科電子情報学専攻教授)らである。今回、この坂井修一氏にデータフローマシンから将来のコンピュータに至る展望を伺ったのでご紹介したい。 データフローマシンとアウトオブオーダー処理技術 現在のコンピュータは、
1024cores - So what is a memory model? And how to cook it?
A memory model in general is a very broad term, and it determines a lot of things. For example, such an evident thing like pointer size (8, 16, 32, 64 bits) is determined by a memory model. Another good example is what is (was) called... well, a memory model, if you remember those days, - TINY, SMALL, COMPACT, LARGE, FLAT. There are also other things like segmentation, paging and cache associativi
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
artima - Comparing Two High-Performance I/O Design Patterns
This article investigates and compares different design patterns of high performance TCP-based servers. In addition to existing approaches, it proposes a scalable single-codebase, multi-platform solution (with code examples) and describes its fine-tuning on different platforms. It also compares performance of Java, C# and C++ implementations of proposed and existing solutions. System I/O can be bl
〈 SL 〉: YouTube データベースの裏側
Saturday, March 29, 2008 YouTube データベースの裏側 メモ。はじめのビデオ、スライドもちゃんと映してくれればいいのに。 ビデオ１： MySQL Conference & Expo - Paul Tuckfield（一部解説） Pythonとてもパワフルなコンセプトを操作できて、むかし一級の C++ プログラマが大量のバグをかかえながら必死でやっていたこともかなり容易にできるようになった。数あるスクリプト言語の中でも目立つほどいい。 memcached一番はやくデータをサーブする方法はデータベースを叩かない（MySQL クエリを送信しない）こと MySQL replication- これが一番おおきな要素。 - ビデオ以外のメタデータ（お気に入り、コメント）の読み書きでは圧倒的に読みが多い。書き込みはマスターが担当して、読み込みは複数のスレーブが担当。 - レ
新サービスMyITproの裏側を暴露します
ITpro会員向けの新サービス「MyITpro」が本日（2007年5月18日）中にはオープンできる運びとなりました。ここではMyITproサービスを提供しているシステムの構成などについて少し紹介させて頂こうと思います。 複数サーバーで負荷分散，1台がコケてもほかがカバー MyITproのサーバー群は，ITpro本体のシステムとは完全に独立しています。ドメイン名も少し違いますし（ITpro本体はitpro.nikkeibp.co.jp，MyITproはmy.itpro.nikkeibp.co.jp），サーバー・システムを設置しているデータセンターの場所も異なります。 システムの構成は，ユーザーからのアクセスを負荷分散装置（ロードバランサー）が受け付けて，配下の複数のWebサーバーに割り振るところまではITpro本体もMyITproも同じです（図1）。ただし，ITpro本体のシステムはWebサ
MySQL Conference & Expo 2007 - とあるはてな社員の日記
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。 というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Technology at Di
Flickr architecture
Flickr architecture Programming/PHP Cal Henderson of Ludicorp gave a presentation to the Vancouver PHP Association on September 9 about Flickr's general architecture and the use of PHP. A zip of the PowerPoint presentation is available on Flickr's site. I converted the PowerPoint presentation to a PDF file for easy viewing. (via MovableBlog Asides) Some interesting statistics on Flickr as of Septe
Dependency Injection の基本的なアイディア - bkブログ
Dependency Injection の基本的なアイディア Inversion of Control コンテナと Dependency Injection パターンを読みました。関連する事柄を広くカバーした、隙のない記事です。 ただ、割とボリュームがあるので、「Dependency Injection って結局何なの?」ということを手っ取り早く知りたい向きにはあまり向かないかもしれません。そこで、基本的なアイディアを手短にまとめてみました。 Dependency Injection (依存性注入、DIと略) とはその名の通り、依存性を注入するパターン (テクニック) です。もう少し言葉を加えると、依存性を内部に抱え込まずに外部から注入する、パターンです。 Dependency Injection の基本的なアイディアは「依存性を外部から注入する」です。 DIコンテナと呼ばれるフレームワ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ラムダアーキテクチャに関する疑問
http://www.oracle.com/us/products/mysql/wp-high-availability-webrefarchs-362556.pdf
An Error Occurred Setting Your User Cookie
YAPC::Asia 2日目 「はてなブックマークのシステムについて」 - naoyaのはてなダイアリー
Hbase/HbaseArchitecture - Hadoop Wiki