Colossus: Successor to the Google File System (GFS) - SysTutorials
Colossus is the successor to the Google File System (GFS) as mentioned in the paper on Spanner at OSDI 2012. Colossus is also used by spanner to store its tablets. The information about Colossus is slim compared with GFS which is published in the paper at SOSP 2003. There is still some information about Colossus on the Web. Here, I list some of them. Storage Architecture and Challenges A talk on F
OpenZipkin · A distributed tracing system
Zipkin Zipkin is a distributed tracing system. It helps gather timing data needed to troubleshoot latency problems in service architectures. Features include both the collection and lookup of this data. If you have a trace ID in a log file, you can jump directly to it. Otherwise, you can query based on attributes such as service, operation name, tags and duration. Some interesting data will be sum
Understanding Consensus and Paxos in Distributed Systems
A distributed auction Take 1: Auction! Correctness properties Take 2: Auction! Take 3: Auction! Agreement: Why it works Termination: Why it doesn’t (always) work. FLP Ghost The Paxos Algorithm Phase 1- Prepare Phase Phase 2 - Accept Phase Computers can sometimes be unexpectedly tricky. Having them accomplish seemingly rudimentary tasks can be a lot more complicated than we would expect. One exampl
A Brief Tour of FLP Impossibility | Paper Trail
One of the most important results in distributed systems theory was published in April 1985 by Fischer, Lynch and Patterson. Their short paper ‘Impossibility of Distributed Consensus with One Faulty Process’, which eventually won the Dijkstra award given to the most influential papers in distributed computing, definitively placed an upper bound on what it is possible to achieve with distributed pr
A Database-Hadoop Hybrid Approach to Scalable Machine Learning
My presentation slide at IEEE 2nd International Congress on Big Data on June 30, 2013. http://www.ieeebigdata.org/2013/Read less
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です． このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています． 今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤 まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
lustre / Network Clustering FS.
This site, wiki.lustre.org, is the main community repository for Lustre information. Consult the sidebar for links to major Lustre topics. Learn more about Lustre at http://www.lustre.org. Lustre Software Releases Downloads Lustre Lustre-aware e2fsprogs Current Maintenance Release Lustre 2.12.9 Released Jun 17, 2022 Changelog Current Major Release Lustre 2.15.4 Released December 22, 2023 Changelog
Excel 高速化ソリューション on PRIMERGY
高性能HPCをもっと手軽に。 用途で選べる、富士通のPCクラスタシステム 0.00 50.00 100.00 150.00 200.00 250.00 300.00 実行時間(sec) 並列数別実行時間 長時間かかる大量のExcel計算を、並列処理で大幅に時間短縮 Excel 高速化ソリューション on PRIMERGY Page 1 of 2 業務にご利用のExcel VBA処理に時間がかかりすぎていませんか？ Windows HPC Server 2008 R2 (HPC Services for Excel 機能) ＋ PCサーバ PRIMERGY 複数台で、 Excel ブックを並列に処理することにより、Excel VBA 処理待ち時間を大幅に短縮できます！ Windows HPC Server 2008 R2 および Excel 2010の導入と、CPUリソースを有効に使うた
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
Membrain | Schooner Information Technology
Membrain The Smart Memcached, Optimized for Flash Memory A software cache is often used, standalone or in front of a database, to increase application performance. Memcached is the most widely-used software cache, powering many high-volume web sites. But traditional memcached has a dark side also shared by the many NoSQL databases available today. With all of them, you need to keep your data in DR
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本当は恐ろしい分散システムの話
What does it take to make Google work at scale? (CamSaS)
MPI で順序の決まっていない通信をするとツラい訳
Apache Spark™ - Unified Engine for large-scale data analytics
Paxos
Getting started using CQL | DataStax Cassandra 1.2 Documentation
https://www.datastax.com/blog/amazon-dynamodb
RSコンポーネンツ、名刺サイズPC「Raspberry Pi」を国内販売
ソーシャルゲームスケールアウトの歴史
