並び順

ブックマーク数

期間指定

  • から
  • まで

601 - 640 件 / 3355件

新着順 人気順

分散システムの検索結果601 - 640 件 / 3355件

  • 長文日記

    • データ指向アプリケーションデザイン

      監訳者まえがき はじめに 第I部データシステムの基礎 1章 信頼性、スケーラビリティ、メンテナンス性に優れたアプリケーション 1.1 データシステムに関する考察 1.2 信頼性 1.2.1 ハードウェアの障害 1.2.2 ソフトウェアのエラー 1.2.3 ヒューマンエラー 1.2.4 信頼性の重要度 1.3 スケーラビリティ 1.3.1 負荷の表現 1.3.2 パフォーマンスの表現 1.3.3 負荷への対処のアプローチ 1.4 メンテナンス性 1.4.1 運用性:運用担当者への配慮 1.4.2 単純さ:複雑さの管理 1.4.3 進化性:変更への配慮 まとめ 2章 データモデルとクエリ言語 2.1 リレーショナルモデルとドキュメントモデル 2.1.1 NoSQLの誕生 2.1.2 オブジェクトとリレーショナルのミスマッチ 2.1.3 多対一と多対多の関係 2.1.4 ドキュメントデータベース

        データ指向アプリケーションデザイン
      • steps to phantasien t(2008-07-24) - ウェブ華鑑賞: Procol Buffer 編

        Protocol Buffer の話題は一部で熱く語られた...というより炎上していた. ようやく炎がおさまってきたから, 野次馬として現場にかけつけてみたい. 火事と喧嘩はウェブの華. 火元から見ていこう. 熱心な Google ウォッチャーである MS の Dare Obasanjo が, protobuf 公開に合わせ すかさず "The Revenge of RPC: Google Protocol Buffers and Facebook Thrift" という記事を書いた. 記事の主張自体は穏当なもの. 「最近一部で バイナリエンコードな RPC が流行ってるみたいだけど, 時代は XML と REST で疎結合じゃなかったの?」と修辞的な疑問を示しつつ, "いや基本的に Web は XML で REST な時代なんだけど, Web に出ない会社の内部ならバージョンやらツールを

        • Linuxクラスタリング多様化するクラスタ方式

          現在では、コンピュータを導入していない企業はないといえるほど、私たちの業務はコンピュータに依存しています。また、インターネット利用による新しいビジネスは、コンピュータがあればよいというものではなく、いかにサービスを提供し続けるかが成功のための重要なカギとなります。例えば、1台のマシンが故障や過負荷によりダウンしただけで、顧客へのサービスが全面的にストップしてしまうことがあります。そうなると、莫大な損害を引き起こすだけではなく、顧客からの信用を失いかねません。 このような事態に備えるのがクラスタシステムです。クラスタシステムを導入することにより、万一のときのシステム稼働停止時間(ダウンタイム)を最小限に食い止めたり、負荷を分散させることでシステムダウンを回避することが可能になります。 「群れ」「房」の言葉どおり、クラスタシステムとは「複数のコンピュータを一群(または複数群)にまとめて、信頼性

            Linuxクラスタリング多様化するクラスタ方式
          • SILO再考〜次世代DBのアーキテクチャとして - 急がば回れ、選ぶなら近道

            大分たってしまったけど、ようやく時間が空いたので、db tech showcase Tokyo 2016 http://enterprisezine.jp/dbonline/detail/8466 で話した内容を記録的に書いておく。あとはSILOの解説を特に自分用に論文の4章を中心に整理しておく。あとはついでに自分の思うところも記す。 ・SILO 元論文はこちら、執筆陣はMITのLiskov一派とEddie Kohler 現在のDB研究の第一線のメンバー。 http://people.csail.mit.edu/stephentu/papers/silo.pdf SILO以降、大きくDBベースのアーキテクチャの考え方は変わりました。ほとんど全ての分散系OLTPはSILOを程度の大小はあるとはいえ、意識していると言っても過言ではないでしょう。前世代ではほぼ「空想か?」ぐらいの扱いだった分散t

              SILO再考〜次世代DBのアーキテクチャとして - 急がば回れ、選ぶなら近道
            • 基盤系プログラマ - kuenishi's blog

              いわゆる基盤系のエンジニアリング技術について、私の場合は、今の会社に入社して2年間で徹底的に叩き込まれました*1。C言語なんかは独習の範囲内であって、コンピュータに関する基礎的な知識が不足していると痛感しています。一方、Computer Scienceに関する基本的なトピックはシンプルなものが多いので、数学の素養と、大学で詰め込まれた技術があれば何とかなる感じがしています。 飽くまでも、ですが、OSとかRDBMSとか、全ては手段です。ビル建設でいえば生コンのようなもの。砂利とか。肝心なのは、自分が欲しいビルの理想をきちんと描き、実現までの手段・手順を整理する。理想としているビルができているかを確かめる。難しいのは、「そんなビルが技術的な観点から本当に建設できるのか?」を確かめながら進むこと。 あるいは、それらの技術を全て、日本語にしてきちんと表現すること、設計を周囲に伝えて合意をとること、

                基盤系プログラマ - kuenishi's blog
              • HOME - www.triton-cafe.jp

                神戸三宮は北野にて、大人気のパンケーキとこだわりのお料理を提供するカフェ。ウェディング2次会や各種パーティーも承ります。

                • Twitterから閉めだされた「イスラム国」、分散型SNSのDiasporaに乗り換え

                  米Twitterや米YouTubeが「イスラム国(ISIS)」のアカウントや関連する画像を停止/削除する中、同組織は新たな広報手段として分散型SNSのDiasporaを選んだようだ。 Diasporaは8月20日(現地時間)、複数のメディアがISISがDiasporaに複数のアカウントを作成していると報じたことを受け、状況を説明した。 Diasporaは2010年にニューヨーク大学の学生が立ち上げたオープンソースの分散型SNSプロジェクト。TwitterやYouTubeなどと異なり、ユーザーは自分で立ち上げたサーバをDiasporaに接続することで運営に参加できる。 この柔軟性が今回はあだとなった。アカウントやコンテンツを一元的に削除する手段はなく、コンテンツを削除するかどうかの決定権は各サーバの管理者にある。Diasporaプロジェクトのコアチームはサーバの管理者にイスラム国関連アカウン

                    Twitterから閉めだされた「イスラム国」、分散型SNSのDiasporaに乗り換え
                  • Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 記事一覧 | gihyo.jp

                    第21回Sparkの設計と実装[2]~Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔,山田浩之 2016-06-08

                      Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 記事一覧 | gihyo.jp
                    • Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi

                      ※分散Key-Valueストア「kumofs」を公開しました! 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない: スマートな分散で快適キャッシュライフ - mixi Engineer's Blog:Consistent Hashについて バイナリシリアライズ形式「MessagePack」:kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い:MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored:IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached

                        Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
                      • 分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が広がる

                        オープンソースの分散処理ソフトウエア「Hadoop」の日本におけるユーザー会「Hadoopユーザー会」が2009年11月13日に発足した。Hadoopは米グーグルの分散処理ソフト「GFS」「MapReduce」を模したもの。同日開催した「Hadoop Conference Japan 2009」には200人以上のエンジニアなどが集まり、Hadoopコンサルティングを行う米クラウデラ、ユーザー企業の楽天、はてななどが講演した。 Hadoopはグーグルが2004年までに公開したGFSやMapReduceの論文を基に、プログラマーのダグ・カッティング氏が2005年に開発したソフトウエア。カッティング氏は2009年に、米ヤフーからクラウデラに移籍している。クラウデラは、グーグルで上級ソフトウエアエンジニアを務めたクリストフ・ブシーリヤ氏らが2008年に起業したベンチャー企業で、Hadoop関連のツ

                          分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が広がる
                        • littor/jogga

                          Share Facebook Twitter https://jogga.jp/post/724320806350520320/%E3%83%90%E3%83%B3%E3%82%BC%E3%83%B3-%E3%82%82%E3%81%97%E3%82%82%E3%81%AB%E5%82%99%E3%81%88%E3%82%8B%E5%A4%A7%E4%BA%BA%E3%81%AE%E3%82%A6%E3%82%A7%E3%83%96%E3%83%9E%E3%82%AC%E3%82%B8%E3%83%B3

                            littor/jogga
                          • Pythonで分散バージョン管理

                            【1】   SCMとは? 「Software Configuration Management System」の略で、 邦訳は「ソフトウェア構成管理システム」がふつーなんですが、 一般には「バージョン管理ツール」とかの方が通りが良いでしょう。 主な機能として、 管理対象ソフトウェアのソースコード一群の変更を記録しておき、 時系列順に変更履歴をたどれるようにしたシステムなんです。 具体的な対象はソースコードファイルが基本です。 ソースコードの変更のあった行を抽出したり出来ます。 最近のバージョン管理ツールは あらゆるファイルの履歴を追えるようになっています。 ワードやエクセル、バイナリファイルなどもとりあえず バージョン別に記録されたものを取り出せます。 (部分的な変更を抽出まではできないことが多いです。) 仕組みとしては 「管理対象ファイル群」とは別に 「リポ

                            • クラウド導入実績 国内トップレベルのcloudpack【クラウドパック】

                              Google Cloud Partner Advantage プログラムにおいて Google Cloud のプレミア パートナー Sell および Service エンゲージメント モデルの認定を取得

                                クラウド導入実績 国内トップレベルのcloudpack【クラウドパック】
                              • 分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表

                                分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表 データセンターをグローバル展開し、アプリケーションプラットフォームサービスを提供しているFly.ioは、分散SQLiteを実現するLiteFSの付加機能として、バックアップとスナップショット、リカバリ機能などをマネージドサービスとして提供する「LiteFS Cloud」を発表しました。 LiteFS Cloud: now in preview. We love SQLite for distributed web apps! Introducing managed backups for LiteFS. Read more from Darla Shockley and @benbjohnson.https://t.co/nQxitx5x7d

                                  分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表
                                • BigQueryクエリの処理の流れ

                                  Google Developers Summit Tokyo - The Googliness of Google Cloud Platform

                                    BigQueryクエリの処理の流れ
                                  • ChordアルゴリズムによるDHT入門

                                    今回はDHTを実現するアルゴリズムである「Chord」の細かい解説スライドを作成しました。 ( 掲載URL: http://did2.blog64.fc2.com/blog-entry-347.html ) Chordの説明はたくさん書かれています。 もちろん、それらと同じように書いたのではほとんど意味がないと思うので、 論文を読んでもすぐには分からない全体像から、どこが重要か、どの点によってメリットが生まれているかなどに注目しつつ、飲み込みやすいストーリーになるように注意しました。 なおかつ、出来るだけ論文に沿うように気を付けてみました。Read less

                                      ChordアルゴリズムによるDHT入門
                                    • CockroachDB から覗く形式手法の世界 #JTF2021w / July Tech Festa 2021 winter

                                      July Tech Festa 2021 winter で使用したスライドです。 バグのない分散システムの設計は果たして可能でしょうか? この問いに対する一つの答えとして、CockroachDB では形式手法ツール TLA+ を用いて分散トランザクションの正しさを担保しています。 形式手法はシステムの挙動を数学的に解析する技法で、「ノードが特定のタイミングで故障した場合にのみ発生するバグ」といった再現困難な問題を確実に検出することができます。 本講演では、CockroachDB の事例を通して、形式手法が実世界で活用されている様子をお伝えします。 イベント概要:https://techfesta.connpass.com/event/193966/ ブログ記事:https://ccvanishing.hateblo.jp/entry/2021/01/24/185819 録画:https:/

                                        CockroachDB から覗く形式手法の世界 #JTF2021w / July Tech Festa 2021 winter
                                      • OOエンジニアの輪! ~ 第 40 回 関 将俊 さんの巻 ~ | オブジェクトの広場

                                        OOエンジニアの輪! 第 40 回 関 将俊 さんの巻 今回のゲストは、関将俊さんです。関さんは Ruby の分散オブジェクトライブラリ dRuby やテンプレートエンジン ERB 等を開発しています。また eXtreme Programming を実践されている方としても有名です。 ■ 自己紹介--- 簡単に自己紹介をお願いします。最近されていることのお話をお願いできますか? 昨年末から、インターナショナル・ジャーナル・オブ・パラレル・プログラミング(International Journal of Parallel Programming)という学会誌か論文誌かの記事をやってます。そこの編集の人から「20ページ書いて」っていう依頼が来て、日本語で書いて、みんなが英訳してくれてと、年末から今年の初めまでやってたんですけど。編集の人かなと思ってた人は、エール大で L で始まる Linda*

                                        • 一週間自宅のみでリモートワークしてみたけど働き過ぎた - mizchi's blog

                                          Increments社は元々月曜日がリモートワークの日なんだけど、今週と来週は実験的にリモートワークすることになっている。 家を出てオシャレなカフェで作業したがる人も多いだけど、自分はあんまり外にでる理由がなければ家から出たくないタイプの人間なのと、今週前半は雨が降ってたというのもあって、昼飯買いに行く以外は完全に家で作業していた。 結果 正直なところ、自分はサボりぐせがある人間だと思っていたのだけど、目の前にしかかりのものが放置されるのが我慢できない凝り性でもあって、今回は凝り性な部分が勝ってしまい、完全に仕事しすぎた。 仕事しすぎたので進捗は最高に進んでいるんだけど、夜中まで働いてしまって、午前中はボッーとしている、みたいなことが多くて、オフィスに出る日だったら完全に駄目な感じだった。リモートなので朝ボーっとしているのがクリティカルになることはなかった気がする。 結果として今週めっちゃ

                                            一週間自宅のみでリモートワークしてみたけど働き過ぎた - mizchi's blog
                                          • 分散ストレージ技術Cephの最新情報

                                            Cephのアーキテクチャの解説、最新動向、ベンチマークや事例などを掲載したスライドです。 第1回サービスプロバイダー様向け技術勉強会Read less

                                              分散ストレージ技術Cephの最新情報
                                            • 【特集】MySQL Clusterを試す - クラスタ化した分散アドレス帳をつくる (MYCOMジャーナル)

                                              Copyright (C) Mainichi Communications Inc. All rights reserved. 掲載記事の無断転載を禁じます

                                              • SQLライクにHadoop Hiveを使い倒す!

                                                パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds

                                                  SQLライクにHadoop Hiveを使い倒す!
                                                • Hg Init: a Mercurial tutorial by Joel Spolsky

                                                  Mercurial is a modern, open source, distributed version control system, and a compelling upgrade from older systems like Subversion. In this user-friendly, six-part tutorial, Joel Spolsky teaches you the key concepts. Also, Fog Creek offers free monthly webinars that go over the basics of Mercurial.

                                                  • 123Server株式会社(123サーバー株式会社)

                                                    国内データセンターの 高性能サーバーを利用 クラスC以上で100%分散可能 300IPまでクラスC分散 ドメイン一括自動登録 WordPress一括自動インストール 24時間有人監視 30日間の無料お試し

                                                      123Server株式会社(123サーバー株式会社)
                                                    • 分散ファイルシステム/ブロックデバイスをまとめる - Blog by Sadayuki Furuhashi

                                                      昨日KLab勉強会#2の資料を公開しましたが、その中で動的な分散ファイルシステムを設計していると書きました。分散ファイルシステムというのは既にいろいろ存在しているわけですが、情報が分散していてサッパリ分からないので、このあたりでまとめてみたいと思います。 間違っていたり古かったりするに違いないので、正確な情報は本家の情報を参照してください。 ファイルシステムレイヤー NFS GFS(Global File System) OCFS GlusterFS Lustre 下位レイヤー Filesystem Block Device Block Device Filesystem Block Device 読み込み ○ ○ ○ ○ ○ 書き込み ○ ○ ○ ○ ○ アクセスの冗長化 × ○ ○ ○(負荷分散と排他) × データの冗長化 下位レイヤーに依存 下位レイヤーに依存 下位レイヤーに依存 ○

                                                        分散ファイルシステム/ブロックデバイスをまとめる - Blog by Sadayuki Furuhashi
                                                      • Project Voldemort

                                                        Voldemort is a distributed key-value storage system Data is automatically replicated over multiple servers. Data is automatically partitioned so each server contains only a subset of the total data Server failure is handled transparently Pluggable serialization is supported to allow rich keys and values including lists and tuples with named fields, as well as to integrate with common serialization

                                                        • MOONGIFT: » Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」:オープンソースを毎日紹介

                                                          Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。 処理状態を確認するコンソール ごく小規模なシステムであればニーズは発生しないかも知れないが、数十台、数百台のコンピュータを結びつける上で分散化処理は欠かせない技術だ。そこでMapReduceをオープンソース実装したこちらを紹介しよう。 今回紹介するオープンソース・ソフトウェアはSkynet、Rubyで実装されたMapReduceのオープンソース実装だ。 Skynetは多数のワーカーを立ち上げ、それらが互いに監視し合うことで障害発生時にも柔軟にタスクの受け渡しが可能になっている。単一障害点はなく、マスタサーバという位置づけのものですら他の

                                                            MOONGIFT: » Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」:オープンソースを毎日紹介
                                                          • NOSQL Patterns

                                                            Over the last couple years, we see an emerging data storage mechanism for storing large scale of data. These storage solution differs quite significantly with the RDBMS model and is also known as the NOSQL. Some of the key players include ... GoogleBigTable, HBase, Hypertable AmazonDynamo, Voldemort, Cassendra, Riak Redis CouchDB, MongoDB These solutions has a number of characteristics in common K

                                                              NOSQL Patterns
                                                            • PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃 ― TechTargetジャパン

                                                              オープンソースのPostgreSQLでシステムを構築 10代、20代を中心に急激な普及を見せる“ケータイSNS”。会員数が865万人に達する「モバゲータウン」や月間118億ページビュー(PV)を誇る「mixi」(約6割がモバイル経由)など、大手SNSサイトが存在感を増している(数値はいずれも2007年12月現在)。そうした中で先行組を激しく追撃しているのが、オープンドアが運営する携帯電話向けのSNSサイト「大集合NEO」だ。 2007年1月にスタートした大集合NEOは、SNSのみならず、アバターやゲーム、小説、動画、日記、チャットなどのサービスをすべて無料で楽しめるのが特徴だ。アバターやサイト内通貨の使い勝手の良さで先行サイトと差別化を図り、2007年夏に50万人だった会員数が2008年2月時点で2倍の100万人に達している。 その大集合NEOのシステム基盤を担っているのは、MySQLとオ

                                                                PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃 ― TechTargetジャパン
                                                              • yohei-y:weblog: CAPのCとACIDのC

                                                                CAP 定理と BASE の概念を考えたのは UCB の Brewer 先生で、彼は inktomi の偉い人だったというのは前回述べた。 当時のinktomiはYahoo!や Microsoft、それにgooにも検索エンジンを提供していて、1億以上のWebページ(テラバイト級のデータ)を扱っていたようだ。 手元のWEB+DB PRESS Vol.49 のはてなブックマークリニューアル記事によると、現在のはてなブックマークは1160万URLと100GBのHTMLデータ(圧縮済み)を扱っているらしいので、ざっくりいって98年の時点でinktomi は現在のはてブの10倍のデータを扱っていたといってもいい。inktomiで使っていたコンピュータの性能は現在のPCサ ーバに比べれば1/10程度の性能なので、システム全体でみると現在のはてブの100倍の規模になるだろうか。 結果的には、inktom

                                                                • Hadoopを用いたクラスタコンピューティング環境の構築 - SourceForge.JP Magazine : オープンソースの話題満載

                                                                  ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、そのフレームワークとして Hadoop の使用を検討すべきだろう。HadoopはJavaベースで作成されているため、Linux、Windows、Solaris、BSD、Mac OS Xにて使用できる。こうしたHadoopを実際に採用している組織に共通するのは、安価(特殊なハードウェアが不要)かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームによる、膨大な量のデータ処理を必要としているという点だ。 Hadoopでは、こうした膨大な量のデータを格納するために、Hadoop Distributed File System(HDFS)を採用している。実際、HDFSのマスタ/スレーブアーキテクチャは、Hadoopのクラスタ機能の中核を成している。ここでサポートされているのは、ファイルシステ

                                                                    Hadoopを用いたクラスタコンピューティング環境の構築 - SourceForge.JP Magazine : オープンソースの話題満載
                                                                  • kumofsはなぜ落ちないか - Blog by Sadayuki Furuhashi

                                                                    前回は、kumofsはなぜスケールするかということについて紹介しました。その中で最後に、耐障害性もスケーラビリティにとって重要だーと述べました。 そこで今回は、kumofsはなぜ落ちないのか、なぜ耐障害性が高いと言えるのかーということについて紹介したいと思います。 分散システムはテストが難しいことに定評がありますが(たぶん^^;)、その中でも耐障害性の検証は最上級に困難な部類です。 耐障害性は実際のところ、アルゴリズムの設計以前に実装上のバグが大きく影響するので、設計上は耐障害性が高いと言っていても、実際に使ってみると良く止まるという話はありがちな話です。(個人で開発している場合など、開発リソースが小さい場合はなおさら) そのため耐障害性の高いシステムを実現するためには、実装しやすくバグが入り込みにくい設計も重要かなーと思います(もちろん、アルゴリズムも重要ですが)。 分散システムには複雑

                                                                      kumofsはなぜ落ちないか - Blog by Sadayuki Furuhashi
                                                                    • ブロックチェーンの「合意」の意味を、我々は合意できているのか?(上)

                                                                      ブロックチェーンについて議論がなされるとき、「合意」という言葉がひんぱんに使われる。 たとえばブロックチェーンの機能について、データの正当性を複数のコンピュータが「合意」することで、中央機関に頼らずデータを共有する仕組みだ…などと説明されることがある。 では、ここでいう「合意」とは、そもそも何を指す言葉なのだろうか? この言葉は「両社は協業することに合意いたしました」など、私たちの日常でも多く使われている言葉である。日常的に使われている「合意」をイメージしたまま、ブロックチェーンの議論をしてしまうと、ブロックチェーンの仕組みについてうまく議論できない。 これに加え、分散システムの学術界/産業界では30年以上前から、分散された複数のコンピュータの間で何らかの合意を形成する「合意問題」という課題に取り組んできた。実際に合意問題を解決するアルゴリズムやプログラムも登場している。 この分散システム

                                                                        ブロックチェーンの「合意」の意味を、我々は合意できているのか?(上)
                                                                      • Home - Ceph Wiki

                                                                        On June 2021, we’re hosting a month of Ceph presentations, lightning talks, and unconference sessions such as BOFs

                                                                          Home - Ceph Wiki
                                                                        • PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応

                                                                          Preferred Networks(PFN)が開発するディープラーニング(深層学習)フレームワーク「Chainer」が間もなく、分散処理に対応することで大幅に高速化する。PFNの西川徹社長が2017年1月26日(米国時間)に米サンフランシスコで開催された「Deep Learning Summit 2017」で明らかにした(写真1)。 現在のChainerは、マルチノード(複数サーバー)での学習に対応にしておらず、1台のノード上で複数のGPU(Graphics Processing Unit)を使用する場合も、どのGPUで何の処理を実行するのかをプログラマーが記述する必要があった。PFNはマルチノードでの学習に対応した分散バージョンのChainerを開発中で、社内ではテストも始めている。この分散バージョンのChainerでは設定を変更するだけで、マルチノード環境やマルチGPU環境に対応する

                                                                            PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応
                                                                          • Google Research Publication: Bigtable: A Distributed Storage System for Structured Data

                                                                            Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Abstract Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large size: petabytes of data across thousands of commodity servers. Many projec

                                                                            • Welcome to Apache™ Hadoop®!

                                                                              A wide variety of companies and organizations use Hadoop for both research and production. Users are encouraged to add themselves to the Hadoop PoweredBy wiki page. 8 Aug 2018: Release 3.1.1 available This is the first stable release of Apache Hadoop 3.1 line. It contains 435 bug fixes, improvements and enhancements since 3.1.0 Users are encouraged to read the overview of major changes since 3.1.0

                                                                              • Apache Kafka

                                                                                Apache Kafka More than 80% of all Fortune 100 companies trust, and use Kafka. Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. Manufacturing 10 out of 10 Banks 7 out of 10 Insurance 10 out of 10 Telecom 8 out of 10 10/10 Largest insurance

                                                                                  Apache Kafka
                                                                                • 米Twitter、リアルタイムデータ処理システム「Storm」をオープンソースで公開 | OSDN Magazine

                                                                                  米Twitterは8月4日、リアルタイムデータ処理システム「Storm」をオープンソースにする計画を発表した。Stormは同社が7月に買収した米BackType Technologyの技術で、データストリームの解析などに利用できるという。 Stormは「リアルタイムデータ処理のHadoop」を標榜する技術で、大量データの分散処理を行うためのクラスタシステム。BackTypeがTwitterに買収される前の6月に発表、オープンソースにする計画を明らかにしていた。 StormはJava仮想マシン上で動作し、さまざまなプログラミング言語で行う処理を実装できる。クラスタシステムはクラスタをコントロールする「Nimbus」、実際の処理作業を実行する「Supervisor」、Supervisorを監視・制御する「Zookeeper」から構成され、Supervisorノードが処理を分割してZookeep

                                                                                    米Twitter、リアルタイムデータ処理システム「Storm」をオープンソースで公開 | OSDN Magazine