並び順

ブックマーク数

期間指定

  • から
  • まで

281 - 320 件 / 3969件

新着順 人気順

kvsの検索結果281 - 320 件 / 3969件

  • PHPアプリケーションのセッション管理にAWS ElastiCacheを使う | DevelopersIO

    こんにちは。望月です。 AWS上でシステムを構築する上で、「AWSのお作法に従う」のは印象以上に重要です。お作法に関しては色々とあるのですが、 *1その中でも一番大きいのは「サーバーは故障するものという前提で設計する」ことにあると思います。例えば、以下の様な点です。 WebサーバやAPサーバなどはロードバランサを介して冗長化し、単一障害点ではなくす 保管する必要のあるデータは全てS3に保管するか、EBSスナップショットを取得する等のバックアップを実施する DBはRDSをできるだけ利用することで、Multi-AZによる障害時自動フェイルオーバーによるサービス継続を実施する 上記1番目の「Web/APサーバの冗長化」ですが、オンプレミスからの移行の際にはこれへの対応が結構大変だったりします。例えば、アプリケーションからローカルのファイルを読み書きするような処理が入っている場合、そのファイルを両

      PHPアプリケーションのセッション管理にAWS ElastiCacheを使う | DevelopersIO
    • 第2回 memcachedのメモリストレージを理解する | gihyo.jp

      株式会社ミクシィ 研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmemcachedの内部構造がどう実装されているのか、そしてメモリがどう管理されているのかをご紹介します。また、memcachedの内部構造の事情による弱点も紹介します。 メモリを整理して再利用するSlab Allocationメカニズム 昨今のmemcachedはデフォルトでSlab Allocatorというメカニズムを使ってメモリの確保・管理を行っています。このメカニズムが登場する以前のメモリ確保の戦略は、単純にすべてのレコードに対してmallocとfreeを行うといったものでした。しがしながら、このアプローチではメモリにフラグメンテーション(断片化)を発生させてしまい、OSのメモリマネージャに負荷をかけ、最悪の場合だとmemcachedのプ

        第2回 memcachedのメモリストレージを理解する | gihyo.jp
      • 【制作1日目】 池澤あやかさん、イベント会場がヒートアップ間違いなしのアプリを制作、まずはクライアント側処理です ~ Amazon S3 / Cognito / Kinesis / DynamoDB 登場

        CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

          【制作1日目】 池澤あやかさん、イベント会場がヒートアップ間違いなしのアプリを制作、まずはクライアント側処理です ~ Amazon S3 / Cognito / Kinesis / DynamoDB 登場
        • CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった

          分散システムにおいては以下の3つの要素のうち2つしか同時に満たすことができない、というCAP定理を提唱したのは、Eric Brewer氏でした。 C:Consistency(一貫性) A:Availability(可用性) P:Tolerance to network Paritions(ネットワーク分断への耐性) 一般にリレーショナルデータベースでは、一貫性(C)と可用性(A)をできるだけ保証する代わりに、ネットワーク分断への耐性(P)を犠牲にしています。ネットワークが途中で切れたり大きく遅延した場合、動作が保証されなくなってしまうわけです。 一方でNoSQLでは一貫性(C)よりも可用性(A)とネットワーク分断への耐性(P)を優先させるものが多く、分散システムでの動作に向いていると説明されます。このようにNoSQLの説明にこのCAP定理がしばしば引用されることになり、NoSQLの普及とと

            CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった
          • 「演算子のインジェクション」と「SSJI」

            「演算子のインジェクション」と「SSJI」:NoSQLを使うなら知っておきたいセキュリティの話(1)(1/2 ページ) ここ数年、大量データ処理時の高速性やデータ構造の柔軟性などから、「NoSQL」が注目を集めています。それと同時に、NoSQLを使うアプリケーションに対する攻撃手法も研究されるようになりました。この記事では、NoSQLを使ったアプリケーションの脆弱性と対策について解説します。 注目集める「NoSQL」 ここ数年、NoSQLと呼ばれる種類のデータベースが注目を集めています。NoSQLはSQL言語を使用しないデータベースの総称で、大量データ処理時の高速性やデータ構造の柔軟性などのメリットがあるため、従来のリレーショナルデータベース(RDB)を補完・代替するものとして、大規模なWebアプリケーションなどにおいてNoSQLを採用する事例が増えています。 このような新しい技術が普及し

              「演算子のインジェクション」と「SSJI」
            • 月間10億pvを支えるmongo db

              PostgreSQLレプリケーション10周年!徹底紹介!(PostgreSQL Conference Japan 2019講演資料)NTT DATA Technology & Innovation

                月間10億pvを支えるmongo db
              • まさに怪物! Fusion-ioが容量10テラバイト/性能130万IOPSのフラッシュドライブ「ioDrive Octal」発表

                まさに怪物! Fusion-ioが容量10テラバイト/性能130万IOPSのフラッシュドライブ「ioDrive Octal」発表 わずか2つ程度のPCIeスロットのスペースに、10テラバイトのストレージ容量で、しかも1秒間に130万回のI/O性能、リード性能が6.7 GB/s、ライト性能は3.9 GB/sという怪物のようなフラッシュドライブ「ioDrive Octal」を、米Fusion-ioが発表しました。 「ioDrive Octal」は、2012年の第1四半期に登場予定、価格はまだ発表されていません。 データベース性能が飛躍的に向上 Fusion-ioは、PCIeスロットに接続する高速なサーバ内蔵型フラッシュストレージという、新しいストレージデバイス分野の草分け的存在。 一般にエンタープライズ用途においてフラッシュメモリを用いたストレージは、リードに比べてライトが遅いことや、長期間の

                  まさに怪物! Fusion-ioが容量10テラバイト/性能130万IOPSのフラッシュドライブ「ioDrive Octal」発表
                • 分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development

                  1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います!本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた!あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま

                    分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
                  • 全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな

                    全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね? 柔軟なAPI用意すればいいんじゃね? ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回

                      全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
                    • AWS News Blog

                      Amazon Q Business, now generally available, helps boost workforce productivity with generative AI At AWS re:Invent 2023, we previewed Amazon Q Business, a generative artificial intelligence (generative AI)–powered assistant that can answer questions, provide summaries, generate content, and securely complete tasks based on data and information in your enterprise systems. With Amazon Q Business, yo

                      • ここが辛いよサーバーレス だが私は乗り越えた #builderscon

                        Utility-first な CSS-in-JS 〜Tailwind CSS と Chakra UI を添えて〜 / Utility-First CSS-in-JS

                          ここが辛いよサーバーレス だが私は乗り越えた #builderscon
                        • [速報]VMwareがPaaSの提供開始、Java、Rails、Node.jsなどサポート。オープンソースでも公開

                          これまで同社は仮想化から発展したvSphere製品群を中心にIaaS(Infrastructure as a Service)を提供するクラウドベンダでした。今回の発表で、Windows AzureやGoogle App Engineなどと競合するPaaS市場への本格参入を宣言したことになります。 主な発表内容は2つ。同社自身が運営し提供するPaaSの「CloudFoundry.com」の開始と、PaaSを構成するソフトウェア「Cloud Foundry」をオープンソースとして公開するWebサイト「CloudFoundry.org」の公開です。 PaaSでJava、Ruby、Node.js、MySQLなどをサポート CloudFoundry.comは、VMwareが運営するPaaS。同社はオープンなテクノロジをサポートする「Open PaaS」を掲げており、既存のPaaSによるロックインに

                            [速報]VMwareがPaaSの提供開始、Java、Rails、Node.jsなどサポート。オープンソースでも公開
                          • DynamoDB の基礎と設計 / DynamoDB Design Practice

                            Qiitaにも記事があります https://qiita.com/_kensh/items/2351096e6c3bf431ff6f サーバーレスでよく利用される Amazon DynamoDBですが、設計方針はRDBMSと違うとよく言われます。 アクセスパターンに従った、DynamoDBならではの設計の仕方を一緒に学んでみませんか?

                              DynamoDB の基礎と設計 / DynamoDB Design Practice
                            • 第3回 MongoDB勉強会 ダイジェスト

                              「第3回 MongoDB 勉強会 in Tokyo」 : ATND 先週土曜日(2011年5月14日)にフューチャーアーキテクトさんのセミナールームにて行われたMongoDBの勉強会に行ってきました。 MongoDBの仕様・機能などの体系的な話からチューニングの話、開発に利用する話、プロダクションとして運用している話と、バランスよくまとまっていてとても勉強になりました。 RDBとの違いや特有の挙動をきちんと把握して利用すれば、十分プロダクションで利用出来るというビジョンが見えました。 詳細は各発表者の方のスライドを見るとわかると思いますが、当日会場でメモしたものでダイジェスト的にまとめました。 MongoDB勉強会は毎月開催(予定)しているそうなので、興味を持たれた方は是非参加して見てください。 MongoDBコミュニティー:MongoDB JP | Google グループ 【発表1】Mo

                                第3回 MongoDB勉強会 ダイジェスト
                              • DynamoDBのインフラコスト構造と削減策 - ゆううきブログ

                                Amazon DynamoDBは、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの中でも、フルマネージドサービスと呼ばれる位置づけとなるサービスだ。 フルマネージドサービスは、ElastiCacheのようなそうでないものと比較し、AWSに最適化されていて、サービスとしてよくできていると感じている。 Mackerelの時系列データベースのスタックの一つとして、DynamoDBを採用している。 時系列データベースの開発は、コストとの戦いだったために、それなりにコスト知見が蓄積してきた。(時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ) (※ 以下は、2018

                                  DynamoDBのインフラコスト構造と削減策 - ゆううきブログ
                                • MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜

                                  MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜

                                    MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
                                  • 開発基盤チームが目指す事 #pixiv_night - Qiita

                                    (当日はesaのプレゼンテーションモードで発表しました) (pixiv night in Fukuoka #02 - ピクシブを取り巻く技術がわかる一夜! - connpass の発表資料です) 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い ピクシブ株式会社で開発基盤チームと広告チームの兼任 2014年度新卒(2013/10入社) pixivの技術的な改善が主な業務(後で詳しく) 単著『pixivエンジニアが教えるプログラミング入門(星海社新書) ピクシブ社内の非エンジニア向けのプログラミング研修の書籍化 pixiv社内ISUCONやISUCON6本選の問題作成 pixivのチーム分け pixivというサービスは巨大 www.pixiv.net/touch.pixiv.net/スマートフォン用APIなどなど 提供しているサービスも多い pixivという1

                                      開発基盤チームが目指す事 #pixiv_night - Qiita
                                    • MasteringMemcached

                                      2008-09-27 17:53:11 +0900 (78d); rev 114 この文書について 分散型メモリオブジェクトキャッシングシステムである memcached について、その仕組み、導入やプログラミング言語からの利用方法までを紹介します。 この文章は常に書きかけです。誤字脱字や間違いの指摘や情報提供などを歓迎します。 この文書の対象者 memcached の導入を検討しているひと memcached をプログラミング言語から利用する方法を知りたいひと memcached の仕組みや仕様を知りたいひと 環境について 以下のような環境を想定しています。 UNIX および UNIX ライク OS x86 アーキテクチャ memcached は x86 以外のアーキテクチャでも動作しますが、この文書では x86 前提として記述します。 memcached とは memcached は

                                      • Pinterest のスケール

                                        V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア

                                        • TechCrunch | Startup and Technology News

                                          SpaceX’s massive Starship rocket could take to the skies for the fourth time on June 5, with the primary objective of evaluating the second stage’s reusable heat shield as the…

                                            TechCrunch | Startup and Technology News
                                          • Welcome to Apache™ Hadoop™!

                                            Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an

                                            • STORESってMongoDBを使ってるらしいけど正直どうなの? - STORES Product Blog

                                              STORESのECサービスを開発している@morihirokです。 STORES ECはRuby on Railsで開発されているWebアプリケーションですが、データベースにはMySQLやPostgreSQLといったリレーショナルデータベースではなく、MongoDBを採用しております。 この記事ではカジュアル面談等で必ず聞かれる「MongoDBって正直どうなの?」といったところを、ストレートにお伝えできればと思います。 なぜMongoDBを採用しているのか そもそもなぜMongoDBを採用しているのか。それは考古学になるのでフィールドワークが必要です。筆者も開発に携わるようになったのは2018年の終わり頃からなので、まずは一緒にSTORES ECの歴史について紐解いていきましょう。 STORES EC(旧STORES.jp)は、heyグループとなるずっと前の2012年、会社名がブラケットだ

                                                STORESってMongoDBを使ってるらしいけど正直どうなの? - STORES Product Blog
                                              • Facebook、新しいMySQL用ストレージエンジン「MyRocks」をオープンソースで公開。フラッシュに適したデータの書き込みと圧縮効果

                                                Facebook、新しいMySQL用ストレージエンジン「MyRocks」をオープンソースで公開。フラッシュに適したデータの書き込みと圧縮効果 FacebookはMySQL用の新しいストレージエンジン「MyRocks」をオープンソースで公開しました。同社のエンジニアである松信嘉範(Yoshinori Matsunobu)氏がFacebookのブログに投稿した記事「MyRocks: A space- and write-optimized MySQL database」で紹介しています。 MySQLのデータベースエンジンとして使われているInnoDBは優れているものの、フラッシュストレージと組み合わせたときに書き込まれるデータ量の効率性などに課題があったため、MyRocksに取り組んだと説明されています。 InnoDB is great for performance and reliabil

                                                  Facebook、新しいMySQL用ストレージエンジン「MyRocks」をオープンソースで公開。フラッシュに適したデータの書き込みと圧縮効果
                                                • 八丈島のホテルで、運用費用0円の伝票システムアプリ作って、業務改善した話。 - Qiita

                                                  ※2019年05月29日作成の記事です。 はじめまして! いつも皆さんの面白い記事を読んで、学んだり励みにしたり楽しんだりしてます!ありがとうございます! このたび東京都八丈島のホテル、リードパーク&リゾート八丈島で伝票システムアプリを作らせてもらいました! このシステムアプリの全機能はブログの記事で動画を交えて説明しています。 (QiitaじゃTwitter経由でしかアップできないため) 全機能説明ページはこちら 謝辞 ホテルの皆様 今回自分がこんな貴重な機会を得られ、最後まで作ることができたのは、寛容で柔軟なホテル支配人・レストランリーダー・スタッフの皆様のお陰だと本当に思います。 最初は遅延もあったり、レシート2枚出てきたりしてましたが、毎日使用後に多くのフィードバックを得られたので開発がとても捗りました。 「楽しい!」「今までで1番使いやすい」などの声は本当に嬉しいです Fireb

                                                    八丈島のホテルで、運用費用0円の伝票システムアプリ作って、業務改善した話。 - Qiita
                                                  • CassandraとHBaseの比較して入門するNoSQL

                                                    第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less

                                                      CassandraとHBaseの比較して入門するNoSQL
                                                    • オレオレ検索窓を設置しよう - mixi engineer blog

                                                      まだピクミン2をクリアしてないのでケジメ的に新作ゲームを買えないmikioです。今回は、Tokyo Cabinetを使って激烈簡単に特定サイトの専用の検索機能を設置する方法について説明します。クローリングから検索までを10分くらいの作業で可能にします。 特定サイトの検索エンジン Web全体の検索機能を作るのは、途方もない技術力と設備を持っているGoogleやMicrosoftなどのビッグプレーヤでないと難しいのが現実です。でも、自分が気に入っているいくつかのサイトを対象とした検索エンジンを作るのであれば個人だってできます。また、インターネットから手が届かないイントラネットのコンテンツの検索機能は自分達で手がけないと構築できません。 ということで、企業用の検索システムが数多く売られていますし、LuceneやGroongaやHyper Estraierなどのオープンソース製品も世に多数存在しま

                                                        オレオレ検索窓を設置しよう - mixi engineer blog
                                                      • CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                                                        CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                                                          CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
                                                        • 並列データベースシステムの概念と原理

                                                          2014/01/30 筑波大学情報システム特別講義Dの講義資料です。 join関係はNAIST時代の宮崎先生のデータ工学Ⅱの内容を参考にしてます。 animation有効なビデオはこちら https://vimeo.com/85598907

                                                            並列データベースシステムの概念と原理
                                                          • はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知

                                                            はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28

                                                              はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
                                                            • 最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

                                                              最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"という語が意味するところは要するに「過半数ノードによる多数決」というような説明が多いように感じていました。 にも関わらず、"Quorum"と呼ばれているのはなぜか?そんな疑問を持っていたので、この機会に調べてみました。 そうしたら、"Quorum"は過半数/多数決という概念を一般化した非常に抽象でパワフルな概念だということがわかりましたのでここにまとめておきたいと思います。 分散システムにおけるデータ

                                                                最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita
                                                              • SQL脳に優しいMongoDBクエリー入門 - taka512's blog

                                                                mongoコマンドから接続した際にオールドタイプ(SQL脳)たる我々人類にも 調べやすい形でinsert、select、updateを行う方法を調べました。 定義参照 // use [データベース名] use [データベース名] // show databases show dbs // show tables show collections参照系 // select * from [コレクション名] db.[コレクション名].find() // select * from [コレクション名] where x=4 db.[コレクション名].find({x:4}) // select j from [コレクション名] where x=4 db.[コレクション名].find({x:4}, {j:1}) // select * from [コレクション名] limit 1 db.[コレクション

                                                                  SQL脳に優しいMongoDBクエリー入門 - taka512's blog
                                                                • AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ

                                                                  Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。 この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCache、SQS、SNSなどの製品のマネージメントをしているSwami Sivasubramanianらが含まれている。 Dynamoをひとことで表すと分散型でKey Valueストレージで、データの一貫性に関しては結果整合性を保証するサービスだ。なお、AWSで提供されているDynamoDBとは別物なので注意。 原文はこちらから参照できる。今回のポスト中の引用(図や文問わず)はすべてこちらから引用している。 また、既に日本語訳をされている方もいらっしゃるので原文をそのまま日本語でよみたい人はこちらを参照の

                                                                    AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ
                                                                  • MongoDB 3.0.8 is released - MongoDB Blog

                                                                    General InformationDocumentationDeveloper Articles & TopicsCommunity ForumsBlogUniversity

                                                                      MongoDB 3.0.8 is released - MongoDB Blog
                                                                    • サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ

                                                                      この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド

                                                                        サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ
                                                                      • Pinterestはいかにスケーラビリティと格闘してきたのか(後編)。QCon Tokyo 2013

                                                                        4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち

                                                                          Pinterestはいかにスケーラビリティと格闘してきたのか(後編)。QCon Tokyo 2013
                                                                        • 時代はポストRDBへ--NoSQL徹底研究:2015年はNoSQL元年、今なぜ必要なのか

                                                                          印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 企業の中で最も重要な資産の一つである“データ”の多くは1990年代以降、多くがリレーショナルデータベース(RDB)で管理されてきました。ところが最近のビッグデータの潮流の中で、インターネットやモバイル端末を利用する“モノのインターネット(Internet of Things:IoT)”のデータを取り扱う企業やウェブ系、一般企業で従来から利用しているRDBではなく、NoSQLを利用する企業が増えてきています。NoSQLが話題になるようになって数年経ちますが、今なぜNoSQLなのか、日本で利用者が増加しているオープンソースの主なNoSQL製品を研究しながら探っていきたいと思います。 今回、この企画をするにあたって、各ベンダーや各方面の専門家

                                                                            時代はポストRDBへ--NoSQL徹底研究:2015年はNoSQL元年、今なぜ必要なのか
                                                                          • iPhoneを監視カメラ化できる無料アプリ登場 外出先から室内を確認

                                                                            iPhoneを監視カメラ化できる無料アプリ「あんしん監視カメラ」を、ベンチャー企業のキーバリューが公開した。アプリを起動しておけば、カメラがとらえた映像をWebブラウザから確認でき、外出先から家の中の様子などを確認できる。 アプリをインストールし、撮影開始ボタンを押すだけ撮影スタート。映像を確認する際は、アプリの設定画面に書かれた固有のログインコードを専用ページに入力してログインするだけでOKだ。サイトはPC、スマートフォンからの閲覧に対応している。 映像内の変化が大きい瞬間だけ確認する動体検知機能を搭載。音はデシベルで表示し、大きな音や鳴き声が発生した時にだけアラームを鳴らす防犯カメラの仕組みも取り入れた。映像は、撮影後24時間サーバに保存され、保存期間を過ぎると自動的に消去される。保存期間中の音や映像の変化量の記録をグラフで表示することもできる。将来は、高画質で長期保存できる上位版の有

                                                                              iPhoneを監視カメラ化できる無料アプリ登場 外出先から室内を確認
                                                                            • Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG

                                                                              はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ

                                                                                Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG
                                                                              • An open-source fulltext search engine and column store

                                                                                About Groonga Groonga is an open-source fulltext search engine and column store. It lets you write high-performance applications that requires fulltext search. Characteristic The latest release 14.0.3 is the latest release. It had been released at 2024-05-09. Install Source The latest posts Groonga 14.0.3 has been released (2024-05-09) Groonga 14.0.2 has been released (2024-03-29) Groonga 14.0.1 h

                                                                                  An open-source fulltext search engine and column store
                                                                                • 大規模memcached障害と私 - Qiita

                                                                                  この記事は ex-mixi Advent Calendar 2017 19 日目のエントリーです。 こんにちは。@bonnu と申します。 株式会社ミクシィには2006年1月から2012年3月末までの間、6年と3ヶ月ほど在籍していました。その後株式会社FreakOut(現在はホールディングスとなっています)に転職。そこからさらに転職を重ね、現在は株式会社GameWithでサーバーサイドを主としたエンジニアをやっています。 ミクシィに入社した当時はまだ社名が株式会社イー・マーキュリーで、入った翌月に社名変更したタイミングでした。なので希少な「イー・マーキュリー」の名刺を持っていました。私より後に入社した他のエンジニアのみんなからよく珍しがられたのを覚えています。 今回はOB・OGによるアドベントカレンダーということで、在籍していた頃に体験した障害について少しお話したいと思います。 (※ 当時

                                                                                    大規模memcached障害と私 - Qiita