毎回素晴らしいイベントを主催されているLINE株式会社様、毎回ホスピタリティあふれる運営に尽力されている@941さん、出題の@tagomorisさん@kamipoさん、その他協賛企業や運営スタッフの皆様に感謝申し上げます。 ということで、ISUCON5に出場し、優勝してきました。 ISUCON1の優勝チームの再結成で @fujwiara, @sugyanと僕というメンバー構成です。4年前のISUCON1の時にチーム名を「fujiwara組にしよう」と強く言ったのは実は僕で、そのまま僕が代表者として申し込んだのですが、まさかここまでfujiwara組ブランド(?)が定着するとは思いませんでした。今年もfujiwaraさんの力が大きい勝利ですが、僕も大分貢献できたと思います。 ということで当日を振り返ります。 お題 外部APIを叩くネタで驚いた。可能性は考えていましたが、まさか来るとは思ってい

リレーショナルではやりきれない課題を解決するのがグラフデータベース Neo Technolgy　チーフサイエンティスト　ジム・ウェバー氏 Q：なぜ今、グラフデータベースに注目が集まっているのでしょうか? ウェバー：グラフデータベースの市場は急激に拡大しています。シリコンバレーを中心とした米国で大きな広がりを見せています。ヨーロッパでは英国が進んでいます。ドイツではサイズの大きな事例はありますが、まだまだ市場の反応はコンサバです。これはSAPのようなレガシーなアプリケーションの市場が確立しているからかもしれません。 日本もまだまだでこれからの市場でしょう。このようにグラフデータベースへの取り組みが速い国もあれば遅い国もあります。逆に言えば、米国の市場がユニークだとも言えます。GoogleやFacebookなど新しい企業が成功しており、彼らが使うようなとがった技術も普及しやすいのでしょう。 グ

この記事はmruby adevent calendar 24日目の記事です。 mrubyでRedisを操作するmruby-redisは以前から開発していたのですが、最近Pipelining対応のPRを頂きPipelining対応したのでそれの性能を確認してみました。また、その結果簡単に作れるようになった分散型インメモリジョブキューであるDisqueのmrubyクライアントであるmruby-disqueの紹介をします。 github.com github.com RedisとhiredisのPipelining mruby-redisはhiredisというCライブラリを利用しており、hiredisでは効率的にRedisとIOできるようにPipelining機能をサポートしています。RedisとhiredisにおけるPipeliningを簡単に説明すると、 通常のRedisアクセスはクライアン

大量のデータを高速に処理するために、従来のリレーショナルデータベースはおもに、より高性能なプロセッサ、より大きなメモリ、高速なストレージによるアプローチで解決してきました。 一方で、これからさらに増大が予想されるセンサーなどから大量のデータや非構造化データの処理を、小さなレイテンシ、大きなスループットで処理するための基盤としては、複数台のサーバをクラスタ化して性能向上をはかるNoSQLやHadoopが主流になっていくと考えられています。 つまりデータ処理基盤のアーキテクチャはスケールアウトへと変わろうとしている、ということになります。 5月に開催されたシスコ主催のイベントにおいて、同社は今後のデータ処理基盤ではスケールアウト型が主流になるとの認識を示しました。 ストレージの価格性能比においてもスケールアウト型は非常に優れているとのこと。 同社の説明によると、従来のスケールアップ型で利用され

Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以

DB Tech Showcase Tokyo 2017 セッション D34 発表資料 http://www.db-tech-showcase.com/dbts/tokyo

Amazon DynamoDB は、最新アプリケーションの開発をあらゆる規模で可能にするサーバーレス NoSQL データベースサービスです。サーバーレスデータベースとして、お支払いいただくのは使用した分のみです。DynamoDB はゼロまでスケールし、コールドスタート、バージョンアップグレード、メンテナンスウィンドウ、パッチ適用、ダウンタイムメンテナンスはありません。DynamoDB は、広範な一連のセキュリティコントロールとコンプライアンス標準を提供します。グローバルに分散されたアプリケーションでは、DynamoDB グローバルテーブルは、99.999% の可用性の SLA と高い回復力を備えたマルチリージョンのマルチアクティブデータベースとして使用できます。DynamoDB の信頼性は、マネージドバックアップ、ポイントインタイムリカバリなどに支えられています。DynamoDB ストリー

ワークスアプリケーションズでは、グローバルでの技術者採用にも積極的に取り組んでいる。「アジアを中心に優秀な技術者の採用が進んでいます」と語るのは、ワークスアプリケーションズ 広報の太田更紗氏だ。この成果もあり、現在では海外での開発体制がかなり充実した。 ワークスアプリケーションズ　広報　太田更紗氏 そんなワークスアプリケーションズでは、2014年10月、新製品として次世代ERPシステム「HUE」を発表した。「HUEは技術の革新です」と太田氏。次世代ERPシステムとして開発しているHUEは、同社の実績あるERPパッケージ「COMPANY」を拡張したものではない。まったく新しいコンセプトで、1から作り直したものなのだ。 このHUEでは、ERPアプリケーションでは当たり前だったリレーショナル・データベースと決別し、NoSQLのCassandraを採用した。同社では、すでに5年ほど前からCassa

どうしてもNoSQLが向かない用途もある 排他制御やトランザクションの仕組みに頼らずNoSQLデータベースのデータを更新する方法を紹介してきました。NoSQLデータベースの更新処理で一貫性を確保するには、競合の発生する更新や削除を避け、データの追加と非同期処理をうまく使うことがポイントになります。 しかしこの方法はRDBMSの更新処理を完全に置き換えるものではありません。NoSQLデータベースの更新処理は、RDBMSでは当たり前だった即時一貫性を犠牲にしていることを忘れないでください。トランザクション処理を単一のINSERTで登録し、実際の更新や削除を非同期処理で済ませるということは、言い換えれば「問題の先送り」に過ぎません。更新処理の種類によっては、こうした先送りが許されないケースもあります。 例えば、ショッピングサイトでは注文のリクエストを受け付けたときに在庫を確認し、引き当てます。在

Amazon DynamoDB は、完全マネージド型の NoSQL データベースサービスであり、ハイスケーラブルな分散データベースサービスです。本公演では、Amazon DynamoDBの基本的な機能や、ソーシャルゲーム等の高規模なアプリケーションを構築するための使用方法をご紹介いたします。Read less

db tech showcase 2015 、午後 2 つめに参戦したセッションは @kuenishiさんのセッション。 一コマ前の Riak のセッションから聞くとなおよかったようには思いましたが、 MySQL 5.7 の話を聞きたかったので致し方なかったな、と。 とは言え、丁寧な言説でとてもよいセッションでした。日本の分散 DB 界隈の有名人の話を直接、聞ける貴重なセッションだったな、と。 では、以降わたしがとってきたメモです。 概要： NoSQLで分散KVSというと、複雑な機能を切り捨てて、非常にプリミティブな機能と整合性とパフォーマンスに特化したものと思われがちです。しかし、近年は目的に応じてさまざまな用途や機能を提供するものが増えてきました。従来のRiakでは結果整合性、因果整合性が保証されていましたが、2.0から強整合性のある書き込みもサポートされるようになりました。分散システ

国内最大のCouchbaseイベント、「Couchbase Live Tokyo」が開催されます! サーバとモバイルの各トラックでそれぞれホットな話題の提供、欧州航空会社大手Ryanairの事例紹介、また今回スポンサーを頂きました各企業様より他ソリューションとの連携など、魅力的なセッションを多数用意しております。 イベントの詳細およびお申込みはこちらよりご参照ください。 本連載のねらい 初めてNoSQLというキーワードが盛り上がりを見せた2010年頃から、巨大なデータセットや大量のユーザからのアクセスを処理するために利用されています。一方、調査、検証を行うものの、導入まで至らずに現在でもRDBMSを継続して利用されている企業も多いのが現状です。 それから5年が経ち、NoSQL製品、ベンダも淘汰されてきました。オープンソースを積極的に利用して成長を続けるユーザ企業を支える中で、生き残ったNo

In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...

BY PROGRESS OpenEdge World Tour | Lyon Lyon |France 18 Jan Register for the OpenEdge World Tour 2024 in Lyon an exclusive voyage into the future of innovation! Immerse yourself in the dynamic world of OpenEdge 12.8.  BY PROGRESS OpenEdge World Tour | Oslo Oslo |Norway 22 Jan Welcome to the OpenEdge World Tour 2024 in Oslo an exclusive voyage into the future of innovation! Immerse yourself in the

オープンソースの非営利団体Apache Software Foundationは5月19日、Apache Hadoop、NoSQL、クラウドストレージ向けのスキーマフリーのSQLクエリエンジン「Apache Drill 1.0」をリリースした。 Apache Drillは米Googleの開発するクエリツール「Dremel」のオープンソース実装で、WindowsおよびLinux、Mac上でApache HadoopやNoSQL型データベースなどの非リレーショナルデータストアに保存されているデータへのクエリを行える。HBase、MongoDB、MapR-DB、HDFS、MapR-FSなどのほか、Amazon S3、Azure Blob Storage、Google Cloud Storage、OpenStack Swift、NAS、ローカルファイルもサポートする。単一のクエリで複数のデータスト

よく訓練されたアップル信者、都元です。AWS上のシステム設計において、どんな時にRDSを選択するのか、そしてどんな時にDynamoDBを選択するのか。比較しながら見て行きたいと思います。 RDBとNoSQL ACIDなRDB 一昔前、一般的に「データベース」と言えば、多くはリレーショナルデータベース（RDB）のことを指していました。テーブルと呼ばれる「行とカラムで構成される二次元のデータ構造」に対して、SQLと呼ばれる強力なクエリ言語で操作を行い、データの一貫性（Consistency: どこから観測しても同じ値が得られること）や操作の原子性（Atomicity: 一連の操作を全て適用commitするか、全てキャンセルrollbackするかの二択として実現できること）を実現するモデルは、開発者を含むシステムの利用者にとって非常に理解しやすく、広く受け入れられて来ました。多くの方がご存知の通

はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。