サーバレスアーキテクチャによる時系列データベースの構築と監視
サーバレスアーキテクチャによる時系列データベースの構築と監視 / Serverlessconf Tokyo 2017
サーバレスアーキテクチャによる時系列データベースの構築と監視
Amazon Aurora (MySQL) Asynchronous Key Prefetchにより、Join性能を10倍以上に高速化 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora (MySQL) Asynchronous Key Prefetchにより、Join性能を10倍以上に高速化 Amazon Aurora (MySQL)はJoinクエリを一桁以上高速化可能なasynchronous key prefetch (AKP)機能をリリースしました。 この機能は、Batched Key Access(BKA)JoinアルゴリズムとMulti-Range Read(MRR)最適化を使用するクエリに適用され、データ・セットがbuffer pooやquery cacheにない場合のパフォーマンスを向上させます。 我々のテストでは、上記の条件を満たすクエリでコールドバッファプールを使用した場合、クエリのレイテンシが10倍以上向上しました。 この機能は、Amazon Aurora version 1.
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
docker-composeでデータベースコンテナを立てるときのTips
docker-composeを使うと連携する複数のコンテナを割と簡単に構築できます。 アプリケーションコンテナや開発用コンテナからデータベースコンテナを扱う際に気になったことをまとめてみます。 ✗TOC データベースの永続化 redis mysql postgres mongo データベースを参照する方法 portの指定 データベースの永続化 データベース内のデータは永続化しないと消えてしまうので、残したい場合は明示的に永続化させておく必要があります。 公式のイメージの設定例(redis, mysql, postgres, mongo)を書きます、ホストのディレクトリにマウントする方法(data volume)を採用しています。データコンテナを使う方法は書いていません。 redis Docker Hub /dataをマウントすると良いようです。docker-compose.ymlに以下のよ
NTTデータ テクノロジーカンファレンス2017 - 暁
最近仕事で Apache Kafka を使おうと思っていたり、分散処理が面白くて勉強している。そんな中いままさに知りたいことがセッション一覧に連なってたので参加してきた。 以下、聴講したセッションの概要、気になったところや質問させていただいたことのメモ。 NTTデータ テクノロジーカンファレンス2017 デジタルトランスフォーメーション成功のカギ～ Hadoop, Spark, ブロックチェーン Hadoop/Spark を活用した家電ログ分析基盤の移行事例の紹介 ネットを介して収集した各種ログを活用して「ユーザー行動を先読み・自動運転」「ユーザーごとの個別最適化」といった進化をする家電。ログを収集するシステムが構築されてはいるものの、それを活用する部分に課題があり、Hadoop/Spark でいい感じにした事例のお話。 従来は、分析担当者がログを溜め込んでいるシステムからデータを DL
One Bitcoin Transaction Consumes As Much Energy As Your House Uses in a Week
One Bitcoin Transaction Consumes As Much Energy As Your House Uses in a Week As Bitcoin’s price increases, its energy consumption is soaring. Bitcoin's power consumption is extremely high compared to conventional digital payment, and one transaction now uses as much energy as your house in a week. Bitcoin's incredible price run to break over $7,000 this year has sent its overall energy consumption
ディスクの障害の追いかけ方 | Turn Clockwise Or Otherwise
以前書かせていただいた記事はいろんな所でいろんな受け取り方をされたようだ。多少の誤解もあるにせよ、きちんと自分が使っている記憶装置の理解をして、保守をして、バックアップを取ってくださるという方がわずかながらも増えたのであれば喜ばしい。記事の中ではわかりやすくするために多少の誤解を覚悟の上ではしょったところもある。今回は、少しばかり掘り下げてみたいとおもう。 ディスクの壊れ方の分類前回お話しさせて頂いた記事で私が勝手に命名した「半故障」という言葉を使わせていただいた。 「半故障」の定義は、「ドライブの内部で再試行をした結果うまくいってしまい、その時点では障害にならない」状態を言う。例をひとつ挙げると、「書き込み中メディアエラーが発生したが、代替トラックや代替セクターに書き込んだ際にうまくいったので、該当のコマンドは正常終了した」という状態である。[1]インターフェースとして SATA と S
「プログラミングの常識」を時々見直す必要性について｜Rui Ueyama
自分の中のプログラミングの常識というものは、ときどき現実のハードウェアに合わせて調節しないといけない。ハードウェアが進歩し続けているので、コンピュータで簡単にできることと相対的に難しいことのバランスが変化し続けているからだ。ここでは特にストレージにフォーカスして書こうと思う。 昔はメモリが相対的にとても貴重な資源だったので多くのプログラマがメモリを節約することに血道を上げていた。例えばWindowsの初期の頃に設計されたデータ構造には、メモリをバイト単位ででもいいから節約したいという意図の痕跡がいまでも多く見受けられる。DRAMの次に速い記憶装置はHDDだったので、メモリが足りなくなればHDDにデータを保存せざるを得ないのだが、DRAMとHDDのランダムアクセスの速度差は、机の上の本の開いているページを見るのと、その本をAmazonで注文して到着するのを待つのと同じくらいのスケールで違うの
ビットコイン、ジンバブエで価格急騰 国際相場の２倍
（ＣＮＮ） 経済の崩壊により自国通貨が破綻（はたん）したジンバブエで、インターネット上の仮想通貨「ビットコイン」の需要が急騰している。首都ハラレにある取引所、ゴリックスでの相場は過去１週間で１万ドルを突破。主要な国際相場の２倍近くを記録した。 ゴリックスのトレードコーディネーターを務める女性は「相場は高止まりし、上昇傾向を維持している」と指摘。需要の拡大が今後も価格を一段と押し上げるとみている。 ジンバブエではビットコインの使用が一般に広く浸透しつつあり、今や自動車ディーラーのような業務でも仮想通貨による支払いを受け付けるようになっている。 同国のムガベ政権は、２００８年に起きた凄まじいハイパーインフレへの対抗策として自国通貨を廃止。大半の商取引を米ドルで決済してきた。 しかし現在は外貨の不足が深刻化し、政府は米ドルと等価の「ボンドノート」と呼ばれる銀行券を発行することでこれに対処しようと
Java 10はあるよ！！（提案段階） - Fight the Future
まだProposalなので、正式決定ではありません。 2018年3月リリースのJavaが10、18年9月が11と半年ごとのリリースでインクリメントしていく。 Javaのチーフアーキテクトである、Mark Reinholdさんがツイートしています。 Proposal: Newer version-string scheme for the Java SE Platform and the JDK: https://t.co/vy2FcCb57n #jdk #openjdk #java— Mark Reinhold (@mreinhold) 2017年11月2日 こちらがMarkさんが書いた提案です。OpenJDKのMLです。 Proposal: Newer version-string scheme for the Java SE Platform and the JDK http://ma
Cisco ACIとVMware NSXは競合製品なのか？ - Simple is Beautiful
本エントリーは 2016年の vExpert Advent Calendar の〆を飾る？最終エントリーとなります。参加されたvExpertな皆さん、お疲れ様でした。年末休暇で暇な皆さま、このAdvent Calendarをはじめとして、多くのAdvent Calendarが面白いネタで25日間に渡ってリレーされていますので、それらをじっくりと読んでみるのも面白いかもしれませんよ。 さて、では vExpert Advent Calendar の最後に、こんなタイトルで 〆てみたいと思います。たまにぶっこみすぎじゃね？と言われることがあるんですが、別に私自身はそんなつもりないんですけれどもね。中の人ではないからこそ書けることがあると思っています。 では、本題。 結論から書いてしまえば、たしかにごく一部の部分においてCisco ACI (Application Centric Infrastr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
