docker pull を速くするために：layer-parallel から chunk-parallel へ - 薄いブログ
この記事は Recruit Advent Calendar 2021 の15日目の記事です。 TL;DR 従来のレイヤー並列の pull より Range リクエストを用いたチャンク並列の pull によって速度が 2~5倍速くなる可能性がある。 ECR は Public だと region ごとに速度が大きく異るので安定した速度を求める場合は Private にする。 (pull through cache を活用すると良い) 2022/10/9 追記: ECR の Public が適切な Pop から返ってくるようになっていた。 その Benchmark も取得し、結果を追記した。 ap-northeast-1 では6倍近く早くなっていて region による差が小さくなっていた。 背景・動機 コンテナイメージは一つ以上のマニフェスト、そこから得られるコンフィグとレイヤーから構成される
大規模分散DBのCloud Spannerが、RailsのActive Recordに対応。スケーラブルで高可用なRubyアプリケーションの開発が容易に
Googleは、同社がクラウドサービスとして提供しているCloud SpannerをRailsのActive Recordに対応させるアダプタ「activerecord-spanner-adapter」が正式版となったことを発表しました。 Cloud Spannerは、Googleの多数のデータセンターにまたがる地球規模で大規模分散処理を行うリレーショナルデータベースです。事実上無制限とされる高いスケーラビリティと99.999％の高可用性を備えつつ、強い一貫性とトランザクション処理、SQLによるクエリなどを実装しています。 メルカリの決済サービスであるメルペイがバックエンドデータベースにCloud Spannerを採用し、数百万ユーザーの処理を行っているとされています。 このCloud SpannerをRailsのActive Recordのバックエンドデータベースとして使えるようにするア
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions (e.g., cre
pixivのブックマークに関する負荷対策をしました - pixiv inside
10/22(金) 追記 この記事で解説している内容について解説する勉強会を開催することとなりました。以下のconnpassよりお申し込みください。 pixiv.connpass.com 10/22(金) 追記 pixivのブックマークについて ブックマークDBの問題について 具体的な対策内容 論理削除廃止・index追加・ブックマークタグのテーブル分割 適応ハッシュインデックスの無効化 アプリケーションコードのリファクタリング・全発行クエリの列挙と見直し 大きな更新処理の非同期化 結果 あわせてよみたい pixivではサービスの成長に伴い、気に入った作品に対して付けることができるブックマークの総数が急速に増加しており、ユーザーの皆様に滞りなくサービスを提供し続けるためブックマークに関するデータベース(以後DB)の負荷対策が必要になりました。 2021年2月より対策を行うプロジェクトを発足し
「アボカド」の食べ方って、もっ可能性があるんじゃないか【やけくそレシピ】 - メシ通 | ホットペッパーグルメ
先日、またアボカドを傷ませてしまいました こんにちは、ちみをです。 アボカドが大好きなんですけど、この食材の難点は調理に包丁・まな板が必要（このくらいで難点と言っている時点でヤバいのですが）なこと。 そのうえ食べ方のバリエーションがいまいち多くなく、そして足が早いというか、気が付くといつの間にか傷んでしまっているというあのステルス特性……。 そんな難しい食材のアボカド、これまでの人生でいくつ傷ませてしまったのだろうと思うと、実に胸が痛みます。 ここはいっちょ、アボカドを傷ませず、かつもっと簡単にさくさく食べられるスキルを身につけ、さらには食卓の幅も広げたい。 そんな思いのもと、ここはいつものやけくそレシピしかないぞと、肩ひじ張らず簡単に消費できる「やけくそレシピ アボカド編」の開発に着手してみました。 アボカドスープ 焼きアボカド アボカド冷やし茶漬け やけくそワカモレ風 今回のラインナッ
テストでのデータベース単位の捉えかた - 日々常々
データベース（に限らずあらゆる永続化リソース）を使用するテストをいかにして行うかはいつだって悩みの種です。この悩みは「どうやったらデータベースを使用するテストを行えるかわからない」ではなく「なんとかやってるけど、不満のようなものがある」というものになるかと思います。 やりかたはたくさんあるのですが、その優劣は条件なしに比較する意味がないくらい、条件に依存します。どんな選択肢も「この条件なら最適」と言えてしまうだけに、広いコンテキストで「こうするのがベスト」とも言いづらいのです。 前提 xUnit Test Patterns を下敷きにします。 ユニットテストでの話です。他でもある程度通じます。 具象イメージはSpringBootを使用するWebアプリケーションです。そこまでべったりな内容ではありませんが、背景にあるとご理解ください。他でもそれなりに通じます。 データベースを使用するテストで
ソフトウェアドキュメント作法 - maru source
こんにちは丸山@h13i32maruです。つい先日、devchat.fmというポッドキャストに出演して、「ドキュメント」というお題について話しました。なぜこんなニッチなお題について話したかというと、Ubie Discoveryに入社して5ヶ月の間にいくつか*1まとまったソフトウェアドキュメントを書いたので、自分の中でホットな話題だったからです。 #devchatfm 33回目は、Ubie DiscoveryのSWE @h13i32maru にドキュメントを書くことで得られるメリットや、ポイント・工夫などを聞きました！ #33 チームの生産性を上げるドキュメントのすすめ with@h13i32maruhttps://t.co/TrmZd13D91— 久保 恒太 / Ubie CEO (@quvo_ubie) 2021年8月12日 これらのドキュメントは個人的にわりと良く書けたと思ってますし、
有給生理休暇は男性にとってアンフェアか？ 一七〇人の社員アンケートと考える男女平等 | Q by Livesense
有給生理休暇という制度に、あなたは賛成だろうか、それとも反対だろうか。 賛否に強い意志を持っているかもしれないし、ちょっと結論を保留したくなるかもしれない。あればめちゃくちゃ助かるという人もいれば、どちらでもいい、無関心だという人もいるだろう。 こういう場所で書くのは気が引けるけれど、正直なところ、ぼくも昔はまったくの無関心だった。直接関係のない話だし、どっちがいいかもよくわからない。そういうふうに考えていた－－というのもちょっと嘘で、そんなことすら考えていなかった。無関心というのはそういう残酷なものだ。 ちょっと質問を変えてみよう。 有給生理休暇という制度は、男女平等に資するだろうか。 こうするとさっきより、女性には客観的な、男性には考えやすい問題になるかもしれない。 平等が大事だということについて、多くの人は異論を唱えないと思う。でも平等ってどういう状態なのかとか、どういうふうに平等を
『ディアブロ II リザレクテッド』で起こっている不具合の原因説明/今後の恒久的な解決計画に関しまして
はじめにプレイヤーの皆様にはご不便をおかけしており大変申し訳ございません。 皆様からお問い合わせを頂いております、現在起こっている複数の不具合に関しましての原因説明とこれまで実施した対処法に関しまして、そして今後どのように進めていくかの解決計画に関しましてご説明をさせていただきます。 一部キャラクターの巻き戻り不具合の対応に関して サーバーの停止は単体での問題により発生しているものではないため、都度不具合が発生した際、緩和策の調査及び長期的な構造の組み換えの両面での問題解決に取り組んでいるのが現状でございます。一部のキャラクターに関しましてデータの巻き戻りが起こる現象が発生しておりましたが、今後はサーバークラッシュにより巻き戻りが起こってしまった場合、巻き戻りは数分程度分にとどまる予定でございます。 ただこちらは根本的な解決策になっていないこと、開発チームの方でも重々理解しておりますので引
5.1chをスピーカーケーブルなしで接続--自由なホームシアター、オンキヨー「SOUND SPHERE」
ケーブルをなくし、レイアウトフリーでスピーカーを配置できる。しかも5.1chでーー。そんな夢のようなスピーカーが発表された。「SOUND SPHERE（サウンド・スフィア）」と名付けられたシステムは、音声信号の送信に、日本初上陸のワイヤレス伝送技術「WiSA（ワイサ）」を採用。96kHzのロスレス音声の伝送を実現している。 手掛けたのは、AVアンプやスピーカーなど、長くオーディオ製品の開発、製造、販売を担ってきたオンキヨーホームエンターテイメント。ホームシアターとしてサラウンドシステムを数多く扱いながら「日本市場におけるサラウンド製品のありかた」を模索する中での、1つの答えがSOUND SPHEREだという。 「AVアンプは欧州や北米で年間45万台程度の売上があるが、日本における販売台数は年間1万台程度とそれほど大きくない。ただ、巣ごもり需要もあり、大画面テレビが家庭に浸透し、VODサービ
SREのためのMetrics-driven transformation(MDT) その1 - 赤帽エンジニアブログ
みなさんこんにちは、レッドハットでソリューションアーキテクトをしている暮林といいます。 SREのためのMetrics-driven transformation(MDT) というタイトルで数回の連載をしたいと思います。 Metrics-driven transformationとは？ Pelorusとは Pelorusのアーキテクチャー Pelorusのインストール 次回予告 Metrics-driven transformationとは？ 聞き慣れない方が多いかと思いますがこちらに英語の短いビデオがあって説明されています。 www.redhat.com このビデオでは、Digital TransformationのためにDevOpsをするぞ！となっても、いざやってみると何をどうかえていけばわからないという問題に直面するよね、ということを述べた後に、では組織として計測するべきKPIは何でし
MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な
![MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e9d48c3c6f38c2d5f71897d98efcb251289d1f9/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F07%2Fboard-755792_800.jpg)
GCP の Application Default Credentials を使った認証 - ぽ靴な缶
公式ドキュメントで説明されているけど、同僚に何度か説明する機会があったり、作る必要のないサービスアカウントキーを目にすることも多いのでまとめておく。 認証情報が登場しないアプリケーションコード 例えば以下のコードで Secret Manager に保存したトークンを取得することができる。SecretManagerServiceClient にサービスアカウントキーを渡さずとも動作する。 const {SecretManagerServiceClient} = require('@google-cloud/secret-manager'); const client = new SecretManagerServiceClient(); (async () => { const [secret] = await client.accessSecretVersion({ name: 'proj
DataflowのFlexテンプレートとScioで動的なパイプラインを実現する - エムスリーテックブログ
はじめに 本記事はエムスリー Advent Calendar 2020の12日目の記事です。 エンジニアリンググループの西名(@mikesorae)です。 私のチームでは医療に関する様々なデータを集計して分析レポートの作成を行っています。 クライアントの要望に応じて条件や分析軸を変更するために、これまではRubyで動的にSQLを組み立てて集計を行っていましたが、条件が複雑なため出力されるSQLが3000行近くになり、デバッグやテストも困難なためメンテナンス工数が多くかかっていました。 また、データ数の増加に伴ってSQLの実行時間も次第に長くなり、このまま行くと継続的なサービス提供ができなくなるリスクがあったため、BigQuery + Google Cloud Dataflow + Scioによる作り直しを決断しました。 Google Cloud Dataflowの導入にあたって公式ドキュメ
マイクロサービス共通ライブラリ "servicex" の紹介 | Wantedly Engineering Handbook
各言語に実装した共通ライブラリのコア機能は「すべてのサービスが」「すべての入出力にフックし」「入力のコンテキストを出力まで伝搬する」であった Wantedly ではマイクロサービスアーキテクチャを採用しています。Wantedly における Go 導入にまつわる技術背景 などでも言及のあるとおり、Ruby・Go・Python・Node.js（・Rust）と複数の言語が採用されています。 そして、"servicex" という共通ライブラリがこれらの言語それぞれに用意されています。 servicex の各言語実装はすべて同じ目的を達成するためのもので、その Why / What は以下のように定義されています。
ドメイン駆動開発を浸透させるための新しい取り組み - SO Technologies 開発者ブログ
はじめまして、ライクル事業部 エンジニアの菊池@kichionです。 普段の業務では主にエンジニアチーム運営・運用の課題解決やビジネスサイドとのやり取りが多く、中長期目線でのアプローチを行っています。 エンジニアとして行っている技術選定や実装関連についてはZenn - kichionにも投稿していますので興味があればご覧になってください。 今回はライクル事業部として少しづつ取り入れ始めている「ドメイン駆動開発」に焦点を当てて見ます （ドメイン駆動に関わる内容については、端的ですがQiita - kichionにも投稿してますので気になったらご参照ください） ドメイン駆動開発（DDD） ドメイン ドメインモデリング 技術的要素 ドメイン駆動開発の目的 ドメイン駆動開発を浸透させるための取り組み ドメイン駆動開発 勉強会 ドメインオブジェクト整理会 今後やっていきたいこと 続・DDD勉強会 現
OSS ライセンスの最近の潮流: PolyForm License について
まえがき開発中のソフトウェアのライセンスを策定するため、現時点でのベストプラクティスについて探っていたところ、ここ数年の OSS ライセンスの動向が面白かったので復習も兼ねてまとめました。 特に、Umbrel が採用したという PolyForm という新しいライセンス形態が面白かったので、これについて詳しく述べます。 なぜ今ライセンスについてまとめるのか私はソフトウェアやサービスをマネタイズする方法について興味があり、特にビットコインの応用について調べたりしています。 ビットコイン (Lightning Network) を HTTP で利用することで、Web API の課金方法の可能性は大きく広がることは間違いないのですが、これはあくまで単なる支払いの手法であって、広く使われる事を前提としたソフトウェアの開発を支える手法にすることは(それだけでは)難しいという問題があります。 ソフトウェ
Patterns in confusing explanations
August 19, 2021 Hello! Recently I’ve been thinking about why I explain things the way I do. The usual way I write is: Try to learn a topic Read a bunch of explanations that I find confusing Eventually understand the topic Write an explanation that makes sense to me, to help others So why do I find all these explanations so confusing? I decided to try and find out! I came up with a list of 13 patte
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【レビュー】 エントリーAVアンプでピュアオーディオ!? デノン山内氏が手掛けた「X1700H」
Extend your Dataflow template with UDF | Google Cloud Blog