Cloud RunとかGCPサーバレス製品のCDNはFastlyが最強かもしれない話-1/2
いやー高い技術を持ってそうだけどいまいち地味なのと料金表が表に出てないから敬遠してた謎のネットワークサービスFastlyを友人が転職してたので試してみました。そしたらいままでCloud Runで抱えてた悩みが解決してしかも値段も結構大丈夫そうだったので記事にまとめることにしました。 追記：Host Overrideについて書いた 俺たちは安くてhttpsで独自ドメインでCloud Runを使いたい そう、それだけなんですよ。それだけなのに苦労するのがCloud Runなんですよ。詳しくはこちらをお読みください。いままでは安くで済まそうとすると、プレビュー版のカスタムマッピングか、Cloudflareを前段にかますことが多かったのですが、それだと遅いのですよ。 Cloudflare Workersを組むとそこそこ速いのですが、キャッシュ含めちゃんと組むとなるちょっとコードの手間がかかるんです
キャッシュ可能な署名付きURLを考えてみる
この記事は2023年10月06日に開催された 「Cloudflare Meetup Nagoya 第3回」 で登壇した資料に基づいて作成されています。 登壇資料も併せてアップロードしていますので、そちらも併せてご覧ください。 今回のコンセプト 今回のコンセプトはタイトルにもある通り、 「キャッシュ可能な署名付きURL」 です。 昨今、画像はCDNを経由して配信されることが当たり前となりました。 ですが、たとえCDNを挟んでいたとしても画像配信は想像以上に金額がかかることは、AWSやGCPなどのストレージサービスを利用している人はご存知の通りでしょう。 そこで、Cloudflareのデータ転送料金は無料ということもあり、画像や動画コンテンツだけはCloudflareを使うケースが増えてきました。 例えば、実データはCloudflare以外のサービス（例えばS3）に配置し、CDNだけCloud
キャッシュアルゴリズムの比較 - falsandtruのメモ帳
アプリケーションなどOSより上に作られる高水準のプログラムではハードウェアの速度と容量を考慮しない数学的キャッシュアルゴリズムが使われ主にこれを本稿の対象とする。キー探索用マップと明示的キャッシュサイズ(対となる値が保持されているキーのサイズ)は計算量に含まれない。 LRU 最も単純かつ高性能な基礎的キャッシュアルゴリズム。そのため性能比較のベースラインとして常に使用される。逆に言えば実用最低水準の性能である。スキャン耐性皆無でスキャン一発でキャッシュとヒット率がリセットされゼロからやり直しになるため非常に脆く不確実な性能となりベンチマークにおける性能が表面上さほど悪くなく見えても実際の性能はこのような外乱により大きく低下しやすい。このためLRUより高度な主要アルゴリズムはすべて大なり小なりスキャン耐性を備えている。ちなみにプログラミング言語最大のパッケージマネージャであるJavaScri
再考: アプリ開発と状態遷移の管理 - ninjinkun's diary
自分が開発しているLaunchableのWebアプリがローンチされて1年半ほどになる。このWebアプリにはReduxのような状態管理ライブラリを入れないまま開発してきたのだが、今のところ困らずに開発できている。そういえば昔自分は状態管理について何か考えていたような…とブログを掘り起こしてみた。 ninjinkun.hatenablog.com このエントリは2016年にネイティブアプリを対象にして書かれているが、この後自分は2018年ごろにWebフロントエンドに軸足を移し、ネイティブアプリ開発から離れた。なのでこのエントリはWebフロントエンドエンジニアが2022年に再考した話になる。 結論としては、当時自分が管理したかった状態のほとんどは現在ApolloClientのキャッシュによって解決されている。 繰り返しになるが、自分が開発しているLaunchableのWebフロントエンドには状態
月間500万PV＆転送量80TBのサイトをたった4万円で維持する方法
月間ページビュー(PV)が500万PVあり、データ転送量も80TBあるという人気ウェブサイトを400ドル(約4万6000円)以下で維持する方法を、3Dのアセットライブラリを一般公開しているPoly Havenがまとめています。 How we handle 80TB and 5M page views a month for under $400 – Poly Haven Blog https://blog.polyhaven.com/how-we-handle-80tb-and-5m-page-views-a-month-for-under-400/ ウェブサイト運営のポイントの1つは「資金リソースをどう管理するか」です。資金があればAmazon S3のようなクラウドプラットフォームを利用するのが簡単ですが、データ転送量が月間80TBもあるPoly HavenのようなウェブサイトでAmaz
Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS | Amazon Web Services
AWS Database Blog Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS Caching enables the best user experience for real-time applications. You can build applications that provide sub-millisecond response times by storing the most frequently requested data in an in-memory cache like Redis. On August 30, 2021, we announced the support for migrating your data fr
CDNは5時間で開発できる | POSTD
「CDN」（content delivery network）という言葉からは、Googleのような大企業がいくつもの巨大なハードウェアを管理し、1秒当たり何百ギガビットものデータを処理する様子が想像されます。しかし、CDNは単なるWebアプリケーションです。私たちのイメージとは違いますが、それが事実です。8年前に買ったノートパソコンを使って、コーヒーショップの席に座りながらでも、きちんと機能するCDNを構築できます。この記事では、これから5時間でCDNを開発しようとするときに、直面するかもしれないことを紹介します。 まずはCDNの機能を明らかにしておきましょう。CDNはセントラルリポジトリ（通称：オリジン）からファイルを吸い上げ、ユーザーに近い場所でコピーを保存します。初期のオリジンはCDNのFTPサーバーでした。現在、オリジンは単なるWebアプリとなり、CDNはプロキシサーバーとして機
CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
Google、コンテナ作成の7つのベストプラクティスを公開
Googleは2018年7月10日（米国時間）、コンテナを効果的に作成するための7つのベストプラクティスを「Google Cloud Platform」の公式ブログで紹介した。概要は以下の通り。 （1）コンテナごとに1つのアプリケーションをパッケージングする コンテナは、内部で1つのアプリケーションが実行されるときに最も効果的に機能する。このアプリケーションは、親プロセスが1つでなければならない。例えば、同じコンテナでPHPとMySQLを実行してはならない。コンテナごとに1つのアプリケーションをパッケージングすれば、アプリケーションのライフサイクルに合わせてコンテナのライフサイクルを管理できる。 （2）PID 1とシグナル処理、ゾンビプロセスを適切に扱う KubernetesとDockerは、コンテナ内のアプリケーションを停止するために、Linuxシグナルを送信する。このシグナルは、プロセ
Cloud Build が kaniko のキャッシュでビルドが高速化！
GCP の Cloud Build で kaniko を使用することでビルドを高速化できるという記事が出ていたのでどのくらいキャッシュできるのかやってみた。 kaniko とはDockerデーモンを使用せずにコンテナイメージをビルドするGoogleのOSS。Dockerデーモンに依存しないことでroot権限なしでビルドできるようになる。 Introducing kaniko: Build container images in Kubernetes and Google Container Builder without… Building images from a standard Dockerfile typically relies upon interactive access to a Docker daemon, which requires…
光を超えるためのフロントエンドアーキテクチャ - Speaker Deck
HTML5 Conference 11/25
更新頻度の多いデータのキャッシュ : DSAS開発者の部屋
@methane です。 ISUCON 7 本戦で最大のスコアアップできたポイントが、 status と呼ばれる重い計算の結果となるJSONのキャッシュでした。 近年のISUCONによくある、「更新が成功したら以降のレスポンスにはその更新が反映される必要がある」（以降は「即時反映」と呼びます）タイプの問題だったのですが、今回のように更新頻度の高くかつ即時反映が求められるデータをキャッシュする方法について、より一般的に解説しておきたいと思います。 即時反映が不要な場合 まずは基本として、即時反映が不要な場合のキャッシュ方法からおさらいします。この場合、一番良く使われるのは参照時に計算した結果を Memcached などにキャッシュし、時間で expire する方法です。 このタイプのキャッシュには、参照元が分散している場合（Webサーバーが複数台あるなど）に Thundering Herd
Rails アプリでオンラインでカラムの削除やリネームを行うには - eagletmt's blog
前提知識 Rails アプリにおいて、テーブルの追加やカラムの追加は簡単なものの、カラムの削除やリネームは慎重に行う必要がある。たとえアプリからそのカラムを参照してないとしても、いきなりカラムを削除するとエラーになる可能性が大いにある。 というのも Rails にはスキーマキャッシュというものがあり、テーブルのカラム情報をモデルがキャッシュしているからだ。このキャッシュはたとえばいわゆる N+1 クエリ問題を避けるために includes (eager_load) するときに参照される。 SELECT 句で t0_r0 のような機械的に別名が振られるようなクエリを見たことがある Rails エンジニアは多いと思う。 機械的に全カラムを取得するためにスキーマキャッシュを利用しているため、このようなクエリが実行されてる中でカラムを削除したりリネームしたりすると、スキーマキャッシュをもとに並べら
質屋アプリ｢CASH｣が狙いを外した残念な理由
「目の前のアイテムが一瞬でキャッシュ（現金）に変わる」――。そんなキャッチコピーで一瞬にしてネットを席巻したスマホアプリが、ネットベンチャーのバンク（本社・東京都港区）が6月28日にサービスを開始した「CASH（キャッシュ）」です。 CASHは簡単に言えば、ブランドものの服やバッグなど個人が持っている値打ちのあるモノを担保として、一定条件の下に換金するサービス。換金の対象となっているブランドの品について、ジャンルや状態を選んでその写真を撮って送ると、即座に査定され、下限1000円～上限2万円が、銀行振り込みやコンビニで受け取れる仕組みです。 CASHの利用者は担保に入れたモノを2カ月以内に運営元へ送るか、15％の手数料を上乗せして返金するか、どちらかを選べます。モノを送る場合は事実上、買い取ってもらうことになります。 一気に7万個超、3.6億円が現金化されサービス停止に これが運営元である
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips
近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大きいので内部の 取得時間差はトータルで考えると多くの場合誤差です. 特に RDB の主キーのみで取得できるようなデータを Redis にキャッシュすることに メリットはありません. キャッシュするコードを書くコストの方が高くつきます. キャッシュするのは R
開発基盤チームが目指す事 #pixiv_night - Qiita
（当日はesaのプレゼンテーションモードで発表しました） （pixiv night in Fukuoka #02 - ピクシブを取り巻く技術がわかる一夜！ - connpass の発表資料です） 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い ピクシブ株式会社で開発基盤チームと広告チームの兼任 2014年度新卒（2013/10入社） pixivの技術的な改善が主な業務（後で詳しく） 単著『pixivエンジニアが教えるプログラミング入門（星海社新書） ピクシブ社内の非エンジニア向けのプログラミング研修の書籍化 pixiv社内ISUCONやISUCON6本選の問題作成 pixivのチーム分け pixivというサービスは巨大 www.pixiv.net/touch.pixiv.net/スマートフォン用APIなどなど 提供しているサービスも多い pixivという1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまさらキャッシュレス決済とか時代遅れ
200万ドメインを超えるレンタルサーバのコンテンツキャッシュ機能の裏側/2_million_more_than_the_domain_the_back_of_the_rental_server_content_cache - Speaker Deck
Webアプリケーションのキャッシュ戦略とそのパターン / Pattern and Strategy of Web Application Caching
