Docker のキャッシュを全力で使いこなそう
tl;dr 依存パッケージのダウンロードは最初に実行しよう マルチステージビルドは必須と覚えておこう RUN --mount=type=cache を使おう（でも BuildKit を使えるかは確認して！） pnpm fetch も期待大 はじめに みなさん，Docker を使って開発するときに依存パッケージのダウンロードをずっと待ち続けた経験はありませんか？「依存パッケージの追加なんて頻繁に発生しないし，我慢しよう…」と妥協している方も多いでしょう． 頻繁に発生しない？本当にそうですか？ 追加ではなくても依存パッケージの更新なんてよく発生するし，ベースイメージを更新することもあります．その度に全部ダウンロードし直しなんて堪ったもんじゃありません．モバイル回線だったら一瞬でギガがなくなっちゃいますよ！ ということで，この記事ではキャッシュを活用して依存パッケージのダウンロードが何度も発生し
ソフトウェア向けにキャッシュを提供してくれるSaaSの「momento」を試してみた | DevelopersIO
momentoというキャッシュ機能を提供してくれるSaaSをトライアルさせて頂く機会があったので使い方や使用感をまとめます。 はじめに おはようございます、加藤です。 momentoというキャッシュ機能を提供してくれるSaaSをトライアルさせて頂く機会があったので使い方や使用感をまとめてみます。 momentoについて 前述のとおり、momentoはキャッシュ機能を提供してくれるSaaSで下記の言語をサポートしています。 .NET: https://github.com/momentohq/client-sdk-examples/tree/main/dotnet Go（Experimental）: https://github.com/momentohq/client-sdk-examples/tree/main/golang Java: https://github.com/moment
Momentoでファイルをキャッシングしてみる | DevelopersIO
Momentoはサーバーレスキャッシングサービスです。 プロビジョニング、スケーリングなどの管理を気にせずすぐにキャッシュを利用できるサービスで、超高速のパフォーマンスを提供してくれるとのことです。 サーバーレスフレンドリーなキャッシュとも謳っており、サーバーレスなテクノロジーを採用しているアプリケーションと相性が良さげです。 現在、いろんな実験の場と称して作成しているサーバーレスアプリケーションのファイルアップロードフォームの流れが、 ファイル以外の情報(名前、タグ等)をAPIに送信して登録(APIGateway + Lambda) S3のpre-signed-urlを取得 ファイルを２で取得したURLにアップロード というものになっていました。なぜこうなったのかは覚えてはいません。 ファイル自体はS3に一旦格納されて、それをトリガーにファイルの情報を取得してDBに登録したり、字幕を作っ
Dockerに関するキャッシュたち
はじめに Dockerを用いた開発では、適切にキャッシュを用いることで高速にビルド・開発できます。そのための知見は様々な記事で共有されており、ありがたい限りです。 しかし、「Dockerのキャッシュ」と言っても開発時とCI・CDでは行うことが違います。 この記事ではDockerを用いた開発における、各段階のキャッシュ機能を確認したいと思います。 主に「Dockerのキャッシュ」というと以下の4つに分類できると思いますので、それぞれについて解説していきます。 Dockerのレイヤーキャッシュを活かす a. COPY・ADDの順番 b. dockerignoreの設定 c. マルチステージビルド buildkitによるキャッシュ a. --mount=type=cache CI・CDにおいてのキャッシュ a. 前回のビルドキャッシュを持ち越して使う リモートキャッシュ a. 開発者が初めてビル
ZOZOTOWN検索マイクロサービスにおけるキャッシュの導入とその効果 - ZOZO TECH BLOG
はじめに こんにちは。検索基盤部 検索基盤チームの佐藤（@satto_sann）です。検索基盤チームでは、 ZOZOTOWNの検索周りのシステム開発に日々取り組んでいます。 本記事では、ZOZOTOWNの検索マイクロサービスにおけるキャッシュ導入で得られた知見や工夫点について紹介します。検索に限らずマイクロサービスへキャッシュの導入を検討されている方の参考になれば幸いです。 目次 はじめに 目次 キャッシュの導入背景 負荷とレイテンシの悪化 ABテストの仕組みをマイクロサービスへ移設する上での問題 キャッシュ導入の検証 Cache Stampede Cache Stampedeの対策 2重キャッシュ 分散していたキャッシュの統合 キャッシュの有効期限 定められたタイミングでの情報反映 キャッシュ導入後の構成 キャッシュ制御の設計 【A案】アプリケーション層とドメイン層の間 【B案】ドメイン
GitHub Actionsでactions/setup-nodeだけでnode_modulesをキャッシュできるのか試してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 GitHub Actionsでは、CI/CDでよく使われる処理がActionsとして公開されており、Workflow内で自由に使うことができます。 GitHub Marketplace · Actions to improve your workflow 今回は、actions/setup-nodeを使用してWorkflowの実行時にnode_modulesをキャッシュできるのか試してみました。 actions/setup-nodeとは actions/setup-nodeを使用すると、指定したバージョンのNode.js distributionのダウンロードおよびキャッシュをしたり、npm/yarn/pnpm dependencyをキャッシュしたりすることができるようです。 actions/setup-node: Set up your
Zenlogic よくある質問（FAQ）
WEBページの表示速度を速くしたい。FAQ番号FAQ01711最終更新日2021/09/27 18:29:36 WEBコンテンツを圧縮して転送するキャッシュ機能を利用する WEBコンテンツを圧縮して転送する Apacheモジュールの「mod_deflate」を利用する事で、ブラウザからリクエトされたWEBコンテンツをサーバー側で圧縮し転送する事が可能です。 リクエスト毎の転送量を減らす事で速度改善が図れます。 ＜利用方法＞ 以下の記述した「.htaccess」をサーバーへアップロードする。 #-----ここから-----# <IfModule mod_deflate.c> SetOutputFilter DEFLATE BrowserMatch ^Mozilla/4 gzip-only-text/html BrowserMatch ^Mozilla/4\.0[678] no-gzip Br
GitHub Actions でキャッシュを利用して Docker イメージを高速にビルドする方法
今や本番環境に Docker を利用することは当然であり、それに伴い CI/CD パイプラインの中で Docker イメージをビルドするという機会も増えてきたのではないでしょうか🧐 皆さんご存知の通り、 Docker イメージはレイヤー構造になっており、レイヤー単位でキャッシュが行なわれる仕組みとなっております。 変更の無いレイヤーの場合は、以前のキャッシュが利用されることによってイメージのビルドが高速になるわけですが、 GitHub Actions などの CI/CD 環境では VM 上でワークフローが走るためそのままではキャッシュを利用することはできません。 全く変更の無いイメージであったとしてもキャッシュが利用されることはなく、最初から全てビルドされていきます😭 これは継続的デリバリーの観点から問題であり、迅速な開発サイクルに影響を与えてしまいます。。。 そこで今回は皆大好き G
GitHub ActionsでDockerイメージをキャッシュする | DevelopersIO
吉川@広島です。 案件で、「S3やDynamoDBを含む自動テストをCIで回す」を実現するために「GitHub Actions上でLocalStackのDockerコンテナを起動してテストを実行する」という方法を採りました。 localstack/localstack: ? A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline! ただ、実際に構築したGitHub Actions workflowの実行を見ていると、 LocalStackをGitHub Actions上で動かしてテストする | DevelopersIO 上記のコードはプルリクエストへのコード修正時に毎回Docker Hubからイメージを取得しているため、時間がかかるのとDocker Hub
【新機能】Amazon CloudFrontに「Maximum TTL / Default TTL」が設定できるようになりました！ | DevelopersIO
こんにちは、せーのです。今日はまさにAWSらしい、痒い所に手が届くアップデートをご紹介します。 CloudFrontのTTL CloudFrontはそんなに頻繁に更新しないような画像、JS、CSSファイル等のキャッシュに使うのであれば特段の設定なく絶大な威力を発揮しますが、威力が絶大故になかなか思い通りに動いてくれない、というお話もよく聞きます。その内の一つが「キャッシュTTL」に関する設定です。まずはこの記事を御覧ください。 CloudFrontのキャッシュ時間(TTL)はどの程度なのか 例えばS3の画像をCloudFrontで配信する場合、24時間がデフォルトでキャッシュされます。何も設定を加えなければ画像を差し替えようが削除しようが24時間は同じ画像が表示され続けます。これを15分くらいのキャッシュでどんどん更新していきたい、という場合は各画像オブジェクトに対してmeta-dataで
CDNのオリジンにGCSを使う際に注意したいポイント | GREE Engineering
こんにちは、いわなちゃんさん(@xcir)です。 Webサイトには様々なリソースが存在し、それらをS3やGCSなどのオブジェクトストレージに格納することはよくあります。 しかし、多くのサイトではオブジェクトストレージを直接使うことはあまりなく（そもそもお勧めできませんが）通常はCDNを被せて利用します。 オブジェクトストレージを提供するプラットフォームはCDNも提供しています。 例えばAWSであればCloudFrontがありますしGCPであればCloudCDNがあり、それらを組み合わせで使う場合も多いでしょう。 ところが機能、コストなど様々な理由でAkamaiやFastlyなどの外部CDNを使うことがあります。 オブジェクトストレージなので単純にファイル置き場として考えればそこまで気にするポイントはないのかもしれません。 ところが、GCSについては組み込みキャッシュ(Built-in ca
エッジで爆速コード実行！CloudFront Functionsがリリースされました！ | DevelopersIO
珍しく早起きをしてRSSを眺めてるとアッツアッツなアップデートが来ていました。 Amazon CloudFront announces CloudFront Functions, a lightweight edge compute capability 今回はCloudFront Functionsをご紹介していきます。 CloudFront Functionsとは？ CloudFront Functions(CF2)はLambda@Edgeより手前で、シンプルな処理をより高速に、素早く、安価に実行できるサービスです。 CloudFront Functionsを使うことでこれまでLambda@Edgeで実行していたシンプルな処理をよりユーザーに近いEdge Locationで実行しつつ、高速に処理を行う事ができます。 また、CloudFront FunctionsとLambda@Edge
ウノウラボ Unoh Labs: mod_expires と mod_rewrite を使ってウェブサーバへのアクセスを減らす方法
最近、雨の日が続いて自転車通勤ができていない naoya です。 今日は、先週ぐらいからフォト蔵に導入した Apache で mod_expires と mod_rewrite を使ったウェブサーバへのアクセスを減らす方法を紹介します。 通常のウェブサーバは、更新されていないリリースに対してアクセスすると、ステータスコード 304 とIf-Modified-Since ヘッダをつけて応答データを返しますが、CSS や JavaScript など比較的更新頻度の少ないファイルに対して、毎回応答を返すのはウェブサーバから見ると無駄なアクセスです。 Apache の mod_expires と mod_rewrite を使うと、この無駄なアクセスをブラウザキャッシュを有効活用にすることにより、静的なファイルに対するアクセスを減らすことができます。 まず、仕組みから説明すると、とても単純で mod
旧・Macの手書き説明書 - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ https://mac-tegaki.comへ移転中 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
Google ChromeのキャッシュをRAMディスクに入れて高速化·ChromeOSXRamDisk MOONGIFT
ChromeOSXRamDiskはGoogle Chromeのキャッシュを入れるRAMディスクを自動生成するスクリプトです。 Google ChromeはJavaScriptエンジンの高速性、WebKitベースのレンダリングなどの特徴をもったWebブラウザです。標準のまま使っても高速ですが、さらなる高速化を目指すべくキャッシュをRAMディスクに保存してみましょう。それを自動化するのがChromeOSXRamDiskです。 起動しました。処理は自動的に行われます。 マウントされたRAMディスクにGoogleというフォルダが作られています。 キャッシュファイルがたくさん入っています。 ChromeOSXRamDiskは起動時に自動的にRAMディスクを作成してくれます。最近はメモリも十分大きくなってきていますので、余っていると感じるならRAMディスクに割り当てても良いかもしれません。 Chrom
JS/CSSを自動バージョン管理してキャッシュ効率を高める·gather-css-js MOONGIFT
gather-css-jsはJavaScriptやスタイルシートをまとめた上でキャッシュさせるライブラリです。 Webサーバの負荷を下げるためにキャッシュを使うのは効果的です。しかしあまり長い間キャッシュを使うようにすると実ファイルを更新してもいつまでもキャッシュを使うようになってしまいます。そこで使ってみたいのがgather-css-jsです。 デモです。最初の表示では全て同じ値（v=の後）です。 CSSを更新しました。vの値が更新されています。これでキャッシュが更新されます。 使い方です。PHPを使ってファイルを読み込み、結果として更新日時のタイムスタンプが返ってきます。 gather-css-jsが行っているのはRailsがサポートしているキャッシュ方式に近いものです。vに更新日時を入れることでファイルが更新されればパラメータの値が変わってキャッシュがリフレッシュされます。また複数の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
W3 Total Cache（W3 トータル・キャッシュ）のベストな設定方法
aws-cf-templates/wordpress/wordpress-ha.yaml at master · widdix/aws-cf-templates
How to Flush DNS Cache in MacOS Catalina & Big Sur
[mA] mod_rewriteで画像のキャッシュの仕掛けを作る