【Cloud Run】ElasticsearchをCloud Runで運用する
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
CRaCによるJavaの高速化 | 豆蔵デベロッパーサイト
これは、豆蔵デベロッパーサイトアドベントカレンダー2022第2日目の記事です。 先日、JavaのLambda関数の起動を高速化するLambda SnapStartがAWSから発表されましたが、このLambda SnapStartにはJavaのCRaC(Coordinated Restore at Checkpoint)が使われています。 CRaCは起動の高速化と即時にピーク性能を発揮させる技術です。CRaCが登場した背景にはJavaの起動の遅さがあります。この弱点を補う技術としてはGraalVMによるネイティイメージが有名ですが、CRaCはこの弱点を補うもう一つの高速化手段として今注目を集めている技術です。今回はこのCRaCの概要や仕組み、その試し方などを紹介します。 はじめにいっておきますが、CRaCスゴイです。ホントに爆速になりますヨ！ 最初にCRaCとはなにかですが、ごく簡単に説明す
Linuxコンテナの「次」としてのWebAssembly、の解説
はじめに WASMをブラウザの外で動かすトレンドに関して「Linuxコンテナの「次」としてのWebAssemblyの解説」というタイトルで動画を投稿したのですが、動画では話しきれなかった内容をこちらの記事で補完したいと思います。 2022年もWebAssembly(WASM)の話題が多く発表されましたが、そのひとつにDocker for DesktopのWASM対応があります。FastlyやCloudflareもエッジ環境でWASMを動かすソリューションを持っていますし、MSのAKS(Azure Kubernetes Service)でもWASMにpreview対応しています。WASM Buildersでも2023年のWASMの予想としてWASMのアプリケーションランタイム利用に関して言及されました。 WASMといえば元々ブラウザ上で高速にC++のコードなどを実行するところから始まっている
Knative Servingを用いて多数の開発環境APIを低コストで構築する - ZOZO TECH BLOG
はじめに こんにちは、技術本部ML・データ部MLOpsブロックの鹿山（@Ash_Kayamin）です。先日、20個の開発環境APIを用意し、各APIをリクエストに応じて動的に起動できる仕組みをKnative Servingを用いて構築しました。 この記事ではKnative Servingを利用した背景と、利用方法、はまりどころ、利用によって得られたコスト削減効果についてご紹介します。なお、今回はKubernetesクラスタのバージョンとの互換性の都合でKnativev1.3.1を利用しました。2022/9現在の最新バージョンはv1.7.1になりますのでご注意ください。 目次 はじめに 目次 課題：20個の異なる開発環境APIを低コストで提供したい 解決策：Knative Servingを用いて、リクエストに応じて動的にAPIサーバーを起動する仕組みを導入する Google Cloud上でA
LiteStream をサイドカー構成にしたデータベース永続化
はじめに LiteStream がアツいですね。LiteStream は SQLite データベースのレプリカを作るシステムです。これを使う事で、アプリケーションが更新した SQLite データベースを S3 ストレージに瞬時にバックアップする事ができます。 はい... LiteStream を使ったサイドカー構成 LiteStream を使い、コンテナの起動前にデータベースをリストアし、アプリケーションが起動した後にレプリカを行えば、コンテナは何時でもホストから消し去る事ができる様になります。 以下に、/data ボリュームにリストアを行い、アプリケーションの起動後にレプリカを開始する docker-compose.yaml を示します。 version: '2' services: restore-container: image: litestream/litestream cont
Sigstore によるコンテナイメージの Keyless Signing - Flatt Security Blog
This image includes the work that is distributed in the Apache License Version 2.0 こんにちは。株式会社Flatt SecurityでインターンをしているMarina (@marin_a___) です。本稿はソフトウェアサプライチェーン領域で注目を集める Sigstore プロジェクトについての記事です。 Sigstoreとは Cosign によるローカルの鍵ペアを用いた署名方法 公開鍵と秘密鍵のペアの作成 作成した鍵を用いたコンテナイメージの署名 公開鍵を用いた署名検証 小まとめ: 全体の流れ 鍵管理に関する課題 OpenID Connect を活用した署名（Keyless Signing） Keyless Signing の仕組み Keyless Signing の具体的な利用方法 方法1: 人力で認証を
EKSでdocker非推奨問題に対応しました - Tech Inside Drecom
こんにちは！enzaのインフラ周りの仕事をしているmendと申します！ 以前に k8s 1.20のDocker非推奨問題でEKSを使用しているプロジェクトが対応することとして、k8s 1.20からのdocker非推奨問題と対応案ついてまとめました。 今回の記事では先の記事でまとめた案の一つであるAWSで対応したAMIがリリースされましたので、実際にEKS 1.21にアップグレードするときに行ったことと、アップグレード時に気を付けるべきことをまとめたいと思います。 EKS 1.21の新機能 2021年 7月27日にAWSの公式からAmazon EKS が Kubernetes 1.21 のサポートを開始という発表がありました。 このEKS 1.21からコンテナランタイムにcontainerdを使用することが正式にサポートようになり、1.20からDockerのコンテナランタイムが非推奨になって
Dockerfileのベストプラクティス Top 20
本文の内容は、2021年3月9日にÁlvaro Iradierが投稿したブログ(https://sysdig.com/blog/dockerfile-best-practices/)を元に日本語に翻訳・再構成した内容となっております。 Dockerfileのベストプラクティスのクイックセットをイメージビルドに適用することで、セキュリティ問題を防ぎ、コンテナ化されたアプリケーションを最適化する方法を学びます。 コンテナ化されたアプリケーションやマイクロサービスに精通している人なら、自分のサービスがマイクロサービスであることに気づいているかもしれません。しかし、脆弱性の検出、セキュリティ問題の調査、デプロイ後の報告や修正など、管理のオーバーヘッドがマクロな問題になっています。 このオーバーヘッドの多くは、セキュリティをシフトレフトし、開発ワークフローの中で可能な限り早く潜在的な問題に取り組むこ
Docker DesktopからRancher Desktopに乗り換えてみた - knqyf263's blog
この記事はPRを含みます。 概要 背景 移行 Docker Desktopのアンインストール Rancher Desktopのインストール Kubernetesクラスタの無効化 宣伝 まとめ 概要 Rancher Desktopがcontainerdに加えdockerにも対応したのでDocker Desktopから乗り換えてみました。簡単な用途だとdockerコマンドがそのまま使えるので特に困っていません。 背景 2021年9月にDocker Desktopが有料化されました。移行期間として2022年1月31まで引き続き無料で利用できましたが、それもついに終了しました。 www.docker.com ただし、個人利用もしくはスモールビジネス（従業員数250人未満かつ年間売上高1000万ドル未満）、教育機関、非商用のオープンソースプロジェクトでは引き続き無料で利用できるという条件でした。no
Go製アプリケーションのコンテナ化にはkoを推したい - YAMAGUCHI::weblog
はじめに こんにちは、Google Cloudでオブザーバビリティを担当しているものです。Cloud Operations suiteをよろしくおねがいします。（宣伝終わり） この記事はGo Advent Calendar 2021 その1の22日目の記事です。昨日は @sago35tk さんの「ESP32 向けに TinyGo をセットアップする」でした。TinyGoのコアな情報を日本語で教えてくれるtakasagoさんには本当にいつも感謝しています。 さて、今日はGo製のアプリケーションをdockerlessでコンテナ化できるkoの紹介をします。koは本当にイチオシのツールで、みんなに使ってもらいたいのでぜひ使ってください。 github.com DockerによるGo製アプリのコンテナ化 まず最もポピュラーと思われるDockerを用いた場合のGo製アプリケーションのコンテナ化の方法に
高速なアプリケーション起動と自動スケーリングのための GKE イメージ ストリーミングの導入 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 11 月 4 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Kubernetes Engine（GKE）の新機能であるイメージ ストリーミングが一般提供されることを発表いたします。この革新的な GKE 機能には、アプリケーション スケールアップ時間を劇的に改善させる可能性があり、これを利用するとユーザーからの要求の増加に対してより迅速に応答し、予備容量のプロビジョニングを減らして費用を削減できます。これを可能にするのは、コンテナのイメージ pull 時間を数分（大きなイメージの場合）から（コンテナサイズを問わず）わずか 2～3 秒に削減する能力です。こうしてアプリケーションは直ちに起動でき、その間、GKE がコンテナデータを並行してストリーミングします。 アプリケーションをスケールアップする際、従来の Kubern
ECS Anywhere を Azure と Google Cloud (GCP) を使って動かしてみた | DevelopersIO
「ECS Anywhere」と言うだけあって、AzureでもGoogle Cloud (GCP)でも動くんです。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 Amazon ECS (Elastic Container Service) のワークロードをAWSの外で実行することができる「ECS Anywhere」がリリースされたということで、前回のブログでは「M1 Mac」の仮想マシン (Parallels) を使って試してみました。 このように、デスクトップ仮想環境を使うと「ECS Anywhere」を手軽に試すことができることが分かりました。 しかし、もう少しクラウドっぽいことをしたいなぁ～ということで、禁断(？)の「Microsoft Azure」および「Google Cloud (いわゆるGCP、以下 分かり易さのためGCPと表記します)」で動かすことができるか
Introduction to Cloud Run 2021
https://gdg-tokyo.connpass.com/event/201523/
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
Hashicorp の新しいCD ツール "Waypoint" を試してみる - y-ohgi's blog
TL;DR hashicorp がリリースしたCD ツールの hashicorp/waypoint を試してみる記事 サーバーを立ち上げてデプロイx2をしてみた（感動的に楽） 個人的にECS を運用するときはまっさきに検討したいツール version waypoint v0.1.3 試す 公式のGet Started を参考にためしてみる。 https://learn.hashicorp.com/collections/waypoint/get-started-docker Install 各種OS に対応している。とりあえず今回はMacを選択。 https://learn.hashicorp.com/tutorials/waypoint/get-started-install?in=waypoint/get-started-docker brew からサクッと入る $ brew tap
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2022年コンテナ/Kubernetes向けストレージ技術の最新動向
今どきのLinux事情
WSL2、Docker、VSCodeで劇的に改善されるWindows開発環境/wslvscodedocker-techlab
WSL2、Docker、VSCodeで劇的に改善されるWindows開発環境
ECS×Fargateで実現する運用コストほぼ0なコンテナ運用の仕組み/ ecs fargate low cost operation
