円安を乗り越えるための Arm アーキテクチャへの移行が完了！ そのプロセスを公開します - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは、クラウドインフラストラクチャに AWS を採用していますが、昨今の円安を受けて円換算での請求額は右肩上がりで増え続けています。サービスの規模や特性に関わらず、パブリッククラウドを利用する多くの日本企業で頭痛の種になっているのではないでしょうか。 円安になる前から継続的にコスト最適化には取り組んできましたが、クイックウィンで実施できるものはやり尽くしており手詰まり感がありました。しかし、我々スタートアップにおいて適正なコストに抑えることはランウェイ（キャッシュ不足に陥るまでの残存期間）を伸ばす意味でも重要なため、現状に甘んじることなく次の最適化ポイントを探していました。 Arm アーキテクチャ移行によるコスト最適化への期待値 AWS は Arm ベースの Graviton プロセッサを開発しており、
Dockerは公式にDockerfileのベストプラクティスを表明しています。 が、このベストプラクティスに沿っているかどうか？を人間がいちいちレビューしていくのは正直しんどい、というか現実的ではない… そこで「せや！静的解析したろ！」という時に便利なのがhadolintというライブラリです。 使ってみる 今回はVSCode拡張機能とGHAのCI時に静的解析してもらいたいと思います。 今回はちょうどメンテナンスしていない自分のリポジトリがあるので、これに対して静的解析をかけていきます。 まずはVSCode拡張機能で利用するための下準備として、hadolint本体をOSにインストールします。 Macの場合はこちら。 docker/php/Dockerfile:8 DL3008 warning: Pin versions in apt get install. Instead of `apt-
AWSエンジニアに必要な知識
はじめに 私は2024年1月からAWS設計構築のプロジェクトに入り、現在設計を進めている真っ只中なのですが、プロジェクトにアサインされてからの気づきについて書き留めてきたいと思いましたので本記事を執筆いたします。 まず、結論ファーストでお話させていただきますが、タイトルの「AWSエンジニアにとって必要な知識」についてはIT全般の知識を7割程度把握 しておくのが自分的ベストプラクティスかと思います。 ある知識に特化しているよりも、全体的に網羅されている方がことAWSにとっては必要な要素ではないかと考えています。 なぜなら、設計において任されるタスクは自分の得意としていない分野においても任されるからです。 ではその全体の知識って具体的にどんなことを知っておいたら良いの？について紹介していきます。 Linuxの知識 言わずもがな、Linuxの知識は必須になってきます。 前提として設計段階でEC2
Railsのマイクロサービスアーキテクチャで構成されたアプリをモノレポ構成に移行した話 - Sansan Tech Blog
こんにちは。技術本部Sansan Engineering Unit Master Data Groupの古本です。 普段は、営業DXサービス「Sansan」の名刺交換した人や企業に関するニュースを表示し、お知らせする「企業ニュース」や「企業情報」を扱うシステムの開発をしています。 最近、マイクロサービスで作られた企業ニュースのシステムをモノレポ構成に移行しました。 今回はその時に行ったことについて話します。 モノレポ（mono repo）とは 本ブログで類似の記事があったので引用します。 一連のソースコードを単一のリポジトリで管理している状態のことです。 特に、実装言語、またはサブシステムやドメインといった何らかの区切りでリポジトリを分けている場合に、それらを集約することをモノレポ化と言います。 マイクロサービスアーキテクチャのリポジトリ構成を漸進的にモノレポに移行した話 今回も複数レポジ
2024年10月10日紙版発売 清水智公 著 B5変形判／256ページ 定価3,300円（本体3,000円＋税10%） ISBN 978-4-297-14413-5 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Amazon Kindle honto この本の概要 Webブラウザー上でプログラムを高速に実行するための技術として開発されたWebAssembly（Wasm）ですが，近年では「特定のプログラミング言語・アーキテクチャに依存しない」「プログラムをサンドボックス内で安全に実行できる」という強みに注目が集まっています。さらに，新たに導入される予定の「コンポーネントモデル」によって，大規模なプロジェクトでもWebAssemblyを利用しやすくなる環境が整いつつあります。本書では，プログラミング言語としてRustを採用し，以下の3つの観
AWS ECS で実現するBlue/Green Deployment：運用を見据えたCDK実装例 - Techtouch Developers Blog
始めに 対象者 作成するアプリケーション構成 運用を見据えた構成とは 構成概要 各スタックの説明 ① SampleInfrastructureStack ② SampleContainerRepositoryStack ③ SampleTaskDefinitionStack ④ SampleServiceStack ⑤ SampleServicePreferenceStack ⑥ SamplePipelineStack 動作確認 正常にデプロイが完了する場合のCodeDeployの挙動 ロールバックが発生する場合のCodeDeployの動作 終わりに 始めに バックエンドの com です。 テックタッチでは Blue Green Deployment 構成の ECS クラスタを、AWS CDK によるコードで管理しながら本番運用で使っています。 ECS Blue Green Deploym
広告事業本部でリードデータエンジニアを行なっている大窄 直樹 (おおさこ)です. 前回は, AWSでのログ設計/実装に焦点を当てたブログを書きました. 今回は, AWSでのセキュリティ運用/実装に関する内容をお届けしようと思います! セキュリティ運用は難しいですよね. 日々新たな脆弱性が次々と発見されており, 脆弱性自体に気づくのも一苦労です. それに加えて, 対応してもお金を生み出すわけではないため, 過剰な対応をするわけにもいかず, 悩ましいところです（笑） 概要 このブログでは, セキュリティの考え方, 及びAWSでDevSecOpsを行う一手法を紹介します. 利用するサービスは以下のとおりです. Security Hub Amazon Inspector Snyk これらのサービスを使うことで, 開発, セキュリティ, 運用を密接に結びつけ, 効率的なセキュリティ運用を試みます.
Dockerコンテナとして本番実行しているRailsをjemallocで高速化&省メモリ化した話 - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部 Webアプリケーション開発課のフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用とAWSによるサービスインフラの設計構築を中心とした、いわゆるバックエンド方面のテックリードとしてニコニコ漫画を開発しています。 本記事では、私たちが開発・運用しているRails製のjson APIバックエンドにおいて、mallocの実装としてjemallocを使うように変更したことについてお話します。 背景 私たちが2020年4月から開発しているニコニコ漫画のRails製json APIバックエンド(以降「新バックエンド」と呼びます)は、2010年8月のサービス開始以来サービスを支え続けているPHP製アプリケーションのビジネスロジックに関する式年遷宮的移行先であり、当初よりAWS ECS Fargate上で実行しています。*1 今年8月にリリー
GoでKubernetesクラスター上にモックリソースをサクッと構築するOSSを開発しました - ZOZO TECH BLOG
はじめに こんにちは。株式会社ZOZOのSRE部プラットフォームSREチームに所属しているはっちーと申します。 本記事では、Kubernetesクラスター上にモックリソースをサクッと構築する「モック構築ツール」を紹介します。ZOZOの事例をもとにした説明となりますが、Kubernetesクラスター上での負荷試験やフロントエンド開発などの効率化において広く一般的に活用できるツールのため、OSSとして公開しています。GitHubリポジトリは以下です。 github.com 本ツールは、私個人のOSSとして管理しています。ZOZOでは、社員がOSS活動しやすいように、「業務時間中に指示があって書いたソフトウェアでも著作権譲渡の許諾によって個人のものにできる」というOSSポリシーがあります。ありがたいです。 techblog.zozo.com 目次 はじめに 目次 モック構築ツールとは 開発のきっ
AWS Lambda（Python）でAmazon Bedrockの出力をレスポンスストリーミング対応してみた - Taste of Tech Topics
こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda（Python）でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは？ 1.2 Lambda Web Adapterとは？ 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャットを試してみる 4. まとめ 1. 概要 1.1 レスポンスストリーミングとは？ レスポンスストリーミングとは、HTTPリクエストに対してサーバーがレスポンスを一度にまとめて送るのではなく、データを
はじめに こんにちは、GMOソリューションパートナーのTKです。 当社には、AWSの学習用のアカウントがあります。 今回はそれを活用して、ローカルのdocker環境上で動かしていたSeleniumを ECSのFargateで動作させてみることにしました。 構成 root ├ python │ └ Dockerfile │ └ requirements.txt │ └ script.py ├ selenium │ └ Dockerfile └ docker-compose.yml コード pythonディレクトリ配下 FROM python:3.12 ENV TZ Asia/Tokyo RUN apt-get update && \ apt-get install -y sudo vim && \ apt-get clean COPY ./ /app RUN pip install -r /
開催されたばかりのRailsWorld 2024で発表されたKamal 2を使って、さくらのVPSにRailsアプリをデプロイしましたので報告します。 Linuxのサーバデプロイの知識がある程度あることを前提に、私が引っかかったポイントを中心に説明します。入門的な内容は、いつか別途書きたいと思います。 TL;DR Kamalを使うと さくらのVPSなどに、Railsアプリを簡単にデプロイできます VPS、ドメイン、Dockerイメージレポジトリは事前に用意が必要です SSLもLet's Encyryptから自動的に取得され、追加の設定が不要です 多数のアプリをひとつのVPSに同時に載せることができますので、ポートフォリオや個人開発には最適です Railsに限らず、Docker化できるアプリならなんでもいける 自分の感触だと、AWSよりマジでずっと簡単 (例えばこの例など) 前提とする知識
Deploying modern web apps – with all the provisions needed to be fast and secure while easily updateable – has become so hard that many developers don’t dare do it without a PaaS (platform-as-a-service). But that’s ridiculous. Nobody should have to pay orders of magnitude more for basic computing just to make deployment friendly and usable. That’s a job for open source, and Rails is ready to solve
GitHub Actions で Amazon Inspector を利用した脆弱性スキャンを行う - 電通総研 テックブログ
こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 2024/6に Amazon Inspector が GitHub Actions でのコンテナイメージスキャンをサポートしたとのアナウンスがありました。コンテナイメージの脆弱性スキャンに既にTrivyを利用している方も多いと思いますが、別の選択肢として Inspector によるスキャンを試してみました。 また、実はコンテナイメージのスキャンだけではなく、言語パッケージのバージョンファイルやDockerfileを静的解析することも可能のため、それもやってみました。 仕組み アクションを紐解く リポジトリ内のファイルをスキャンする場合 試してみた サマリページの結果 CSV形式の検出結果 JSON形式の検出結果 Markdown形式の検出結果 脆弱性が検出されなかった場合 コンテナイメージをスキャンする場合 サマリページの
Ruby on Rails アプリケーションである Redmine の Wasm 化を試しました。 基本機能は動作しましたが、ディスクアクセスが必要な機能（例: 添付ファイルのアップロード）は動作しませんでした。 Mastodon in the browser demo を参考に、Redmine を Wasm 化する手順を解説します。 前田 稔です。プログラミング言語Rubyの国際会議 RubyKaigi 2024 のセッション「RubyGems on ruby.wasm」で紹介された Mastodon in the browser demo を拝見し、 Redmine も同様にブラウザ内で動作させられるのではないかと考えました。本記事では、その検証結果と Wasm 化の手順についてまとめています。 期待と検証結果 Mastodon は Ruby on Rails で開発されたアプリケーシ
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回は37signalsが公開しているThrusterを、メドピアで本番運用をしているアプリケーションのkakariに導入してみました。 kakari.medpeer.jp Thrusterとは Thrusterはアセット配信やX-Sendfileのサポートといった機能を持ったGo言語製のHTTP/2プロキシです。 詳細な設定不要でRails標準のPumaサーバーと組み合わせて動作して、nginxを構成に加えた時と同様のリクエスト処理を行うことが可能です。 github.com www.publickey1.jp 導入前の状況 導入以前のkakariは以下のような構成を取っていました。 アセット配信の為にALBの背後にnginxを置いています。 今回は管理コストを下げる為に、nginxを剥がしてThrusterからアセット配信
I wrote about how much I love fish in this blog post from 2017 and, 7 years of using it every day later, I’ve found even more reasons to love it. So I thought I’d write a new post with both the old reasons I loved it and some reasons. This came up today because I was trying to figure out why my terminal doesn’t break anymore when I cat a binary to my terminal, the answer was “fish fixes the termin
Our container platform is in production. It has GPUs. Here’s an early look
Our container platform is in production. It has GPUs. Here’s an early look2024-09-27 We’ve been working on something new — a platform for running containers across Cloudflare’s network. We already use it in production for Workers AI, Workers Builds, Remote Browsing Isolation, and the Browser Rendering API. Today, we want to share an early look at how it’s built, why we built it, and how we use it
1. はじめに Next.js(App Router)をCloud Runにデプロイしようとしたのですが、Next.jsのビルド時に環境変数を設定するのに苦労したので備忘録です。 実はVercelを使えば即効で終わるのですが、それでもCloud Runを使いたい人向けの記事です。 2. 前提 Next.jsの環境変数はCloud Runに設定済みとします Cloud RunにNext.jsをビルドしようとする際はCloud Buildが走りnext buildを行います Cloud Runに環境変数を設定してもCloud Buildは環境変数を知らないので正常にビルドできません Next.jsが正常にビルドできるようにするには.envファイルなどで環境変数を教えてあげる必要があります Dockerfileやcloudbuild.yaml(つまりコード内)に機密情報をハードコーディングするこ
Auth0 Marketplace Discover and enable the integrations you need to solve identity Explore Auth0 Marketplace This isn’t another AI-generated blog post about generic security practices. It contains detailed instructions on protecting Node.js applications from supply-chain attacks and describes best practices for security in any programming language. According to the GitHub report, The state of open
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hadolintを使ってDockerfileをベストプラクティスに沿った状態に保つ
Rustで学ぶWebAssembly――入門からコンポーネントモデルによる開発まで
AWSでのDevSecOps~セキュリティ運用/実装~ - Adwaysエンジニアブログ
ECS FargateでSeleniumを実行する
Kamal 2で さくらのVPS にRailsアプリをデプロイ
Rails 8.0 Beta 1: No PaaS Required
ruby/ruby.wasm を使って Redmine をブラウザ内で動かす話
RailsアプリケーションにThrusterを導入する - メドピア開発者ブログ
Reasons I still love the fish shell
Next.jsをCloud Runにデプロイする際にビルド時の環境変数を設定する
Secure Node.js Applications from Supply Chain Attacks