「2020年代のコンテナ時代のPythonアーキテクチャ&デプロイ」というテーマでPyCon.jp 2020で発表してきました | フューチャー技術ブログ
「2020年代のコンテナ時代のPythonアーキテクチャ&デプロイ」というテーマでPyCon.jp 2020で発表してきました 初のオンライン＆Python 2サポートが終了したあとのPyCon.jpという節目のイベントで発表してきました。 発表資料はこちらになります。 日英表記にした関係で表現をだいぶシンプルに削ることになったりしたので、口頭での説明のみ行ったこととか、その後のTwitterの感想を見て思ったことなどを軽く補足します。 コンテナの時代コンテナのカバレッジが広がっている事例としてはDensoのMisakiとか戦闘機にKubernetesを載せてみました、とかもあります。 https://www.publickey1.jp/blog/20/kubernetesmisaki.html https://www.publickey1.jp/blog/20/kubernetesf-1
Dockerコンテナの中でAutoGPTを動かしてみた
いま「自律駆動AI」として話題のAuto-GPT。自分のPCをコマンドラインツールとしてAIに使わせて思考させるという発想には興味がわきつつちょっとした怖さも憶えます。 Auto-GPTがどんな仕組みになっているかはこちらの記事で紹介しています。 自分のPCで直接動かすのは怖いので、Dockerコンテナ内で動かしてみました。公式のソースコードのままだと自分の環境では動かなくて、いくつか調整を加えてようやく動かせたというところなので、その手順をまとめておきます。 （Auto-GPTリポジトリは現在盛んに開発が進んでいて、この記事で取り上げた内容はすぐ古くなる可能性が高いです） 筆者の環境 Windows11 Home WSL2 Docker Desktop v4.18.0 WSL2とDocker Desktopの導入についてはこちらの記事が参考になるかなと思います。 （Windows11 P
Docker+WordPressでXdebugを使う手順 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは。小林です。 単刀直入に言いますと、この記事を読むと「Docker+WordPress」の環境でXdebugを使えるようになります。早速ですが説明していきます。 はじめに まず私の開発環境の紹介です。 （マシンは6年前にフルスペックだった）MacbookPro （IDEがないと何もできないので個人的に最強のIDEだと思っている）PhpStorm （いろんな開発を並行するのでとっかえひっかえしやすい）Docker と、こんな環境で普段開発をしているのですが、久しぶりに大規模なWordPress案件に携わることになりました。 その案件では、馴染みのないプラグインを多数入れたり、そもそも最新のWordPressの機能を把握できていなかったりと、いくらPhpStormを利用しているといえども、それぞれの機能を追うのがなかなか難しい状況でした。 そこで、久しぶりにXdebugを頼ることを決
円安に負けない！共通バックエンドAPIサーバーARM対応プロジェクト - Uzabase for Engineers
こんにちは。ソーシャル経済メディア「NewsPicks」のSREチームの飯野です。 SREでは2023年から円安に負けないコスト削減を継続して行なっていますが、最近は圧倒的な円安におされ気味です。 2024年1月-6月の間に141→161円の変動はちょっと厳しすぎますよね。 今回は2024年1月から3月にかけて行なったNewsPicksの共通バックエンドAPIサーバーのARM対応プロジェクトについて話したいと思います。 ARM対応はコスト削減を目的とした施策です。適用範囲の見誤りがあり、当初の想定ほど大きなコスト削減は実現できませんでしたが、活発に変更が行われるプロダクトに段階的に変更を加えてリリースすることができました。 ARM対応をするにあたり、何を考えてどの順番で着手したかという情報は、今後ARM対応を行う開発者に参考になりそうなので紹介します。 ARM対応計画 ARMのコンテナイメ
ko を使用して Go アプリケーションを Cloud Run に迅速にデプロイ | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 2 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 開発者がコンテナを使用して作業することが多くなるに従い、ソースコードからアプリケーションがデプロイされるまでの時間を短縮することの重要性が増しています。コンテナ イメージのビルドをより迅速かつ容易にするため、Google は Cloud Build、ko、Jib、Nixery などのテクノロジーを開発し、クラウドネイティブの Buildpacks のサポートを追加しました。これらのツールのいくつかは、Docker エンジンや Dockerfile を使用せず、ソースコードから直接コンテナ イメージをビルドすることに特にフォーカスしています。 特に Go プログラミング言語を使用すると、ソースコードからコンテナ イメージをビルドすることがはるかに簡単になります。この記事で
GitHub Actions と hadolint を組み合わせて Dockerfile の静的解析を自動化しよう！ - kakakakakku blog
GitHub Actions と hadolint (Haskell Dockerfile Linter) を組み合わせて，今まで雑に実装してきた Dockerfile の静的解析を自動化する環境を作った．できる限り Dockerfile Best Practices を意識していることもあり，警告はあまり多く出なかったけど，やはり CI (Continuous Integration) で気付ける安心感はある！ www.docker.com hadolint (Haskell Dockerfile Linter) hadolint を使うと Dockerfile に警告を出してくれる．また Dockerfile の RUN は，シェルスクリプトの Linter として有名な ShellCheck を使って警告を出してくれる．例えば FROM centos:latest のように FROM
This is a companion article to a talk about Docker+WebAssembly that we gave at "Docker Community All Hands 7, Winter Edition" on Dec 15th, 2022. Introduction Recently Docker announced support for WebAssembly in cooperation with WasmEdge. This article will explain what is WebAssembly, why it is relevant to the Docker ecosystem and provide some hands-on examples to try on. We assume you are familiar
2019年9月24日、株式会社メルカリにて、エンジニア向けイベント「Mercari Bold Challenge ~CTOとエンジニアが赤裸々に語る 変化と挑戦~」が開催されました。社員数は1,800人を超え、40ヵ国以上の国から多様な人材が集まり急成長を続けるメルカリ。一方で、急成長に伴って新たな課題も生まれています。そこで今回は「Bold Challenge（大胆な挑戦）」というテーマで、メルカリのエンジニア組織の変化と挑戦について、そのリアルを語ります。プレゼンテーション「なぜMicroservicesか?」に登場したのは、株式会社メルカリ Software Engineer, Microservices Platformの中島大一氏。講演資料はこちら メルカリ、マイクロサービス化の歴史 中島大一氏：「なぜMicroservicesか？」というタイトルで発表させていただきます、@de
OrbStack使ってみた
「OrbStack」とは What is OrbStack? OrbStack is a fast, light, and simple way to run Docker containers and Linux machines on macOS. You can think of it as a supercharged WSL and Docker Desktop replacement, all in one easy-to-use app. OrbStack は、macOS で Docker コンテナと Linux マシンを実行するための高速で軽量、 かつシンプルな方法です。 これは、使いやすい 1 つのアプリにまとめられた、強化された WSL と Docker Desktop の代替品と 考えることができます。 ※ powered by Google翻訳 ざっくり読むと、「D
たった一つで Cloud Run にビルドしてデプロイするコマンドの紹介 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 12 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Run に対する Google のビジョンはシンプルです。デベロッパーのソースコードを、HTTPS で保護されたドメイン名を使用したフルマネージドの自動スケーリング インフラストラクチャ上で実行できるようにすることです。しかし、従来は、Cloud Run へのデプロイには少なくとも次のような 2 段階のステップが必要でした。 コードをコンテナ イメージへとパッケージ化する このコンテナ イメージを Cloud Run にデプロイする コンテナ イメージはソフトウェアのパッケージ化、デプロイ、スケーリングの業界基準となったものの、すべてのデベロッパーがコンテナの仕組みや、（それぞれの好みの言語で書かれた）アプリをコンテナ イメージへとビルドする方法を知りたい
はじめに みなさん、環境構築ってめんどくさくないですか？ 僕はめんどくさいです。 本を使ってPHPの勉強をする機会があったのですが、環境構築をしたくなかったのでDockerを用いることにしました。 やること 『PHP7+MariaDB/MySQL マスターブック』では、XAMPPというパッケージを使用するのですが、Dockerにて環境を再現します。 PHP：7.4を使えるようにする Apacheを使えるようにする MariaDBを使えるようにする この本ではメールを用いるためメールサーバを立ち上げる 注意：この記事ではXAMPPに似た環境を構築する手順を示すのみであり、詳しい解説等はしません（今後追記していくかは未定） 動作環境 M1 MacBook Air(MacOS 13.1) Docker ファイル構成 PHP ├ php │ └ dockerfile ├ mysql │ ├ ini
3年くらい前にWEB屋の自分が機械学習株価予想プログラムを開発した結果 | マサムネットって記事を書いたっきり、機械学習にも株にもあんまり手を付けていなかったのですが、この年末年始、思い切っていろいろ進めてみました。 それで、なかなかに良い感じの結果が得られたので、そのままサービスとして稼働するまでに至った技術的経緯を書いていきます。 サービスそのものへのリンクは、有料サービスですので宗教上の理由などでリンクしたら見られない人もいるかと思いますのでここには張りません。個人的な考えとしては、技術者が適切に稼げる仕組みを作っていくことは重要だと思いますが、つまりは有料だろうと成果物であるサービスへの案内くらい張ったらええやんと思うんですがここではそういうことを論じる場ではありませんのでとにかくサービスそのもののリンクは控えておこうと思います。とはいえ、実際のサービスを見ないと判断しようが無いと
EC2で運用している分析基盤(Digdag + Embulk)をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。最近ではランサーズ本家のインフラをコンテナに移行しまくっております。今回ランサーズとMENTAで運用しているEC2/分析基盤サーバー(Digdag + Embulk)をECS/Fargateに移行完了しました。では早速概要と苦労した点、今後の展望などを振り返っていきたいと思います。 分析基盤の紹介 > ランサーズの分析基盤(capybara)と運用について紹介 > MENTAをAWSに移行しました ちなみに私が入社して3年経つのですが、運用して変わったことは3年前よりデータの量が膨大になっていることと、現在、社内の分析チームにとって欠かせないシステムとなっております。その中でDigdagによるスケジューラーとEmbulkによるマルチソースバルクデータローダーである分析基盤専用のEC2サーバーがあり、毎日夜中にデータをBigQuryにシンク
Apple Silicon上でLinux向けx86_64の環境が欲しくなったり、x86_64向けのバイナリやイメージを作らないといけなくなる事態は、稀に良くあると思う。 colimaを使うと、Aarch64なMac上であっても、かなり楽にx86_64のLinux環境とDocker環境が手に入る。 最近のcolimaには実は --arch というオプションがあり、x86_64又はaarch64であればあっさりと環境を作ることができるようになっている。 デフォルトで入ってくる環境と区別するため --profile オプションを明示する必要がある。 $ colima --profile colima-x64 start --arch x86_64 colimaの作ったDockerインスタンスは colima list で一覧できる。 $ colima list PROFILE STATUS AR
はじめに 新卒エンジニア研修を担当しました ugo です！ 今年も新卒エンジニア研修を実施し、全カリキュラムが無事終了しました。 この記事では、各研修の講師を担当したメンバーが、新卒エンジニア研修のカリキュラムの内容と研修資料をまとめました。ぜひご覧ください。 2024年度新卒エンジニア研修概要 新卒エンジニア研修のコンセプトは 「サービスを作るための技術要素や観点について、現時点で良いやり方を一通り学ぶ」 と設定しました。 サービスを運用していくために必要なオブザーバービリティといった領域も今年から研修に盛り込みました。 研修に参加した新卒エンジニアは3名です。 オフィス内はフリーアドレスとなっていますが、研修のためオフィスに固定席を設け、1ヶ月に1回程度の頻度でオフィスの別に席に移動する形態で実施しました。講師も新卒エンジニアの近くに座ることで、相談をしやすい環境づくりを行いました。
TL;DR Lambda がコンテナをサポートしたらしいので試してみる 動かすDocker イメージはLambda のAPI に対応させる必要があるため、今まで使用していたイメージがそのまま動くわけではない New for AWS Lambda – Container Image Support | AWS News Blog 概要 re:Invent の発表でコンテナの実行ができるようになったので、ざっくり試してみるだけの記事 ためす 失敗例 単純なAlpine イメージだと動かないらしいので失敗してみる ECR へコンテナを上げる env コマンドを実行するだけのイメージを作成 $ export ACCOUNT_ID=$(aws sts get-caller-identity --query 'Account' --output text) $ cat <<EOL | docker b
【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO
AWSマネージドサービスGuardDutyによる待望のコンテナランタイム脅威検知。その検知内容と設定上の注意事項、検出の様子をまとめてお届けします。 「ECSのランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ。結構高いよね」 「1年前の予告を経て、よーーーやくAWSマネージドなやつがGAされましたよ」 去年のre:Invent2022においてKeynote中に予告だけされていたコンテナ環境のランタイム検知（【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日のre:Invent 2023のアップデートにより、待望のECSにおけるランタイム検知が、GuardDutyで実現できるようになりました！！もともとEKSにおけるランタイム検知は提供されていましたが、それがECSにも拡張されたアップデートです。 これまでAWSのECSにおいてランタ
GitHub - earthly/earthly: Super simple build framework with fast, repeatable builds and an instantly familiar syntax – like Dockerfile and Makefile had a baby.
🔁 Repeatable Builds - Write builds once, and run them anywhere – on your laptop, remote, and in any CI. ❤️ Super Simple - Instantly recognizable syntax – like Dockerfile and Makefile had a baby. 🛠 Compatible with Every Language, Framework, and Build Tool - If it runs on Linux, it runs on Earthly. 🏘 Great for Monorepos and Polyrepos - Organize your build logic however makes the most sense for yo
はじめに インターンしている小林です．この記事では，DRF（Djangoのいい感じのフレームワーク）を使って，APIを作るまで行います．記事は二編構成とし，一編はDRFによるAPI作成，二編はNuxtを用いてユーザが実際に入力することを想定してフロント作成します．具体的には，PyTorchのresnetを用いて，入力フォームから受け付けられた画像を推論して上位10位までの結果を表示させます．一編では，詳細な機械学習のアルゴリズムは説明せずに，APIを作る工程に重きを向けます．読者の対象はDRFを初めたての人が対象であり，機械学習の画像処理をある程度把握している人が対象となります． 構築したAPIは以下のような感じになります． 今回作るAPI画面 結果で返しているのはresnet-18に入力した画像を推論させ，確率値が高い上位10個を表示させています．用いてるモデルはImageNetの学習済
はじめに この記事では私が作成した文書要約のWebアプリの使用方法とコードを解説しています。 コードはGitHubにリポジトリを作成しておりますので、使用されたい方はCloneしてお使いください。 https://github.com/YusukeOhnishi/document_summarize このWebアプリは文書（英語論文）を読む際に、 さっとまとめてくれるWebアプリがあれば便利そう 自身で必要な機能を追加していけたら楽しそう というモチベーションから作成しました。実際に使用してみて、不便だなと感じる点やこういう機能が欲しいなと思えば、コメント及び連絡いただけると助かります。できる限り機能追加して対応していきます。 Webアプリの使用方法 Webアプリの起動 作成したアプリケーションはローカル環境及びDockerコンテナ上で起動することができます。 以下のコマンドを実行してクロ
2023年8月で新卒から約13年半勤めたSIerを退職します。関係者の方々、本当にお世話になりました。 9月から新しい職場で働くのですが、転職活動が初めてということもあり、色々と試行錯誤しながら進めたのでここにまとめたいと思います。 なお、具体的な企業名やそのプロセス、オファー条件はここには記載しません。企業名、特に前職は色々調べるとわかる情報なのですが、企業名で検索してこの記事が出てくるのもちょっと違う気がするのであえて書いておりません。 転職に向けてどう準備、活動したかにフォーカスして書こうと思うので何かしら参考になれば幸いです。 自己紹介、私の経験値 なぜ転職するのか 企業探し 選考準備 読んだ本 問題解決力を鍛える!アルゴリズムとデータ構造 データ指向アプリケーションデザイン ［試して理解］Linuxのしくみ システム設計の面接試験 世界で闘うプログラミング力を鍛える本 コーディン
こんにちは、上野です。 2020年のAWS re:Inventで発表されたAWS Proton、以下のハンズオンを参考に色々触ってみました。（作者の山口さんありがとうございます！） AWS Proton で ECS Fargate のアプリケーション実行環境を作ってみようハンズオン これは実際の本番運用で使用できるのでは？という良いポイントがけっこうあったので、まとめてみます。 AWS Protonとは AWSでは「コンテナおよびサーバーレスアプリケーションのための初のフルマネージドデリバリーサービス」と紹介されています。 私の感想としては、プラットフォーム管理者とアプリケーション開発者の境界線を明確にし、各担当者が管理する範囲をテンプレートおよび世代管理できるサービスです。この管理をAWSマネージドでできるため、負荷を下げながら整理されたデリバリー構成を維持できるようになります。 説明だ
ローカル環境を汚さず、Dockerコンテナのオーバーヘッドもなし 開発環境を自在に構築できる「Devbox 0.2.0」登場
この記事は新野淳一氏のブログ「Publickey」に掲載された「ローカル環境を汚さずDockerコンテナのオーバーヘッドもなく、開発環境を自在に構築できる「Devbox 0.2.0」登場」（2022年12月22日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Dockerコンテナの技術を用いることで、プログラミング言語のランタイムやライブラリ、ミドルウェアなどの開発環境一式を比較的容易に導入することが可能になりました。 ただしDockerコンテナにもファイルシステムのオーバーヘッドなどがあり、Dockerコンテナ内の開発環境ではコンパイルなどに時間がかかってしまう場合があったと開発ツールベンダのJetpack Technologiesは自社の経験から指摘します。 そこで同社がオープンソースで開発しているのが「Devbox」です（ちなみにMicrosoftによる仮想
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
Amazon CloudWatch での Prometheus メトリクスの使用 | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch での Prometheus メトリクスの使用 Imaya Kumar Jagannathan、Justin Gu、Marc Chéné、および Michael Hausenblas 今週の初めに、AWS は CloudWatch Container Insights での Prometheus メトリクスモニタリングの公開ベータ版サポートを発表しました。この記事では、ユーザーがプロビジョニングする AWS クラスター上の Amazon Elastic Kubernetes Service (EKS) および Kubernetes で、コンテナ化されたワークロードに新しい Amazon CloudWatch 機能を使用する方法をご紹介します。 Prometheus は Cloud Native Compute
不特定多数のウェブサイトにアクセスするアプリケーションを書いていると、ときおり SSL 証明書の検証エラーとなる URL に行き当たることがある。が、確認のためブラウザでアクセスしてみると、普通に見れてしまったりもする。そんな事例のひとつ、タイトルの通り中間CA証明書のないサーバについて。 https://incomplete-chain.badssl.com/ というわかりやすい例がある。これを curl してみると: % docker run -it --rm buildpack-deps:buster bash root@22f1788d53c7:/# curl --version curl 7.64.0 (x86_64-pc-linux-gnu) libcurl/7.64.0 OpenSSL/1.1.1d zlib/1.2.11 libidn2/2.0.5 libpsl/0.20.
先日購入したQNAP NASのTS-453Dですが、やはり外部ネットワークからアクセスする手段を確保しておきたいところです。 一般的にQNAP NASを外部から接続するには、QNAP NASの中でVPNサーバーを立ち上げてVPN接続することが多いと思いますが、我が家では現在Tailscaleを使って、Windowsマシンに接続したりしており、QNAPもできればTailscaleを使ったVPNで接続できればと考えました。 調べたところ、自分でTailscaleをビルドすればインストール可能だということが分かったので早速試してみました。 Tailscaleのqpkgをビルドする # QNAP NASのQTS OSにアプリをインストールするには、qpkgというパッケージを作成する必要があるらしいのですが、ivokub/tailscale-qpkgというDockerを使ったTailscale QP
GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog
1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5. 次はマルチ環境で動かす w/ Docker リポジトリをクローン ssh/config を作成 authorized_keys を作成 hostfile を作成 Docker を build 6. つまずいたポイント 学習途中に出力したファイルを再利用するのでNFSが必要に NFSのリージョンを間違えて速度が出なかった 大量のGPUの調達はリソースを確保できないかもしれないので要サポート確認 コンパクトプレースメントポリシーは邪魔になりそうだった 7. 結果 8. まとめ
はじめに# この記事は，HERP における Web フロントエンド開発の概観を，世間の開発者に——特に潜在的・顕在的な候補者の方に——知ってもらうことを目的として書かれた．HERP では現在 Web フロントエンドエンジニアを積極的に募集しているが，仮に入社したとしてどのような仕事をすることになるかのイメージが付いた方が，検討の候補に入れてもらいやすいのではないかという目論見による．また，採用している技術スタックにも珍しいものがあるため，単純に読み物として楽しめるかもしれない．なお，開発の実情について知ってもらうのが目的であり，実装の良し悪しについて議論することは目的としていない． HERP でのアプリケーション開発# B2B SaaS として，主に IT スタートアップ企業向けの，採用管理システムおよびタレントプールシステムを開発・提供している． そもそもプロダクトを通じて何を実現したい
社内でGrowiを立ち上げてみた - Qiita
はじめに 部署内で情報共有のためWikiを使うとよいのではないか、という話が出ました。最初はMicrosoft TeamsのWikiを使えばよくね？という話でしたが検索機能はないし、バックアップも取れないし、でとても実用にならんだろ、と、調べていくうちにGrowiがよさそうとなりました。 Qiitaでもお馴染みですね。 社内でdocker付きで用意されているUbuntu Serverに立ち上げれば、docker-composeでさくっと設定できるとたかを括っていたのですが、docker初心者にはいろいろと落とし穴が待っていたのでした。 proxyの罠 このGrowiは社内で利用するだけで社外からアクセスはしません。当然会社のproxyの内側に設置します。となると、Ubuntu Serverにツールをインストールするためにproxyを通さねばなりませんので、あれこれproxy設定が必要になり
【Django】VSCode+RemoteContainersを使ってDjangoのコンテナ(Docker)開発環境をサクっと構築する - Qiita
【Django】VSCode+RemoteContainersを使ってDjangoのコンテナ(Docker)開発環境をサクっと構築するPythonDjangoDockerPython3VSCode はじめに RemoteContainers、とても便利ですよね。おかげでPyCharmからVSCodeに浮気しそうです。 Django+RemoteContainersについて書かれた記事が無かったので、最小構成でDjango開発環境を構築する手順を投稿します。 RemoteContainersとは 超簡単にコンテナを作成・接続することができるVSCodeの拡張機能です。 Dockerコマンドを一つも手打ちすることなく環境構築を終わらせることができます。 この記事を読む分にはその程度の理解で問題ありません。 事前準備 １．Dockerfileを用意する python:3.8のイメージを使用すれば
DockerDesktopの代替になるかも？と巷で話題の「Finch」を使ってみた - NRIネットコムBlog
本記事は NRIネットコム Advent Calendar 2022 18日目の記事です。 🎁 17日目 ▶▶本記事 ▶▶ 19日目 🎄 ども、尾澤です。めっきり寒くなりました。 Techブログ登場は2回目です。 このブログが公開される頃には決勝進出チームが決まり、 ３位決定戦が終わっている頃でしょう。 私の決勝予想はFRA or BRZ ... と、予想していましたが、 BRZはベスト8で姿を消しました。。。がんばれFRA。 Finch とは 近年ライセンス料金改定によって経営陣の頭を悩ませている（？）Docker Desktopですが、 その代替になりうるツールと呼ばれているのが「Finch」です。（読み方わからん） 2022年11月にAWSからオープンソースとして公開されました。 https://github.com/runfinch ちょっとドキュメント読んでみる というわけで
RailsアプリケーションのCIにDynamoDB Localを導入した話 - クックパッド開発者ブログ
こんにちは、事業開発部 サーバーサイドエンジニアの堀江(kentarohorie)です。 今回はRailsアプリケーションのCIにDynamoDB Localを導入した事例をご紹介します。 広告入稿システムとCI クックパッドでは自社製の広告入稿システム・配信サーバーを運用しています。また広告の一部はDynamoDBを利用したアーキテクチャで入稿・配信されています。詳細は以前の記事「広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介」で紹介されています。この入稿・配信のうち、広告入稿システムのCIに対してDynamoDB Localの導入を行いました。 広告入稿システムのCIではブランチへのpush、またはmasterへの変更をトリガーにCIサーバー上でスクリプトが実行されていました。CIサーバーにはMySQLやPostgreSQLの環境が用意さ
Dockerfileとタスク定義の変更を既存のFargateに自動デプロイするGithub Actionsを設定した | DevelopersIO
こちらの記事を参考にタスク定義が更新される度に既存環境の Fargate へ自動デプロイをする Github Actions を設定したので手順を書き残しておくことにしました。 参考: GitHub Actions からサクッと Fargate にデプロイしてみた ケースシナリオ Dockerfile とタスク定義ファイルが変更され、レポジトリに Push される度に以下のプロセスを自動実行する Github Actions を設定します。その際に任意の環境へ Assume Role しデプロイできるように設定します。 AWS 環境へ Assume Role する Docker イメージをビルドして既存の ECR へ Push する 新しい Image ID でタスク定義を更新する ECSクラスタにタスクをデプロイする 環境構成図 既存環境の全体の構成はこんな感じです。 今回設定するのはこ
はじめに こんにちは。 GMOアドマーケティングの石丸(@thomi40)です。 前回はRails 7で追加されたComparisonValidatorについて紹介しました。 この記事は GMOアドマーケティング Advent Calendar 2022 3日目の記事です。はじめにこんにちは。GMOアドマーケティングの石丸(@thomi40)です。前回の記事では Rails 7 から実装された query_log_tags について紹介しました。今回の記事では同じく Rails 7 から追加された ComparisonValidator について紹介します。※記事内の画像は筆者が作成したアプリケーションをキャプチャーしたものです。ComparisonValidatorとはComparisonValidator は任意のオブジェクトの比較を行うバリデーターです。数値の比較には Numeric
はてなのエンジニアとして日々意識しながらやっていることを紹介します - stefafafan の fa は3つです
この記事ははてなエンジニア Advent Calendar 2022の29日目の記事です。*1 昨日は id:koudenpa による 破棄し忘れたクラウドリソースに半年間金を払い続ける方法 - koudenpaのブログ でした。 今回は私のはてなエンジニアとして個人的に意識していることを一部紹介します。*2 ソフトウェアエンジニアとしての働き方 新しい概念を発明するのではなく社内外にあるものをもとに検討する 業務で利用しているOSSについて自分が気になった箇所・ハマった箇所は他者も気になっているはずなので issue を探したり、なければ自分で立てたりPull Requestを出す 自分がハマった箇所や解決した方法については社内外に公開する リモートワーク時の振る舞い 何事もテキストとして残す オンライン上の存在感を高める 終わりに ソフトウェアエンジニアとしての働き方 新しい概念を発明
ある調べものをしていたところ、Canarytokensというサービスがあることを知った。 canarytokens.org Canarytokensはカナリアトークンを生成するサービスであり、無料で利用できるほか、githubでソースコードやDockerfileが公開されているため自分でサービス稼働環境を構築できる。カナリアトークンとはターゲット（被害者）がWebページ、電子メール、ファイルなどのリソースにアクセスする操作をしたときに、そのアクセスした事実やターゲットの環境情報（IPアドレス、UserAgent、ユーザ名など）を攻撃者に通知するための仕掛けである。 このサービスを知った時は、アクセス解析で使われるようなWebページに極小の透明画像やiframeを埋め込むような方式を想像したが、ドキュメントを読んでいると他にも様々な方式をサポートしていることがわかった。そこで、実際にどういっ
Get started with the latest updates for Dockerfile syntax (v1.7.0) | Docker
Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build Cloud Speed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers
【Pythonでスクレイピング】Mattermost BOT投稿機能 作り方 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに はじめまして。aqli_kuk120と申します。 ラクスの片隅でひっそりとインフラエンジニアをしています。 「エンジニアは常日頃の情報収集が肝要」とよく聞きますが、中々実践できない自分がいました。 技術系のニュースアプリをスマホに入れてみるも、三日坊主でついつい他の興味あることをネットサーフィンする日々…。 これではいかんと思い、対策を考えた結果、 「人気記事のリンクをスクレイピングして社内のチャットツール(Mattermost)にBOT投稿するようにしたら、昼休みにご飯食べながらみれるんじゃない？」と思い至りました。 ということで、インフラエンジニアと名乗ったものの、今回はPythonを使ったスクレイピングとMattermostへのBOT投稿についてブログを書いていきたいと思います。 はじめに スクレイピングとは Mattermostとは Pythonで今回作るもの 開発環境構
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WebAssembly: Docker without containers!
ベストな「How」は「Why」でしか規定できない––メルカリがマイクロサービスに移行した理由と、その軌跡
DockerでPHPの勉強環境を構築してみた - Qiita
機械学習したデーターを爆速で販売するサービスをDockerで構築してみた - Qiita
Apple Silicon上でx86_64のDockerを使う - ローファイ日記
2024年度新卒エンジニア研修を実施しました! - Pepabo Tech Portal
Lambda でコンテナを実行する - y-ohgi's blog
DRFとNuxtを使って画像分類（機械学習）をする① - atma-inc__blog
OpenAI APIを用いた文書要約アプリの作成 - Qiita
転職活動の記録〜クラウドと英語〜 - fu3ak1's tech days
AWS Protonを使用した本番運用を考える - NRIネットコムBlog
中間証明書のないサーバにアクセスする - 詩と創作・思索のひろば
QNAP NASにTailscaleをインストールしてVPN接続できるようにする
HERP における Web フロントエンド開発概観 (2022年春編)
Docked Rails CLIでRailsの開発環境を素早く構築する
Canarytokensサービスを試してみた - こんとろーるしーこんとろーるぶい
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ