CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC Engineers' Blog
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
Rundeckをインストールして"最速"でJOB実行してみる - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 インフラエンジニアをしていますknmriiです。 今回はジョブ管理ツール「Rundeck」の紹介とインストール方法、簡単な使用方法を紹介していきます。 最速でRundeckジョブのテスト実行ができるような記事構成にしていきたいと思いますのでぜひお試し下さい。 インフラエンジニアの皆様にとって、作業自動化の助けになれば幸いです。 Rundeck Rundeckとは システム要件を確認 Rundeckをサーバにインストールしてみる 事前にJavaをインストール Rundeckインストール Rundeckサーバの起動 ログインしてみる プロジェクトを作成する まずは、RundeckサーバのローカルでJOBを実行してみる Rundeckサーバから別サーバにSSH経由でJOBを実行してみる 最後に Rundeck Rundeckとは OSSのジョブ管理ツールです。 以下のような特徴があ
DevStats – メルカリ グループの各種指標計測について | メルカリエンジニアリング
※この記事は、Mercari Advent Calendar 2022 の15日目の記事です。 こんにちは。メルカリのPlatform DXチームの@masartzです。 今日はPlatform DX チームで取り組んでいる「開発に関わる指標の計測と可視化」に関して、いくつかの取り組みを具体例とともにご紹介していきます。 結論の項でも再利用するものを先にお見せします。 これはある期間におけるグループを横断したDeployment数の統計情報になります。 このような形で開発に関する情報の見える化とそこからのNext Actionを検討していこうというのが本記事のまとめになります。 取り組みの大枠 – DevStats Project Platform チームによる指標計測の取り組みの歴史は古く、マイクロサービス移行の初期から行ってきました。社内ではDevStatsと呼ばれており、これまでも幾
AWS OpenSearch のマネージドサービス更新を自動化する方法 - 弁護士ドットコム株式会社 Creators’ blog
この記事は、弁護士ドットコム Advent Calendar 2024 の 22 日目の記事です。 こんにちは。弁護士ドットコム 技術戦略本部でSREをしています山崎です。 今年の初めに3ヶ月間の育休から復帰しました。長期休暇は社会人として珍しい経験だったため、新鮮な気持ちでした。 背景 マネージドサービス更新 OpenSerchのバージョン OpenSerchマネージドサービス更新の自動化 アップデート実行時の通知について アップデート処理の内容 自動化して感じたこと おわりに 背景 復帰後に、子どもが生まれる前と比べて仕事に集中できる時間（工数）が大きく異なることを実感しました。 当社のエンジニアは、チームの働き方に合わせて柔軟にリモートワークを選択できる環境が整っています。 しかし、家で仕事をしていると、子どもがいつ自分を求めてくるか分からない状況があります。 このため、できるだけ作
はじめに Certbot を使った SSL/TLS サーバ証明書の取得方法を紹介します. 認証局は Let's Encrypt で, 主要なブラウザから信頼された認証局とみなされています. 料金は無料, 作業時間は3分程度です. 前提 証明書を発行する際, 認証局は発行依頼主が対象ドメインを所有していることを確認する必要があります. Let's Encrypt は対象ドメインの特定のパスから検証用のファイルをダウンロードし, その中身を検証することでドメイン所有の確認を行なっています. この Let's Encrypt とのやりとりや検証用ファイルの用意を行うのが Certbot です. そのため, 作業は証明書を設置したいサーバ上で実施する必要があります. また, そのサーバ上で ウェブサーバが稼働しており, 対象のドメインで HTTP 接続できる必要があります. 例えば, demo.s
カバレッジとは？Kanon氏：「カバレッジとは？」という話なんですけど。テストコードがプロダクションのコードのうちのどれだけ網羅できているか、通しているかの尺度になってくるという感じです。 それ自体は、ちょっと（スライドは）読まないんですけど、分岐、行、ステートメント、関数という4つの大きな枠で説明されます。これは、復習レベルですね。 そのカバレッジを、どうやら50から80パーセントぐらいを目標とするのがよさそうなのではないか。というのが自分が言いたい話でして、10から40パーセントだと、さすがに低すぎるかなというところです。 逆に、90パーセント以上を目指そうとすると、今度は高すぎで、プロダクトのクリティカルな実装部分以上に、重箱の隅にまでがんばってテストを書こうとする時間が本当に必要かなというところは確認したい、というのが自分の意見になります。 じゃあ、その目標とするテストのカバレッジ
Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（2021年3月版） | 稲葉サーバーデザイン
北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 1. はじめに 2019年1月に「Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（2019年1月版）」という記事を書きました。 最近、証明書を取得、更新するためのcertbotコマンドの推奨インストール方法が変わりましたので、2021年3月版としてまとめ直します。 なお、以下の設定手順は、サーバーOSはCentOS 7で、2021年3月時点のものです。 Apache, Nginxについては、Let’s Encryptに関わる設定のみ記載し、Let’s Encryptに無関係な基本的な設定は、ここでは記載しません。 コマンドはrootユーザーで実行する想定です。 必要に応じて、sudoに置き換えてください。 （
Scalar とは 大規模リポジトリを対象とした、リポジトリ容量最適化・コマンド高速化のための拡張機能の提供とgit configの自動設定を行うツールです。元々 Microsoft によって開発されていました (https://github.com/microsoft/scalar) が、Git 2.38よりメインストリームに取り込まれたことで同梱されるようになりました。 github.blog 下記コマンドでScalarを利用することができます。 # 既存リポジトリでScalarを利用する場合 $ cd /path/to/repo $ scalar register # 新規でクローンする場合 $ scalar clone /path/to/repo 実際に、https://github.com/git/git のリポジトリを対象にScalarを利用するとなにが起きるのか今回は調べてみ
モノリシックなアプリケーションを疎結合にする取り組み - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。弁護士ドットコム クラウドサイン事業本部 Product Engineering 部の須山と申します。CloudSign はサービスを開始してから約 7 年が経過しています。その間数多くの機能追加・拡張を続けている中で技術的な負債を残していくことは、どの企業でもよくある話ではないでしょうか。そんな中 CloudSign では技術的負債を解消することを主な目的としたチームを 2 年程前から結成して、日々改善活動を進めています（それ以外にも、新機能の技術検証や基盤開発も担当しています） 今回はチーム発足時から活動しているモノリシックアプリケーションの分割に関してやってきたことをまとめました。これまでの活動を大きく 3 つの段階に分けて紹介します。 その1. モノリシックなアプリケーションの分割 ローカル環境とそれ以外の環境での差異 アプリケーションを実行環境ごとに分割 アプリケーシ
皆さんこんにちは、八木です。 今回は日本発のCSPMツールである、Cloudbaseというサービスについてご紹介します。 CSPMツールとは そもそもCSPMツールとは何でしょうか？ CSPMというのはCloud Security Posture Managementの略で、日本語で「クラウドセキュリティ態勢管理」や「クラウドセキュリティ状態管理」と訳されたりします。 主にクラウドリソースの設定ミスの検出や、ユーザのオペレーション監視を行うツールのことを指します。 AWSの純正サービスであればAWS Config、サードパーティ製品であればCloudGuard Posture Management（旧称：Dome9）などが該当するでしょう。 なぜCSPMツールは必要なの？ では、なぜCSPMツールは必要なのでしょうか？ その答えはクラウドリソースの設定ミスによる、セキュリティリスクを軽減す
この記事はGMOアドマーケティング Advent Calendar 202219日目の記事です。 こんにちはGMOアドマーケティングのy.yです。 今回は2022/12/06, 07に開催されたGMO Developers Dayで発表をした 『「GMO SSP」のクラウド移行(GCP)、失敗と成功をまとめてみた！』の内容になります。 時間の関係上で発表できなかった内容も少しだけ追加しています。 SSPというのは広告をリアルタイムにWebコンテンツに配信するシステムです。 接続しているDSPやアドネットワークの広告の中で、一番単価が高く ユーザーにマッチした広告をリアルタイムに配信します。 GMOSSPというのはGMOアドマーケティングにて提供している インターネット広告を配信するSSPプロダクトです。 GMOSSPは自社運営にてコンテンツ集客に特化した 広告配信DSPの「ReeMo」と国
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのクラウドプラットフォーム本部に所属している北田、馬場、高橋です。 私たちのチームは社内向けに IaaS 環境を提供しており、その品質を管理・維持するために監視システムを導入しています。 システムの部分的な障害や冗長性などを監視する目的で、私たちはこれまで Sensu を使っていましたが、その EOL をきっかけに Prometheus へ移行することにしました。 この記事では、Sensu の移行先として Prometheus を選んだ理由、Prometheus を利用した監視システムの構成、そして、Prometheus を導入した際の工夫などを紹介します。 ヤフーの IaaS 環境の監視状況 私たちのチームが社
BASEのCartDevチームでバックエンドエンジニアをしている遠藤(@Fendo181) です。 自分が所属しているCartDevチームは主にBASEにおける決済開発を担当しております。 購入者様が商品を購入する際の決済だったり、オーナー様が利用するカート機能周りの開発、保守運用を行ってます。 今回、この記事では自分が所属するCartDevチームの取り組みを紹介する「月刊CartDev」というドキュメントを作った経緯や、運用方法について紹介します。 また、実際に社内で共有してみてどのような反応があったかについても書きます。 月刊CartDev が作られた背景について 月刊CartDev が作られた背景には2つ理由があります。 (1) 遠藤(@Fendo181) がそもそも入社したばかりで、CartDevでの働き方を理解したい。 (2) CartDevチームで取り組んでいる内容をチーム内で
半年でd/d/dを8倍にした話 - Link and Motivation Developers' Blog
こんにちは。リンクアンドモチベーションでエンジニアをしている梅原です。 現在はコミュニケーションクラウドというプロダクトの開発を担当しています。 現在、自分のチームでは開発組織の健全性の指標として d/d/d (deploys/ a day / a developer) という指標を用いています。 約半年前のチームのd/d/dは、0.01 という状況でしたが、この半年で色々な改善を重ねた結果、 8倍の 0.08 まで改善することができました。 今の自分のチームは開発者が5人なので、1ヶ月(約20営業日)で1回productionにデプロイすると d/d/dが0.01になります。 つまり、もともと月に1回だったところから、2~3日に1回はデプロイができるようになりました。 (指標の目安としては、CTO協会 理事の広木大地さん(@hiroki_daichi)のツイートにあるとおり d/d/d=
BigQueryに関する話を自由にしましょう - BigQueryでデータ基盤を作った - BigQueryと他サービスでデータ転送した - BigQuery関数でこんな計算をしている などなど みなさんこんにちは。年末ですね。年末やることといえば、振り返り、総集編ですよね。 BigQueryアドベントカレンダーができたのをみて、「そういえば2019年にやったBigQueryのリリースまとめ的なの、2020年やってないな・・・？」と思い立ち2020年のBigQueryアップデートをまとめました。リリースノート開いたらスクロールバーがすごく小さくなり心が折れかけましたが、なんとか気持ちを奮い立たせました。もしもこんな長い記事を最後までスクロールしてくれる方がいたら、感謝の意を表明しますので、Twitterで @yutah_3 まで教えていただけると、泣いて喜びます。 以下、カテゴリに分けてア
概要 世の中には金曜日になるとキンタマが発光することで曜日を認識する文化が存在する．しかし，金曜日にのみ発光する場合金曜日以外の曜日を認識することはできない．本記事では，キンタマの発光を前提に，その発光色を変えることで金曜日以外の曜日も認識することを提案する．その上で，配色及びキンタマの発光による問題点についても議論する． 背景 人間はしばしば曜日感覚を喪失してしまう．ここ数ヶ月COVID19の影響で家にいる人も多いが，ずっと家にいると曜日感覚が薄れてしまうものである．出勤していても，単調な日々や忙しい日々が続くことでその日が何曜日か認識することが難しくなってしまうことがある．そして最後には今日が何曜日か思い出せなくなる． 曜日の認識ができなくなることで，生活において様々な問題が生じる．最も日常的な問題として，生ゴミを捨てる曜日を逃すことが挙げられる．社会的な面でも，定例ミーティングの曜日
Weneedfeedの運用小話
Weneedfeedを運用している中で得られた情報を書き留めておく。 主にGitHub Actionsや、RSSフィードに関する話が多く含まれる。Weneedfeedというのはウェブページからフィードを生成するツールで、これについては過去にも記事に書いた。 GitHub Actions 「GitHubのリポジトリにYAMLファイルを置くだけでフィード群が用意される」という状態を実現するために、GitHub Actionsを使っている。具体的には、次の処理を定期的に実行している。 YAMLに記載された情報を元にフィード群を生成する gh-pagesブランチにpushする この内、1の処理をやるためにweneedfeed-actionを用意している。2の処理はactions-gh-pagesでやっている。GitHub Actionsにcrontab形式でスケジュールを指定する仕組みがあるので、
デイリーポータルZの新着記事をBlueskyに投稿するbotを作った - Islands in the byte stream
デイリーポータルZの新着記事をBlueskyに投稿するbotを作りました。 github.com デイリーポータルZは2024年1月1日から独立した会社になるようですが、状況から察するに実態としては消滅まで秒読みと思われます。インターネットからデイリーポータルZが無くなるのは寂しいので、どこかの企業がスポンサーになってくれることを期待しています。 dailyportalz.jp それはそれとしてBlueskyのボットを作るのは結構楽しいですね！ボットのコードはRustで書きました。GitHub Actionsの定期実行でRSS feedをポーリングして新しいものがあったらポストする、という素朴なプログラムです: bsky.app Bluesky APIへのアクセスはsugyan/atriumを使いました: memo.sugyan.com 投稿の本文をリッチテキストにできたり*1、OGPカー
こんにちは、BASE株式会社Data Strategyチームの杉です。 ショッピングアプリ「BASE」では、検索にAmazon Cloudsearchを使用していました。今回、検索基盤をAmazon Elasticsearch Service(以下、ES)に移行し、Data Strategyチームで管理をする方針にしました。 この記事では商品が更新された際などにどのように検知し、データをESにいれるようにしたかなど、基盤の部分をメインにご紹介をします。 1. 背景 検索は新しいショップに出会うきっかけを作ってくれたり、探していた商品をいち早く見つけることができることができます。 そのため、検索機能はどのECサイトなどでも見かける存在であり、活用している人も多いのではないでしょうか。 例えばショッピングアプリ「BASE」の検索はこのような画面になっています。 このようにさまざまな便利さをもっ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
Ruby/Railsアップデートを乗り越える戦略と攻めのリファクタリング｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Ruby/Railsアップデートを乗り越える戦略と攻めのリファクタリング 初期構築から3年近くメジャーアップデート対応をしていなかったRuby on Railsのプロダクトについて、事前のリファクタリングなどの整備を経てアップデート作業を実施しました。本稿ではその事前整備に焦点を当て、大規模なアップデートの経験やそれに対する準備がされていないプロダクトに対する事前整備として、どういう背景から何を考えどのようなことを行ったのかを紹介します。 前提環境とプロジェクトの規模感 ことのはじまり 戦略としての事前整備 トピック1: 周辺ライブラリの最新化 Rails以外の全gemを更新する 自前forkを解除する gem最新化のフローをつくる トピック2: 保守対象の断捨離 フロントエンド関連の依存を消す redisのラッパーgemを一部取り込む searchkick gemへの依存を置き換える ト
Cloudflare Workersを使って定期的なタスク自動化を実質無料で行う（不要な画像、アカウントの定期削除など）
Cloudflare Workersなら定期的なタスクを自動化 Google Cloud Schedulerのような機能を実質無料で実行できます(1日あたり最大100,000リクエストまで) 実際に自分のサービスで使っている例 Cron 実行履歴（不要な画像の定期削除） 自分の扱っているサービスの場合1日1度不要な画像の処理を定期実行するので1日1リクエスト 30日で30リクエスト リクエスト サブリクエストを含めると先月（4月6日から〜5月6日まで） 1ヶ月あたり90リクエスト 1日あたり最大100,000リクエスト以内なので無料で使える！ Cloudflare Workersの料金体系（2024/5/6現在） 2024年5月時点の料金体系 追記：無料プランのCronトリガーの上限数は５個でした。(2024/05/22) 無料プランのCronトリガーの数は５個まで使えます。 最新の料金情
はじめに平素は大変お世話になっております。 クイックガードのパー子です。 先日、とある Ubuntuサーバの /etc/cron.d/配下に debパッケージのゴミ (= *.dpkg-old とか) がいくつも放置されていることに気がつきました。 このようなゴミは cron がよしなに無視してくれることを経験的には知っていたのですが、正確な仕様が気になってあらためて man をじっくり読んでみたところ、いろいろ興味深い発見 (というか罠) があったのでご紹介したいと思います。 この記事で書くこと、書かないことcrontab の書き方などの基本的な使い方は今さらなのでググっていただくとして、この記事では Debian系における /etc/周りの制約と罠をご紹介します。 スプール領域 (/var/spool/cron/) には触れません。 man に DEBIAN SPECIFIC というセ
はじめに こんにちは。 みなさま年末いかがお過ごしでしょうか。 この記事はSupership Advent Calendar 2018 15日目です。 私はデータビジネス事業部に所属しており、 Supershipの保有している広告配信ログを使った各種分析を担当しています。 アドテク業界やWeb業界にお勤めのデータサイエンティスト・エンジニアの方にはご理解いただけるかと思いますが、 Web系のデータは巨大で(もちろん私たちSupershipも例外ではありません)、ストレスなく日常的に集計するとなるとなかなか大変です。 そのような巨大なデータを分析するための分析基盤として近年いくつものプロダクトが 開発されていますが、私たちのチームではDatabricks社のDatabricksを利用しています。 このプロダクト、非常に便利ながらあまり日本語情報がなく、今ひとつ広まっていない印象です。 そこで
[レポート] JAWS-UG コンテナ支部 #17 ECS/Fargate PV 1.4 ローンチ記念！ にオンラインで参加しました #jawsug_ct - michimani.net
※ Black Belt Webinar “AWS コンテナサービスアップデート” の裏つぶやき については配信ではなく、 Twitter 上でたくさんツイートされていました。 #jawsug_ct セッション 各セッションの聴講メモです。発表資料も、公開されているものに関しては随時追加していきます。 コンテナとコンテナのつなぎかた on ECS 三種類のコンテナ連携方法 タスク内接続 サービス関連系 イベント駆動連携 時間経過、コンテナが発行したイベントなど タスク内コンテナ接続 サイドカー、アンバサダー、アダプターとか呼ばれる ユースケース ログ関連機能をサイドカーにする ドメインと関係のないログのルーティング処理をアプリコンテナの外に出す サービス間接続 マイクロサービスの必要性とは 高度なモジュール化という選択肢 あえてサービスに分けるのは、インテグレーション時に問題が発生してくる
![[レポート] JAWS-UG コンテナ支部 #17 ECS/Fargate PV 1.4 ローンチ記念！ にオンラインで参加しました #jawsug_ct - michimani.net](https://cdn-ak-scissors.b.st-hatena.com/image/square/4dde936a6f2c41466ef6186f5735492235752b93/height=288;version=1;width=512/https%3A%2F%2Fmichimani.net%2Fimages%2Fog%2Fec-event-jausug-ct-17.jpg)
* 創業は1999年、4人の若者によってシカゴにて創業 * 現在、世界中の32の都市に広がる約50人規模の会社 * Rubyのフレームワークとして有名な「Ruby on Rails」は、実はこの企業から誕生した * 創業以来、増収増益の優良SaaS * 会社は自己資金で運営されており、投資の連絡は全て断っている * 唯一出資を受け入れたのは、Amazon創業者のJeff Besosからの個人出資などなど、ほかにも魅力的なポイントがあるのですが、今回一番お伝えしたいのが、この企業が掲げている「コミュニケーション・ガイドライン」です 昨日緊急事態宣言が出たこともあり、猫も杓子も「リモートワーク」「テレワーク」という状態ですが、あくまでもそれは一つの連絡手段であって、大きな意味での「コミュニケーション」という枠の中に収まる行為です。 そんな中、三者三様の独自スタイルで「あり方」を模索するのも手で
GitHub Actionsを楽しく学ぶ：BIGLOBEとGitHub Japanのミニハッカソンレポート - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
GitHub Actionsで「自分の困りごとを解決」するハッカソン形式の社内研修を開催しました。過去に3度GitHub Actionsの研修を実施しましたが、最も高い評価となりました。 この記事では、研修の内容はもちろん、研修の準備を通じて得た学びについてお話しします。 研修の内容 第一部 事例共有 第二部 アイデア出し 第三部 実装 研修の結果 研修の準備で得た学び まとめ BIGLOBEの網干です。 GitHub Actionsを活用できる人を増やそうとGitHub Japan様とBIGLOBEでミニハッカソン形式の社内研修を開催しました。実はこのイベントの前にも2回の研修を実施してきました。1回目は講義形式、2回目はサンプルプログラムを動かすハンズオンでした。1回目では「知識はついたが実装をイメージしにくい」、2回目では「実装はイメージできたのでなにか作りたいが、実際の業務で何を作
新規プロダクトへAutifyを導入してメンテナンスコストを大幅に削減した話 - Link and Motivation Developers' Blog
はじめに はじめまして、リンクアンドモチベーションでQAエンジニアをしている久原です。 今回は私が新卒入社約半年後、エンジニアとして圧倒的初心者のタイミングで任された、Autifyを使ったE2Eテスト自動化プロジェクトについて記事を執筆しようと思います。 本題に入る前に、Autifyとは、一言で言うとノーコードテスト自動化サービスです。 E2Eテストの自動化をノーコードで実現できるサービスになっており、コードをかけない・読めない方でもテストシナリオの作成やメンテナンスができるというメリットがあります。 なぜテスト自動化が必要だったのか？ 当時のプロダクト開発のロードマップは以下のようになっており、機能2,3の開発の間に機能1は触れないものの、リポジトリを共有した状態で開発を進めているのでデグレリスクがあるという課題がありました。 しかし、約半年間繰り返し手動テストを行うのはあまりにも非効率
概要 Lambdaを使うとき、「コールドスタート」の課題があることをよく耳にします。これについて、過去の経緯、直近のアップデート状況なども踏まえつつまとめてみた記事です。 AWS初心者の目線なので不足点などあるかもですが、その場合にはご指摘いただければありがたいです。 前提となる知識 1. Lambdaは実行時にコンテナを生成している 以下のスライドはAWS公式からの引用ですが、Lambda関数実行時の流れを表したものです。これに記載の通り、Lambdaの裏側では、実行時にコンテナが生成されています。なお、以降は実行時に生成されるものを__関数インスタンス__と呼びます。 (出典)全部教えます！サーバレスアプリのアンチパターンとチューニング 2. LambdaはVPC外のサービスである AWSのサービスは、自分で作ったVPC内に設置されるものと、そうでないサービスの2つに分かれます
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ
LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」。64回目はオンラインで開催され、「開発とテスト」というテーマで、LINEのSET（Software Engineer in Test）である伊藤宏幸氏が、LINEのプロダクト開発の現場で推し進めてきた具体的な取り組みについて紹介します。前半は課題のあぶり出しと、３つの重要性のうちの最初の２つについて話しました。 LINEのSETになってぶち当たった最初の課題伊藤宏幸氏（以下、伊藤）：私、伊藤からは、「Everything from Scratch」、すべてをイチから始めた我々SET（Software Engineer in Test）の、これまでの苦労についてお話しします。ちなみにこの資料ですが、本来であれば2週間後にアメリカで開催される予定だった、世界最大のアジャイルのグローバルカンファレンス
私が所属する株式会社モニクルの開発チームでは、業務時間内に各個人の技術ブログを書いてもよいことになりました。2022 年 7 月現在の時点では、きちんとスプリントの中でストーリーポイントを付けたタスクにして、時間を確保することが推奨されています。 アウトプットの習慣があるメンバーが多く見えるチームというのは、対外的にも魅力を説明しやすいです。今後のソフトウェアエンジニア採用を円滑に進めていくための施策の一環として、アウトプットを推奨していきます。 技術ブログまとめサイトはじめました ということで、メンバーの技術ブログをまとめた、monicle developers というサイトを作りました。 テンプレートとしてcatnose99/team-blog-hubを使わせてもらいました。RSS を登録しておくと最新の記事をまとめて表示してくれる素敵なアプリケーションで、Ubie Engineers
個人的・仲間内でセルフホストしているサービス 2022 - Google Workspaceから離脱するための検討ログ (2) - - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 別記事では、GoogleとIEEEの契約変更により、まともにGoogleApps@IEEEが利用できなくなったことと、その暫定回避策を模索しました。 その後どうすべきかという検討を進め、やれるものはセルフホストしてなんとかしようと決めて、そのまま1ヶ月ほど運用を続けています。最後に言及しますが、結局前回から変わったのはGMail代替のセルフホスト、というオチはついています。ですが、これまでのいろいろな経緯を踏まえ、自身で制御できるものは自身で制御するという観点から、Google Workspace代替にとどまらない、広い範囲での検討結果
こんにちは、@zaq1tomo （ざきとも、と読みます）です。 Chompy でよく注文するお店は「カリーカイラス」さんで、サクサクのカツが入ったボリューム満点「カツカリー」がおすすめです。 普段は、フードデリバリーサービス Chompy のユーザーアプリ（注文するお客さま向けのアプリ）のサーバー・クライアントの開発や、この記事で書いている「らくとく便」という機能の配達ロジック周りの開発などを担当しています。 Chompy に入る前は、Gunosy、Mercari、LINEなどで企画・開発・分析などを行っていました。 この記事では、先日のプレスリリースでお知らせした「らくとく便」という機能ができるまでの経緯についてご紹介します。 Chompy にちょっとでも興味あるという方にもっと Chompy のことを知ってもらえれば、これから新しくサービスを立ち上げようというエンジニア・PMの方々の参
ジモティーiOSチーム所属のエンジニアの橋本です。 普段はiOSアプリの開発に従事していますが､ Webやネイティブアプリ（iOS/Android）の各種計測データの収集や社内への展開などの業務にも従事しています。 今回は､自分が担当しているデーター活用周りでの取り組みのご紹介をしたいと思います。 組織のコンディション判断と意思決定に利用されるデータ Webアプリやネイティブアプリ（iOS/Android）が生み出す様々なデータは 収集･蓄積・加工 ▶ 分析･活用 という過程を経るわけですが､その利用目的は大きくは2つです。 ジモティーというサービスの現状がどうなのか､ サービスのコンディションの善し悪しを判断するための利用 ユーザーの利用状況の傾向を把握し､次の打ち手を決める判断材料としての利用 この利用目的を達成するためにデータをどのように利用者に届けるかが重要となります。 エンジニア
OpenVPNのeasy-rsaをつかってAWS Client VPNのクライアント証明書を管理する方法を紹介します。クライアント認証では認証局(CA)のルート証明書が肝です。 AWS Client VPNは2種類のクライアント認証を提供します。 Active Directory 認証 証明書を使用した相互認証 本ブログでは、OpenVPN easy-rsaを使う、相互認証におけるクライアント証明書の基本的な管理方法について紹介します。 ポイント VPNエンドポイント作成時の証明書指定 相互認証のVPNエンドポイントを作成する場合、ACMにインポートしたサーバー証明書とクライアント証明書を指定 サーバーとクライアントの証明書が同じCAから発行される場合、VPN作成時のクライアント証明書のARNには、サーバー証明書のARNを指定できる。クライアント証明書のACMインポートは不要 クライアント
Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネットをインポートする サービスの作成 デプロイ 本番環境の作成 パイプラインの作成 バックエンドサービスの作成 接続確認 データソースの追加 アドオン 単発の ECS タスクを実行 ECS タスクの定期実行 削除 長所 短所 まとめ 参考URL AWS Copilot とは Amazon ECS を簡単にデプロイツールで ECS CLI の後継です。2020年11月に GA になりました。 AWS Copilot のメリットは Doc
KPI集計のために秒単位の正確性でAuroraのスナップショットを作成する仕組みを構築した話 - Nealle Developer's Blog
こんにちはSREチームの森原です。テックブログ投稿は今回が初めてですが、今後は高頻度で投稿する予定です！ 今回は、タイトルそのままですが「KPI集計のために秒単位の正確性でAuroraのスナップショットを作成する仕組み」を作ったのでご紹介します。 背景 ニーリーでは毎月特定の日時のDBのスナップショットをKPIの集計に使用しています。以前はAWS Backupを用いて毎月のスナップショットを作成していましたが、こんな課題がありました。 作成時刻に最大1時間のズレが起きる AWS Backupのバックアップウィンドウによるもの 手動のオペレーションがありセキュリティ的によろしくない 自動取得している日時以外にも取りたいことがあるが、手作業でスナップショットを作成する必要がある この課題を解決するために、秒単位で時間指定したスナップショットを作成できる&手動トリガーもできる仕組みを構築すること
はじめに 4月26日に「Re:ゼロから始めるweb開発 (GAS使用) Part0」を投稿しましたが，現状すぐに作りたいものがなかったので，GASの練習も兼ねて，簡単なスクレイピング処理を書いてみました． 普段はpythonのプログラム書いて，cronで定期実行することでスクレイピングしていて不自由は感じていなかったのですが，パソコンの電源をずっとつけておかないといけないため，自宅のパソコンずっとつけっぱなしなのは嫌なので，GAS使ってやってみようかなと思いました． GASについて GASについてや，メリットに関しては，「Re:ゼロから始めるweb開発 (GAS使用) Part0」ですでに書いたので，そちらを見てもらえたと思います． GASによるwebスクレイピングのアウトライン データの保存先となるGoogleSpreadSheetを作成 スクリプトファイルを作成し，いろいろ書いて保存
ブログ サーバーレス ＋ Pythonで定期的にスクレイピングを行う方法 ［ＰＲ］ 2019/12/13 2019/12/25 | Python Webスクレイピング サーバーレス メール 目の前のパソコンではなく、サーバーを用いればプログラムを24時間体制で動かすことができます。Pythonで仕事を自動化するには様々な事例が考えられますが、さらに応用範囲が広がります。 そのためにはサーバーを準備する必要がありますが、ビジネスパーソンに現実的ではありません。 しかし、サーバーレスを利用すればその必要がなくなります。Pythonのコードをクラウドサービスに登録するだけで、クラウド上でプログラムを稼働できます。 例えば、特定のWebページを定期的にチェックしたり、クラウドストレージに追加されたファイルを即時に変換するなど、自分のパソコンを起動しないで実行できます。 今回はサーバーレスがどのよう
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Certbot を使い3分で無料の SSL 証明書を取得する | DevelopersIO
テストカバレッジが100％でもそれが意味のあるテストかは断言できない Mutation Testでテストコード自体の検証をしよう | ログミーBusiness
Git 2.38 で追加されたScalarってなに？ - COLOPL Tech Blog
日本発のCSPMツール Cloudbaseのご紹介 | DevelopersIO
GMO SSPのCloud(Google Cloud Platform)移行の失敗と成功のまとめ
EOLを迎えたSensuがPrometheusに託した、2万台規模のIaaS監視
チームの取り組みを社内に紹介する「月刊CartDev」を始めた話 - BASEプロダクトチームブログ
BigQueryの2020年アップデートを（だいたい）全部振り返る
ゲーミングキンタマを光らせる - 人間のあるべき姿の探索
ショッピングアプリ「BASE」の検索基盤を移行しました！【基盤編】 - BASEプロダクトチームブログ
Debian系の cron で気をつけること - QG Tech Blog
Databricksで分析業務がはかどっている話 - Qiita
リモートワーク歴20年以上の米国企業から学ぶ、組織コミュニケーション30の方法【Withコロナの生存戦略】｜Shota Setoguchi｜note
Lambdaのコールドスタートを改めて整理する - Qiita
MLOpsを支えるヤフー独自のモデルモニタリングサービス
Product Discoveryとインパクトで適切な支援や理解を得る LINEのSETとして実際に遭遇した課題と対策 | ログミーBusiness
開発チームの技術ブログまとめサイトを作って定期デプロイを設定した
Chompyらくとく便ができるまで｜zaq1tomo
ジモティーのデータ活用フローのご紹介 - ジモティー Tech Blog
AWS Client VPNクライアント証明書の管理手順を整理してみた | DevelopersIO
AWS Copilot をひと通り使ってみた - 本日も乙
Google Apps Script(GAS)を使ったwebスクレイピング - Qiita
サーバーレス ＋ Pythonで定期的にスクレイピングを行う方法 - ガンマソフト