Azure Container Instances + Azure Automationで超格安バッチ実行基盤を構築！！ | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ バッチを実行するためには？バッチを実行するためには、もちろんバッチを実行する基盤が必要です。代表的なものは、オンプレミスに設置する物理サーバーであったり、パブリッククラウド上に作成する仮想マシンであったりします。でも
ゲームプレイを含むシステム機能テストを自動化するAI技術とは。PS5のシステムソフトウェアQAチームの取り組みを紹介したセッションをレポート［CEDEC 2024］
ゲームプレイを含むシステム機能テストを自動化するAI技術とは。PS5のシステムソフトウェアQAチームの取り組みを紹介したセッションをレポート［CEDEC 2024］ ライター：大陸新秩序 2024年8月21日，ゲーム開発者向けカンファレンス「CEDEC 2024」にて，セッション「PlayStation 5上で人間のプレイヤーと同条件でのゲームプレイ自動化を実現するAI技術」が行われた。 このセッションでは，PS5のシステムソフトウェアのQA（品質保証）における一部の機能テストで活用しているという，ゲームプレイ自動化を実現するAI技術が紹介された。スピーカーは，以下の3名である。 ソニー・インタラクティブエンタテインメント ゲームサービスR&D部 Machine Learning Researcher 矢部博之氏 ソニー・インタラクティブエンタテインメント ゲームサービスR&D部 Mach
Sidekiq と Solid Queue の機能比較 - Kaigi on Rails day2 Sidekiq vs Solid Queue によせて - Techouse Developers Blog
Kaigi on Rails 2024 に参加しました こんにちは、クラウドハウス採用でエンジニアインターンをしている Higashiji です。 10 月の 25・26 日、Ruby on Rails についてのカンファレンス、 Kaigi on Rails 2024 が開催されました。 弊社からは新卒エンジニアの @izumitomo が「デプロイを任されたので、教わった通りにデプロイしたら障害になった件 ～俺のやらかしを越えてゆけ～ 」というセッションで登壇しました。 スライドがアップロードされているので、興味を持っていただけた方はぜひご覧になってください。 私はこれまでカンファレンスに参加したことがなかったのですが、カンファレンス参加費補助制度を使って初めて参加させていただきました。 本記事では、Shinichi Maeshima (@willnet) さんによるセッション Sid
こんにちは！ エムスリーエンジニアリンググループ QAチームの城本（@yuki_shiro_823）です。担当しているBIR（Business intelligence and Research）チームでローコード自動化サービスmablを運用した所感を紹介します。 前提 今期行ったこと メリット リグレッションテストが必要なときにすぐ対応できる QA環境を正しい状態に保ちやすい デメリット（というか自動化により発生するコスト） 継続的なメンテナンスコストが発生する 不安定なテストを作ると本来かけたくないコストが生じる コラム：mablの実行環境の違い 今後の課題 まとめ We're hiring! 前提 エムスリーではテスト自動化にローコード自動化サービスmablを利用しています。 mablとはブラウザの操作を記録することにより、ローコードでテストケースの作成を行えるテスト自動化サービスで
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい 初寄稿の @wa6sn です。8/3-4 に開催される SRE NEXT 2024 が楽しみですね。筆者の所属する 株式会社ギフティ も、GOLD スポンサーとしてブースを出しています。ノベルティも配っているので、ぜひお立ち寄りください。 さて本題ですが、今回は AWS IAM Identity Center で付与したアクセス権限の棚卸しについて述べます。SRE をやっていると、こうした AWS アカウントに対するセキュリティ対策に関わる機会も多いのではないでしょうか、ということで書いてみました。なお、筆者の環境では Control Tower を利用して全アカウントで CloudTrail を有効化しつつログを一元保管しているという前提があります。 権限クリープ マルチアカウント運用が広まっている昨今では
「Self-hosted GitHub Actions runners in AWS CodeBuild」を使ったバッチ実行基盤 - エス・エム・エス エンジニア テックブログ
お疲れ様です、SREの西田 ( @k_bigwheel ) です。 最近、バッチ処理を実行するための新しい基盤を構築したので、この記事ではそれの紹介をしたいと思います。 少々前提の説明を丁寧にやりすぎてしまったので、作ったものをまず見たいという方は「構築したバッチ実行基盤のアーキテクチャ図と概要」の項目へジャンプしてください。 バッチ実行基盤とは バッチジョブ、バッチ処理のための仕組みは、多くのWebサービスで設けられていると思います。 とてもプリミティブなものであれば、Webアプリが動いているEC2インスタンス/コンテナにログインして rake task ... などを実行するパターンが典型でしょう。 もう少し複雑になってくるとAWS CodeBuildとEventBridgeを組み合わせてサーバレスに定期実行したり、更に複雑な例ではApache AirflowやArgo Workflo
philips-labs/terraform-aws-github-runner でオートスケールするセルフホストランナーの構築・運用 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、生産性向上チームの @miyajan です！ この記事は、Cybozu Advent Calendar 2022 の一日目です。philips-labs/terraform-aws-github-runner を使ってオートスケールする GitHub Actions のセルフホストランナーを構築・運用している知見を書きます。 この話題については過去に発表しましたが、それから一年以上経って変更も多いため、あらためてブログ記事にしました。 背景 サイボウズには、サイボウズ社内のネットワークからしかアクセスできないシステムに依存して開発しているチームが複数あります。これらのチームが GitHub Actions を利用したいと思っても、GitHub が提供する Actions のランナーからはサイボウズ社内のネットワークにアクセスできません。このため、サイボウズ社内の開発チームが G
その名もecschedule。だいぶ前から作っていたのだが、この度実戦投入した。 https://github.com/Songmu/ecschedule Nature社では、ECS上でGoのサービスを動かしており、バッチ系の定期実行タスクもECS Scheduled Taskを利用している。 最近バッチの本数が増えてきて管理したくなり、このツールを導入しました。 便利だとは思うが、かなり社内事情にべったりであるため、フィードバック歓迎です。具体的には以下の制約を前提としています。 Rule名がユニークであること RuleにはTargetが1つだけ紐付いており、TaskのContainer Overridesでタスクを実行している ecspressoにかなり影響を受けており、ECS Scheduled Task用のecspressoのような作りになっています。 インストール % brew
こんにちは、技術部でバックエンドエンジニアをしている金子です。 某メーカから、エンジニアに転職して早3年が経ち、前回のブログからも1年が経ちました。 昨今のコロナ禍の影響で、皆さんも生活や仕事に影響が出ていると思います。 そんな中、5/1にロコガイドはテイクアウト・デリバリー情報サービス「トクバイ テイクアウト」をリリースしました。 「トクバイ テイクアウト」とは? まず、作成したサービスの紹介をさせてください。 トクバイ テイクアウトはご自宅近くの テイクアウト情報を見つけることができるサービスです。 飲食店の店先貼り紙などの情報を、スマートフォン等を使って素早く・簡単に・無料で、情報検索することが可能です。 こちらから、ぜひお近くのテイクアウト情報をゲットしてみてください 🙏 サービス開始時は約1,000店からのスタートでしたが、現在(2020/08/07)時点で50,000件を超え
Google Workspace カレンダーの大事っぽい予定に自動で色付けしてくれる GAS スクリプトを書きました - カミナシ エンジニアブログ
カミナシのトリ (@toricls) です。みんな大好き Google Apps Script (GAS) の小ネタです。 TL;DR 業務で使っている Google カレンダーの 外部の方がいそうな予定 オフィスとかに出社が必要そうな(≒大好きな家から出なきゃいけなさそうな)予定 あたりに、自動で「色ラベル」を付けてくれるスクリプトを GAS で書きました。 以下のような感じで、いかにも他のと違って目立つよね！という感じに色を自動で付けてくれます。例えば僕のカレンダーだと、緑色のラベルを外部の方がいそうな予定(下のスクショだと「一次面接」)に、オレンジ色のラベルを家の外にでなきゃいけなさそうな予定(下のスクショは単なる飲み会)に設定するようにしています。 便利〜 いかにも便利そうですね。 (余談:「外部の方がいそうな予定」をハイライトしたかった理由はシンプルに遅刻やすっぽかしといった事故
今回はChatGPTについて日々の試行や学習、また活用をされている事例を語る「"ChatGPT" をもっと使いたい！～活用事例Tips LT会～」。ここでしょーれー氏が登壇。5つのツールを使用して、翻訳した内容をDiscordに通知する方法を紹介します。 しょーれー氏の自己紹介 しょーれー氏：では、しょーれー（庄禮有佑氏）から発表します。connpassのページ上ではタイトルを仮にしていたのですが、さすがに仮（のまま）だとまずいので、ChatGPT君と一緒にきちんと考えてきました。僕のテーマは「ChatGPTとペアプロ OpenAI APIで翻訳した内容をDiscordに通知する」というかたちで（発表を）やらせてもらいます。よろしくお願いします。 簡単に自己紹介だけ。私は庄禮有佑といいます。27歳で、社会人になってもう5年が経ってしまいました。このイベントを主催しているラクスで働いていて、
はじめに これは Angular Advent Calendar 2019 10日目の記事です。 こんにちは (｡･ω･｡) Angular と Firebase で CGM サービス（一般ユーザー投稿型サービス）を開発している者です。 早いもので、Angular Advent Calendar も 3 回目の参加となります。 例年ではなんとなく不吉な 4 日目をいただいていたのですが、今年も募集当日にエントリーしに行くと既に 9 割ほどの枠で参加表明があり、狙っていた？ 4 日目も埋まっていました。 （どこでも良いので他の人が嫌がる確率が高そうなところに入ったろの精神 今まで #1 しかなかったカレンダーが今年は勢いそのまま #2 まで誕生し、ここ 1 年での Angular コミュニティの成長を実感しています (ﾉﾟ∀ﾟ)ﾉ 小話はこの辺で... この記事では、約 2 年間 Angul
Cloudflare WorkersのCron Triggersでリリース当番通知botを作った話 - ベースマキナ エンジニアブログ
こんにちは、syumaiです！ ベースマキナでは、現在Cloudflare WorkersのCron Triggersを活用したリリース当番通知botを社内で運用しています。このbotは、リリース対象日の朝にリリース担当メンバーにメンションを行います。実装はTypeScriptで行われています。 今回の記事では、 なぜリリース当番通知botを作ることにしたのか なぜCloudflare Workersを使ったのか Cloudflare Workersによる定期実行Workerの実装例 などについて紹介させていただきます。 なぜリリース当番通知botを作ることにしたのか もともと、ベースマキナでは、リリース担当のメンバーを特に決めていませんでした。リリース担当が決まっていないと、自然と「直近機能開発を行ったメンバー」がリリースを自主的に行うようになります。すると、タスクの持ち具合によって、設
シェルからのSQL実行をAmazon ECSを使ってサーバーレスに実現してみる - 虎の穴開発室ブログ
こんにちは。虎の穴ラボの鷺山です。 この記事は「虎の穴ラボ 夏のアドベントカレンダー」の3日目の記事です。 2日目は植竹さんによる「GCPの監視機能 Monitoring の推しポイント紹介」が投稿されました。 4日目はH.Y.さんによる「Amazon WorkSpacesで色々試してみる。」が投稿されます。こちらもぜひご覧ください。 はじめに データベースを運用していると、「挿入・変更・削除などのちょっとしたデータ操作を、シェルスクリプトの中にSQLを書いて実行」したりすることはあると思います。 今回はそのような処理をAmazon ECSのタスク実行を使ってサーバーレスに実現する方法をご紹介したいと思います。 コンテナの起動にAWS Lambdaも使用します。 環境 データベース: MySQL 5.7 (Aurora 2.10.2) この記事の付録にPostgreSQLでの方法もご紹介し
New Relic Alert でサービス全機能のエラー監視を実現させてみた - Sansan Tech Blog
Eight事業部プロダクト部 Platform Group / Engineering Manager の 藤井洋太郎(yotaro) です。 このエントリは New Relic Advent Calendar 2019 - Qiita の12/13分のものです。 前回、以下のNew Relicを活用したパフォーマンスチューニング事例の記事を書かせていただきましたが、 そこからいろいろとご縁があり、今ではすっかりNew Relic活用大臣と化しています🤵🏻 さて、今回は「Eightサービス上の全ての機能ごとに400系-500系のエラー急増の監視を New Relic Alert にブチ込んだ話」をしたいと思います。 Eight のこれまでの監視 Eight ではこれまでもインフラ基盤やアプリケーション上で発生する「予期せぬエラーや障害」を検知し迅速に対応に入れる仕組みづくりを積極的に行
BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
Renovate による依存関係更新フロー改善ことはじめ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、生産性向上チームの平木場 (@Shitimi_613) です。みなさん依存関係更新は定期的にやっていますか？今回は生産性向上チームが開発した assam という OSS の依存関係更新フローを改善したお話をします。 目次 はじめに こまめに依存関係を更新していくために 要求 決めた取り組み 実際にやったこと 動作確認手順書の作成 Renovate 設定ファイルの修正 更新タスクの自動生成 やってみた結果 まとめ We're hiring! はじめに 生産性向上チームは assam という OSS を開発およびメンテナンスしています1。必要な機能の開発はすでに終えており、現在は問題が発生した場合に bug fix や脆弱性改修をリリースしています。 そのため、リリースは頻繁に行っているわけではなく、assam のコードに触れるときは何か問題が起きたときだけです。その結果、リリース
はじめまして。 脆弱性自動管理ツール「yamory」の起案からサービス全体のディレクションに携わっているサイバーセキュリティ事業部 プロダクト開発部 部長の鈴木康弘（やっぴー）です。 2019 年も終わりに差し掛かり、2020 年が始まろうとしているので、このタイミングで「yamory」のこれまでを振り返りながら、今後目指していきたい世界や 2020 年の抱負について、言葉にしていきたいと思います。 脆弱性自動管理ツール「yamory」とは 「yamory」は大多数のソフトウェア開発で利用されているソフトウェア/サービス内のオープンソースソフトウェア（OSS）の脆弱性をソースコードを転送することなく管理し、対応優先度ごとに自動判別できるツールです。 ソフトウェア/サービス開発にて効率の面からも利便性の面からも当たり前になっているOSS利用。 開発が拡張していくと、「どこで、どんなOSSのど
本記事は Classi Advent Calendar 2020 15日目の記事です。 こんにちは。データAI部でデータエンジニアをしている@tomoyanamekawaです。 GCPにはデータ処理関連のサービスが複数あり、「Aにあるデータを加工してBに置きたい」といった処理（ETL処理）の実現方法がGCP内のサービスに限っても様々な選択肢があります。 また、data*といった似た名前のサービスが多く、初見だとわかりづらい部分があります。 そこでそれらサービスの使い分けの参考になればと思ってまとめます。 GCPにあるETL処理関連のサービス紹介 ETL処理に関連するサービスだけでも下記のように複数あります。 Cloud Composer Apache Airflowをベースにしたワークフロー管理サービス。 裏でGKEが立っていてユーザーからクラスターやインスタンスも見えて、少し管理が必要な
iOSアプリ開発でVisual Regression Testingを導入しUIのデグレ検知を自動化した話 - Uzabase for Engineers
NewsPicks Mobile App Unitでインターンをしているりゅう(@ryu_hu03)です。 NewsPicksのiOSおよびAndroidアプリは基本的に週一で新しいバージョンがリリースされています。 リリース作業の多くは自動化されており、重要な機能についてはUIテストによって品質が担保されるようになっているのですが、見た目上のデザイン崩れが起きていないかの確認はこれまで手動で行っていました。 デザイン崩れがないかどうかの確認は目視でやるしかなく、確認項目もそれなりに多いので、デザイン崩れの見落としがあったりリリース作業自体の負荷が大きいといった課題がありました。 そこで、デザイン崩れが起きていないかどうかの確認を自動化すべく、Visual Regression Testingを実装しました。 本記事では、その実装や効果についての話をしたいと思います。 使用したツールと流れ
本記事はコネヒト Advent Calendar 2019の9日目のエントリーになります。 こんにちは！CTOの @itosho です。Jリーグでは横浜F・マリノスが15年ぶりに優勝しましたね⚽おめでとうございます！僕は鹿島アントラーズのサポーターなので、天皇杯に気持ちを切り替えています。 早速ですが、皆さん、会議は好きですか？僕もそうなのですが、しなくていいならしたくないという方が多いのではないでしょうか？というわけで、今日は会議の話をしたいと思います。 カレンダー調太郎とは？ カレンダー調太郎（しらべたろう、と読みます）は開発部*1メンバーの1週間の会議時間を見える化するSlackアプリです。毎週金曜日にみんなの1週間の会議時間をSlackに通知します。また、前週比や来週の見込みも分かるようにしています。 カレンダー調太郎の通知の一部 こんな感じで通知され、僕の会議時間が21時間だった
Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成してみる - Yappli Tech Blog
SREチームの中原です。 Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成する方法について書いてみます。 TL;DR Aurora MySQL 2.x で運用しているDBでも Serverless v2 な調査用DB立てられるよ ただし毎回メジャーバージョンアップの処理が必要なので時間かかるよ (弊社の環境で1.5〜3時間) Aurora Serverless v2 だとクエリーの途中でもスケールアップしてくれるのでハッピーだよ AWS さん Aurora Serverless v2 の Aurora MySQL 2.x 対応はよ！ Aurora MySQL 3.x の LTS 版提供はよ！ 経緯 弊社の本番DBは Aurora MySQL 2.x の LTS バージョンで運用しています。 これまで本番影響なく調査用
こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 データプラットフォームチームはデータAI部のメンバーで構成されていて、データ分析基盤を中心としたデータ活用に関するシステムに責務を持つチームです。 データAI部が出来てから3年が経ち、データ分析基盤を今の形で運用をして1年半が経過しました。 データエンジニアの採用活動の中でデータ分析基盤を紹介する必要がある一方、説明コストが高く困っていました。 そこで今回は「ソクラテス」と呼んでいる社内のデータ分析基盤について紹介します。 （データAI部ではシステム基盤に哲学者の名前をつける慣習があります。） ソクラテスの責務 Classiのデータ分析基盤ではData Lake(DL), Data Warehouse(DWH), Data Mart(DM)の3層構造を採用しており、そのETL
カケハシがDatabricksを導入した背景と技術選定のポイント - KAKEHASHI Tech Blog
初めまして、カケハシのデータ基盤チームでデータエンジニアしている大木と申します。 この度カケハシでは、全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し、2022/07より本格導入することとなりました。 当記事では、カケハシがDatabricksを採用するに至った技術選定の背景について紹介させていただきます。 ※カケハシのデータ基盤の組成のお話はこちらの記事で詳しく紹介されておりますので良ければご覧ください。 カケハシのデータ基盤アーキテクチャと課題 まずカケハシのデータ基盤のアーキテクチャと抱えている課題について紹介します。 Databricks導入に伴い現在は一部変更が入りつつあるのですが、導入前のアーキテクチャとしては以下のような構成になっていました。 様々なデータソースから収集した生データをAWSのS3に集約 Glue、Athena等のETLサービス、分散処
【はじめてのIoTシステム構築】会社のロッカーの様子を遠隔から確認できる仕組みを作ってみた - NTT Communications Engineers' Blog
はじめに はじめまして。クラウド&ネットワークサービス部 データプラットフォームビジネス推進部門でIoT Connect Mobile Type S（以下 ICMS）の販売推進を担当している、櫻井幸大です。普段はICMS/モバイル回線の開発～運用を担当しているのですが、今回はOJT（別部署で勤務をする社内研修）のためICMSの販売推進として記事執筆をすることとなりました。 今回は、ICMSを使い販売推進担当で遠くからカメラを動かすシステムを作ってみましたので（機器を他社から購入し、ICMSと組み合わせて自分たちでプログラムを作りました）、その様子をお伝えします。 ICMSとは？ ICMSとは、NTT Comが提供するIoTデバイス向けのSIMカード/通信回線です。SIMカードと通信回線を管理するためのポータルもセットで提供しています。お客さまの用途に合わせて柔軟に料金プランや接続方式を選択
メモリリークを検出するmemlabをAngularで試してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月15日 の記事です。 こんにちは。 最近の趣味がAtCoderのmaron8676です。パズルを解くみたいに楽しめて、勉強にもなるので毎週コンテストに参加しています。 さて、2022/09にMeta社からmemlabというメモリリーク検出のためのフレームワークがリリースされました。 facebook.github.io 気になって調べたところチュートリアルを試していた方はいましたが、他にもスナップショットファイルの解析などmemlabが提供している機能があるようだったため、この機会に試してみた結果を書いていきます。 memlabとメモリリーク memlabの機能 Angularのメモリリークを検出してみる 検出対象のWebアプリ memlabを使った検出 memlabを使った原因調査 修正後の確認 まとめ 参考サイト memlabとメモリリーク
この記事では、Seleniumでクローリング・スクレイピングを実践で安定稼働させるために行うべき設定を3つにまとめました。 待機処理 エラー内容を通知する 処理をリトライする ちゃんと設定すれば、不安定なSeleniumでも、安定して定期実行できるようになるでしょう…！ 厳しいことを言うと、苦労して作ったSeleniumテストが不安定だったら現場には無価値ですしね〜。 この記事にまとめた内容が活かされて、安定したクローリング・スクレイピングが行えるようになったら…と祈るばかりです。 待機処理 Seleniumを使用したクローリング・スクレイピングのプログラムを安定稼働させるために、まず設定して欲しい項目があります。 それは、Web Driverの待機処理を追加することです。 Seleniumのエラーの原因は、find_element_xxxメソッドで、指定した要素が見つからないことが95%
Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
検索の応答性能を維持するための Benchmarking Automation | メルカリエンジニアリング
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercari" の一環で書かれています。 はじめに こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は Embedded SRE としてメルカリJPの検索に関連するマイクロサービスを提供している サーチインフラチームに入り、サービスの信頼性向上やインフラ周りの自動化に従事しています。今回は、メルカリの商品検索の応答性能を維持するための Benchmarking Automation の取り組みについて紹介したいと思います。 検索基盤のアーキテクチャ まず、検索基盤のアーキテクチャについて簡単に説明します。主要なコンポーネントに絞ってシンプルに表現したものが以下の図になります。 各コンポー
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る | Wantedly Engineer Blog
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る こんにちは。Matching チームの笠井（@unblee）です。 この記事では、おおよそ1年以上前に私が新卒入社して Infrastructure チームで一番最初に取り組んだ Workflow Engine の導入プロジェクトについての振り返り・供養をしようと思います。 記事内で触れている情報・判断は全て1年以上前の時点の社内外の状況に基づいていることを前提としているため現在の最新の情報とは異なることがあります。この前提を承知した上でお読みいただければ幸いです。 Agenda問題意識技術選定PoC本番環境への導入とその障壁の解決振り返りまとめ問題意識Wantedly では以前から推薦基盤へ力を注いでおり、Wantedly Visit におけるユーザと企業の理想のマ
SWETグループの長谷川（ @nowsprinting ）です。 開発者自身の手によるUnityプロジェクトの品質向上アプローチのひとつに、ゲームプレイを自動化するオートパイロットによる検証があります。 このアプローチについて、DeNA内で開発・導入を進めているフレームワークAnjinを昨年紹介しました。 swet.dena.com また、Anjin自体も先日オープンソース化しました。こちらのリポジトリからご利用いただけます。 github.com 本記事では、Anjinの、主にオートパイロットを安定運用するための機能を紹介します。 Automated QAが保存するスクリーンショットの退避 uGUIコンポーネントのシナリオテストを行なう UGUIPlaybackAgent の実装には、 Automated QAパッケージ のRecorded Playback機能を使用しています。 Pla
本記事は リクルートライフスタイル Advent Calendar 2019 7日目の記事です。 じゃらんnetを担当している砂川です。 じゃらんnetでは一部の機能を AWS Fargate上に構築して提供しています。 リリースから数ヶ月経ちましたが、安定して運用することができています。 本記事では、AWS Fargateを採用するにあたって、技術選定時に考えた観点、本番運用するために取り組んだトピックについて書いていきたいと思います。 AWS Fargateとは AWS Fargateとは、AWSが提供するマネージドなコンテナ実行環境です。Aamazon ECS の起動タイプとして選択することで利用できます。Amazon ECSのもう1つの起動タイプであるEC2起動タイプと比較すると、コンテナを実行するサーバを直接意識する必要がなく、サーバのインスタンスタイプの選択やクラスタ管理がいら
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
はるか昔に受託で作って運用管理しているWPサイトが最近たびたび落ちるので、deno-puppeteerとGitHub Actionsでお手軽外形監視をやってみました。 🚨 作ったもの 以下のように毎日指定時刻に指定したURLにアクセスして、HTTPレスポンスの確認とスクショの撮影を実行、結果をSlackに通知してくれるツールです。 サイト画像はdummyです もし、200以外のステータスコードが返ってきた場合は、異常とみなしメンション付きで通知してくれます。 異常があった場合にどんな状態だったか・何日前から異常があったのかもSlackチャネルをみればすぐにわかるので便利です。 🛠️ 仕組み・実装 仕組みはとても単純です。 GitHub Actionsで定期実行するdenoのスクリプトで、指定したURLにアクセスして、HTTPレスポンスの確認とスクリーンショットの撮影を行い結果をSlac
施工管理サービスの定期実行ジョブ処理基盤をEC2からコンテナへ移行しました - ANDPAD Tech Blog
この記事はANDPAD Advent Calendar 2022の 23 日目の記事です。 こんにちは、アンドパッドSWEの あかりです。ニックネームではなく本名です。このひらがな3文字にはネット上では優しくされたいという願望が込められていますw 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービス内で定期実行されていた非同期処理(以後、定期実行ジョブとする)の実行基盤を、EC2からコンテナに移行しました。 この記事では、その移行方法について説明します。 2. 前提の説明 説明の前提として、施工管理サービスのインフラ概要図を下図に示します。左がコンテナ移行前の概要図で、右がコンテナ移行後の概要図になります。 インフラ概要 元々、施工管理サービスは3種類のサーバで構成されており、それぞれ以下のような役割を担っていました。 サーバ 説明 frontサーバ ユーザーからのリク
開催直前！AWS Builders Online Series の歩き方 #AWSBuilders | Amazon Web Services
Amazon Web Services ブログ 開催直前！AWS Builders Online Series の歩き方 #AWSBuilders こんにちは、ソリューションアーキテクトの金澤（@ketancho）です。1月もあっという間に半分が終わってしまい、焦りを感じつつある今日この頃なのですが皆さまいかがお過ごしですか？私はやっと今年の目標が決まり、エンジンが掛かりつつあります。息切れしないようにコツコツやっていきたいところです。 さて、「今年の目標」と書きましたが、2022 年の目標として「AWS を使い始める」や「AWS 力を上げていきたい」を掲げた方、あるいは身近な方でそれを掲げられている方はいらっしゃいませんでしょうか？そのような皆さまにおすすめなイベント AWS Builders Online Series が今週木曜日 1/20 に開催されます。 AWS Builders
ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化 - Pepabo Tech Portal
こんにちは！GMOペパボで Customer Ops を担当しているもりまい（@morimai）です。今回は、2020年7月に発足した CS 室の Customer Ops チームで取り組んでいる「ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化」について紹介します。 CS がひとつになった！Customer Ops チーム立ち上げ CS 室の課題 ペパボのログ活用基盤『Bigfoot』を使った Zendesk の問い合わせデータの可視化 (1)Zendesk のデータを BigQuery へ取り込む (2)BigQuery へ取り込んだ Zendesk のデータをサービスごとのデータセットに振り分ける (3)サービスごとに振り分けられたデータを集計、グラフ化する まとめ CS がひとつになった！Customer Ops チーム立ち上げ 元々ペパボでは、活動拠
こんにちは、株式会社スマートラウンドSREの@shonansurvivorsです。 当社はプロダクトのコンテナイメージをAmazon ECRに保存しています。 今回、コスト削減の一環でECRに溜まっていく不要イメージを削除することにしました。 その際、ecrmを定期的に実行して削除するようにしました。 ecrmとは ecrmは「使用されていない」ECRのイメージを削除するOSSです。 ECRのライフサイクルポリシーは、世代数や、イメージがpushされてからの日数などに基づいて古いイメージを削除してくれますが、ECSタスク等で使用中のイメージを削除してしまう懸念があります。 ecrmはそうしたこと無く、安全に古いイメージを削除することのできる大変ありがたいOSSです。 詳細な仕様はecrmを紹介するブログを参照ください。 定期削除の構成図 ecrmはCodeBuild上で実行することにしまし
レバレジーズのデータ戦略室で室長をしている阪上です。今回はレバレジーズの運営するメディアの取材における課題について紹介したいと思います。 課題 レバレジーズが運営しているメディアで取材が数多く行われているのですが、取材音声の文字起こしをこれまで人手のみで行なっていました。1時間の取材の場合、1時間以上に文字起こしに時間がかかったりするため、記事を書く上での重要な情報資源ながら、人に対する負担が大きい状態でした。そこで、現場の悩みを解決したいと思いました。 仕組みの説明 まず、求められる要件を以下の通りです。 求められる要件 文字起こしをして欲しい。 Googleドライブにアップロードしたら自動で文字起こしされ、結果もGoogleドライブに返して欲しい。 文字起こし結果を一定の文字数で改行して欲しい 朝の8時から夜の21時までは処理を受け付けて欲しい、1~2時間以内に処理結果が欲しい 様々な
📢 少しだけ宣伝させてください 🙏 来る7/20にPHPカンファレンス神戸を開催します！！ 小さい箱での開催のため、参加枠に限りがあります！ぜひお早めにお申し込みください！ 改めて、はじめに こんにちは、今回も株式会社hitocolorのKanonとしてお目にかかます。 先日、『Mutation Testingライブラリ・Strykerを実戦導入してみた』という記事を公開しました。 今回はある意味、前回の続編。バックエンドへMutation Testを導入してみたので、同じく実戦導入にあたってのアレコレをお話ししたいなと思い筆を取りました。 おそらくInfectionを実戦導入例を踏まえての記事は、これが日本だと初めてではないでしょうか。 実はこれの続編でもある この記事はMutaion Testの実戦導入においてフロント続編なのですが、実は以下の記事の続編でもあります。 実は以前から
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mablを一年運用してみた成果と課題 - エムスリーテックブログ
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい
ECSのScheduled Taskを管理するツールを作った | おそらくはそれさえも平凡な日々
「トクバイ テイクアウト」を最速でリリースした話 - ロコガイド テックブログ
OpenAI APIを活用して、翻訳した内容をDiscordに通知する 情報収集源を集約するために考えたChatGPT活用Tips
Angular と Firebase で月間PV1億超えの PWA を作った話 - Qiita
Blog｜yamoryの今までを振り返り、2020年に目指すこと
GCPのデータ処理・ETL系サービスの使い分け - Qiita
会議量を見える化する「カレンダー調太郎」を作りました - コネヒト開発者ブログ
Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログ
Seleniumを安定稼働させるために行うべき３つの設定(Headlessモードにも対応)
Unityプロジェクト向けオートパイロットフレームワークの運用Tips - DeNA Testing Blog
本番環境にAWS Fargateを採用しました | Recruit Tech Blog
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
deno-puppeteerとGitHub ActionsでWEBサイトの外形監視をお手軽に
ecrmを定期実行してECRの不要イメージを安全に削除する
「AI文字起こし妖精さん」について - Leverages データ戦略ブログ
PHPのMutation Testingライブラリ・Infectionを実戦導入してみた