ゲームプレイを含むシステム機能テストを自動化するAI技術とは。PS5のシステムソフトウェアQAチームの取り組みを紹介したセッションをレポート［CEDEC 2024］
ゲームプレイを含むシステム機能テストを自動化するAI技術とは。PS5のシステムソフトウェアQAチームの取り組みを紹介したセッションをレポート［CEDEC 2024］ ライター：大陸新秩序 2024年8月21日，ゲーム開発者向けカンファレンス「CEDEC 2024」にて，セッション「PlayStation 5上で人間のプレイヤーと同条件でのゲームプレイ自動化を実現するAI技術」が行われた。 このセッションでは，PS5のシステムソフトウェアのQA（品質保証）における一部の機能テストで活用しているという，ゲームプレイ自動化を実現するAI技術が紹介された。スピーカーは，以下の3名である。 ソニー・インタラクティブエンタテインメント ゲームサービスR&D部 Machine Learning Researcher 矢部博之氏 ソニー・インタラクティブエンタテインメント ゲームサービスR&D部 Mach
その名もecschedule。だいぶ前から作っていたのだが、この度実戦投入した。 https://github.com/Songmu/ecschedule Nature社では、ECS上でGoのサービスを動かしており、バッチ系の定期実行タスクもECS Scheduled Taskを利用している。 最近バッチの本数が増えてきて管理したくなり、このツールを導入しました。 便利だとは思うが、かなり社内事情にべったりであるため、フィードバック歓迎です。具体的には以下の制約を前提としています。 Rule名がユニークであること RuleにはTargetが1つだけ紐付いており、TaskのContainer Overridesでタスクを実行している ecspressoにかなり影響を受けており、ECS Scheduled Task用のecspressoのような作りになっています。 インストール % brew
こんにちは！ エムスリーエンジニアリンググループ QAチームの城本（@yuki_shiro_823）です。担当しているBIR（Business intelligence and Research）チームでローコード自動化サービスmablを運用した所感を紹介します。 前提 今期行ったこと メリット リグレッションテストが必要なときにすぐ対応できる QA環境を正しい状態に保ちやすい デメリット（というか自動化により発生するコスト） 継続的なメンテナンスコストが発生する 不安定なテストを作ると本来かけたくないコストが生じる コラム：mablの実行環境の違い 今後の課題 まとめ We're hiring! 前提 エムスリーではテスト自動化にローコード自動化サービスmablを利用しています。 mablとはブラウザの操作を記録することにより、ローコードでテストケースの作成を行えるテスト自動化サービスで
こんにちは。本記事は ykpythemind、mame、 ko1 が共著しています。 今回は開発版のRuby(Ruby head)を用いてSTORESのRailsアプリケーションのCIを定期実行していることと、それによってRuby本体の開発にフィードバックをしていることについてお話します。 モチベーション STORES はRubyを用いて10年選手のRails製アプリケーションを複数開発・運用しており、事業の柱となる技術として大きく投資をしています。 具体的にはRubyのフルタイムコミッター2名がジョインしていたり、RubyKaigiを始めとする各カンファレンスへ協賛をしております。 product.st.inc product.st.inc product.st.inc Rubyをとりまく環境として非常に恵まれた会社であることは間違いないでしょう。その中で、普段からアプリケーションコード
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい 初寄稿の @wa6sn です。8/3-4 に開催される SRE NEXT 2024 が楽しみですね。筆者の所属する 株式会社ギフティ も、GOLD スポンサーとしてブースを出しています。ノベルティも配っているので、ぜひお立ち寄りください。 さて本題ですが、今回は AWS IAM Identity Center で付与したアクセス権限の棚卸しについて述べます。SRE をやっていると、こうした AWS アカウントに対するセキュリティ対策に関わる機会も多いのではないでしょうか、ということで書いてみました。なお、筆者の環境では Control Tower を利用して全アカウントで CloudTrail を有効化しつつログを一元保管しているという前提があります。 権限クリープ マルチアカウント運用が広まっている昨今では
philips-labs/terraform-aws-github-runner でオートスケールするセルフホストランナーの構築・運用 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、生産性向上チームの @miyajan です！ この記事は、Cybozu Advent Calendar 2022 の一日目です。philips-labs/terraform-aws-github-runner を使ってオートスケールする GitHub Actions のセルフホストランナーを構築・運用している知見を書きます。 この話題については過去に発表しましたが、それから一年以上経って変更も多いため、あらためてブログ記事にしました。 背景 サイボウズには、サイボウズ社内のネットワークからしかアクセスできないシステムに依存して開発しているチームが複数あります。これらのチームが GitHub Actions を利用したいと思っても、GitHub が提供する Actions のランナーからはサイボウズ社内のネットワークにアクセスできません。このため、サイボウズ社内の開発チームが G
こんにちは、技術部でバックエンドエンジニアをしている金子です。 某メーカから、エンジニアに転職して早3年が経ち、前回のブログからも1年が経ちました。 昨今のコロナ禍の影響で、皆さんも生活や仕事に影響が出ていると思います。 そんな中、5/1にロコガイドはテイクアウト・デリバリー情報サービス「トクバイ テイクアウト」をリリースしました。 「トクバイ テイクアウト」とは? まず、作成したサービスの紹介をさせてください。 トクバイ テイクアウトはご自宅近くの テイクアウト情報を見つけることができるサービスです。 飲食店の店先貼り紙などの情報を、スマートフォン等を使って素早く・簡単に・無料で、情報検索することが可能です。 こちらから、ぜひお近くのテイクアウト情報をゲットしてみてください 🙏 サービス開始時は約1,000店からのスタートでしたが、現在(2020/08/07)時点で50,000件を超え
Google Workspace カレンダーの大事っぽい予定に自動で色付けしてくれる GAS スクリプトを書きました - カミナシ エンジニアブログ
カミナシのトリ (@toricls) です。みんな大好き Google Apps Script (GAS) の小ネタです。 TL;DR 業務で使っている Google カレンダーの 外部の方がいそうな予定 オフィスとかに出社が必要そうな(≒大好きな家から出なきゃいけなさそうな)予定 あたりに、自動で「色ラベル」を付けてくれるスクリプトを GAS で書きました。 以下のような感じで、いかにも他のと違って目立つよね！という感じに色を自動で付けてくれます。例えば僕のカレンダーだと、緑色のラベルを外部の方がいそうな予定(下のスクショだと「一次面接」)に、オレンジ色のラベルを家の外にでなきゃいけなさそうな予定(下のスクショは単なる飲み会)に設定するようにしています。 便利〜 いかにも便利そうですね。 (余談:「外部の方がいそうな予定」をハイライトしたかった理由はシンプルに遅刻やすっぽかしといった事故
こういうのあったら世界は変わるか？ 実際に作ってみるか？ データマネジメント2025年〜2030年はこういう話になってくるか？ どんなサービスか バーチャルAI社員のマーケットプレイス。 クリエイターや事業家が、人を雇わずに（あるいは少人数で）ビジネスをスケールさせるためのプラットフォーム。 All in One な SaaS にする案 vs SaaS of SaaS みたいな Data Management Platform & Pipeline になる案でせめぎ合っている。 人間はAI社員のマネジメントをしつつ、ビジネス全体を見渡したり、プロダクトコンセプトを磨き込むことに専念する。 DevinみたいなAI社員が各領域に進展して、AI社員たちが分担して仕事を進めたり、相互レビューしたり、ドキュメントを整備したり、人間向けの進捗報告や日報を書くようになったら、指示を出す側の人間は↓のよう
Cloudflare WorkersのCron Triggersでリリース当番通知botを作った話 - ベースマキナ エンジニアブログ
こんにちは、syumaiです！ ベースマキナでは、現在Cloudflare WorkersのCron Triggersを活用したリリース当番通知botを社内で運用しています。このbotは、リリース対象日の朝にリリース担当メンバーにメンションを行います。実装はTypeScriptで行われています。 今回の記事では、 なぜリリース当番通知botを作ることにしたのか なぜCloudflare Workersを使ったのか Cloudflare Workersによる定期実行Workerの実装例 などについて紹介させていただきます。 なぜリリース当番通知botを作ることにしたのか もともと、ベースマキナでは、リリース担当のメンバーを特に決めていませんでした。リリース担当が決まっていないと、自然と「直近機能開発を行ったメンバー」がリリースを自主的に行うようになります。すると、タスクの持ち具合によって、設
シェルからのSQL実行をAmazon ECSを使ってサーバーレスに実現してみる - 虎の穴開発室ブログ
こんにちは。虎の穴ラボの鷺山です。 この記事は「虎の穴ラボ 夏のアドベントカレンダー」の3日目の記事です。 2日目は植竹さんによる「GCPの監視機能 Monitoring の推しポイント紹介」が投稿されました。 4日目はH.Y.さんによる「Amazon WorkSpacesで色々試してみる。」が投稿されます。こちらもぜひご覧ください。 はじめに データベースを運用していると、「挿入・変更・削除などのちょっとしたデータ操作を、シェルスクリプトの中にSQLを書いて実行」したりすることはあると思います。 今回はそのような処理をAmazon ECSのタスク実行を使ってサーバーレスに実現する方法をご紹介したいと思います。 コンテナの起動にAWS Lambdaも使用します。 環境 データベース: MySQL 5.7 (Aurora 2.10.2) この記事の付録にPostgreSQLでの方法もご紹介し
しょーれー氏の自己紹介しょーれー氏：では、しょーれー（庄禮有佑氏）から発表します。connpassのページ上ではタイトルを仮にしていたのですが、さすがに仮（のまま）だとまずいので、ChatGPT君と一緒にきちんと考えてきました。僕のテーマは「ChatGPTとペアプロ OpenAI APIで翻訳した内容をDiscordに通知する」というかたちで（発表を）やらせてもらいます。よろしくお願いします。 簡単に自己紹介だけ。私は庄禮有佑といいます。27歳で、社会人になってもう5年が経ってしまいました。このイベントを主催しているラクスで働いていて、今は「楽楽販売」の担当チームにいます。 趣味はゲームやアニメが好きで、最近のブーム的なところでいうと「ELDEN RING」のDLCはまだなのかとずっとモヤモヤしています。あとは、数年ぶりに観たコナンの映画がすっごく良くて、技術の進歩を感じました。 テーマの
Renovate による依存関係更新フロー改善ことはじめ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、生産性向上チームの平木場 (@Shitimi_613) です。みなさん依存関係更新は定期的にやっていますか？今回は生産性向上チームが開発した assam という OSS の依存関係更新フローを改善したお話をします。 目次 はじめに こまめに依存関係を更新していくために 要求 決めた取り組み 実際にやったこと 動作確認手順書の作成 Renovate 設定ファイルの修正 更新タスクの自動生成 やってみた結果 まとめ We're hiring! はじめに 生産性向上チームは assam という OSS を開発およびメンテナンスしています1。必要な機能の開発はすでに終えており、現在は問題が発生した場合に bug fix や脆弱性改修をリリースしています。 そのため、リリースは頻繁に行っているわけではなく、assam のコードに触れるときは何か問題が起きたときだけです。その結果、リリース
BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
本記事は Classi Advent Calendar 2020 15日目の記事です。 こんにちは。データAI部でデータエンジニアをしている@tomoyanamekawaです。 GCPにはデータ処理関連のサービスが複数あり、「Aにあるデータを加工してBに置きたい」といった処理（ETL処理）の実現方法がGCP内のサービスに限っても様々な選択肢があります。 また、data*といった似た名前のサービスが多く、初見だとわかりづらい部分があります。 そこでそれらサービスの使い分けの参考になればと思ってまとめます。 GCPにあるETL処理関連のサービス紹介 ETL処理に関連するサービスだけでも下記のように複数あります。 Cloud Composer Apache Airflowをベースにしたワークフロー管理サービス。 裏でGKEが立っていてユーザーからクラスターやインスタンスも見えて、少し管理が必要な
iOSアプリ開発でVisual Regression Testingを導入しUIのデグレ検知を自動化した話 - Uzabase for Engineers
NewsPicks Mobile App Unitでインターンをしているりゅう(@ryu_hu03)です。 NewsPicksのiOSおよびAndroidアプリは基本的に週一で新しいバージョンがリリースされています。 リリース作業の多くは自動化されており、重要な機能についてはUIテストによって品質が担保されるようになっているのですが、見た目上のデザイン崩れが起きていないかの確認はこれまで手動で行っていました。 デザイン崩れがないかどうかの確認は目視でやるしかなく、確認項目もそれなりに多いので、デザイン崩れの見落としがあったりリリース作業自体の負荷が大きいといった課題がありました。 そこで、デザイン崩れが起きていないかどうかの確認を自動化すべく、Visual Regression Testingを実装しました。 本記事では、その実装や効果についての話をしたいと思います。 使用したツールと流れ
Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成してみる - Yappli Tech Blog
SREチームの中原です。 Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成する方法について書いてみます。 TL;DR Aurora MySQL 2.x で運用しているDBでも Serverless v2 な調査用DB立てられるよ ただし毎回メジャーバージョンアップの処理が必要なので時間かかるよ (弊社の環境で1.5〜3時間) Aurora Serverless v2 だとクエリーの途中でもスケールアップしてくれるのでハッピーだよ AWS さん Aurora Serverless v2 の Aurora MySQL 2.x 対応はよ！ Aurora MySQL 3.x の LTS 版提供はよ！ 経緯 弊社の本番DBは Aurora MySQL 2.x の LTS バージョンで運用しています。 これまで本番影響なく調査用
こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 データプラットフォームチームはデータAI部のメンバーで構成されていて、データ分析基盤を中心としたデータ活用に関するシステムに責務を持つチームです。 データAI部が出来てから3年が経ち、データ分析基盤を今の形で運用をして1年半が経過しました。 データエンジニアの採用活動の中でデータ分析基盤を紹介する必要がある一方、説明コストが高く困っていました。 そこで今回は「ソクラテス」と呼んでいる社内のデータ分析基盤について紹介します。 （データAI部ではシステム基盤に哲学者の名前をつける慣習があります。） ソクラテスの責務 Classiのデータ分析基盤ではData Lake(DL), Data Warehouse(DWH), Data Mart(DM)の3層構造を採用しており、そのETL
メモリリークを検出するmemlabをAngularで試してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月15日 の記事です。 こんにちは。 最近の趣味がAtCoderのmaron8676です。パズルを解くみたいに楽しめて、勉強にもなるので毎週コンテストに参加しています。 さて、2022/09にMeta社からmemlabというメモリリーク検出のためのフレームワークがリリースされました。 facebook.github.io 気になって調べたところチュートリアルを試していた方はいましたが、他にもスナップショットファイルの解析などmemlabが提供している機能があるようだったため、この機会に試してみた結果を書いていきます。 memlabとメモリリーク memlabの機能 Angularのメモリリークを検出してみる 検出対象のWebアプリ memlabを使った検出 memlabを使った原因調査 修正後の確認 まとめ 参考サイト memlabとメモリリーク
カケハシがDatabricksを導入した背景と技術選定のポイント - KAKEHASHI Tech Blog
初めまして、カケハシのデータ基盤チームでデータエンジニアしている大木と申します。 この度カケハシでは、全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し、2022/07より本格導入することとなりました。 当記事では、カケハシがDatabricksを採用するに至った技術選定の背景について紹介させていただきます。 ※カケハシのデータ基盤の組成のお話はこちらの記事で詳しく紹介されておりますので良ければご覧ください。 カケハシのデータ基盤アーキテクチャと課題 まずカケハシのデータ基盤のアーキテクチャと抱えている課題について紹介します。 Databricks導入に伴い現在は一部変更が入りつつあるのですが、導入前のアーキテクチャとしては以下のような構成になっていました。 様々なデータソースから収集した生データをAWSのS3に集約 Glue、Athena等のETLサービス、分散処
この記事では、Seleniumでクローリング・スクレイピングを実践で安定稼働させるために行うべき設定を3つにまとめました。 待機処理 エラー内容を通知する 処理をリトライする ちゃんと設定すれば、不安定なSeleniumでも、安定して定期実行できるようになるでしょう…！ 厳しいことを言うと、苦労して作ったSeleniumテストが不安定だったら現場には無価値ですしね〜。 この記事にまとめた内容が活かされて、安定したクローリング・スクレイピングが行えるようになったら…と祈るばかりです。 待機処理 Seleniumを使用したクローリング・スクレイピングのプログラムを安定稼働させるために、まず設定して欲しい項目があります。 それは、Web Driverの待機処理を追加することです。 Seleniumのエラーの原因は、find_element_xxxメソッドで、指定した要素が見つからないことが95%
Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
検索の応答性能を維持するための Benchmarking Automation | メルカリエンジニアリング
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercari" の一環で書かれています。 はじめに こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は Embedded SRE としてメルカリJPの検索に関連するマイクロサービスを提供している サーチインフラチームに入り、サービスの信頼性向上やインフラ周りの自動化に従事しています。今回は、メルカリの商品検索の応答性能を維持するための Benchmarking Automation の取り組みについて紹介したいと思います。 検索基盤のアーキテクチャ まず、検索基盤のアーキテクチャについて簡単に説明します。主要なコンポーネントに絞ってシンプルに表現したものが以下の図になります。 各コンポー
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る | Wantedly Engineer Blog
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る こんにちは。Matching チームの笠井（@unblee）です。 この記事では、おおよそ1年以上前に私が新卒入社して Infrastructure チームで一番最初に取り組んだ Workflow Engine の導入プロジェクトについての振り返り・供養をしようと思います。 記事内で触れている情報・判断は全て1年以上前の時点の社内外の状況に基づいていることを前提としているため現在の最新の情報とは異なることがあります。この前提を承知した上でお読みいただければ幸いです。 Agenda問題意識技術選定PoC本番環境への導入とその障壁の解決振り返りまとめ問題意識Wantedly では以前から推薦基盤へ力を注いでおり、Wantedly Visit におけるユーザと企業の理想のマ
SWETグループの長谷川（ @nowsprinting ）です。 開発者自身の手によるUnityプロジェクトの品質向上アプローチのひとつに、ゲームプレイを自動化するオートパイロットによる検証があります。 このアプローチについて、DeNA内で開発・導入を進めているフレームワークAnjinを昨年紹介しました。 swet.dena.com また、Anjin自体も先日オープンソース化しました。こちらのリポジトリからご利用いただけます。 github.com 本記事では、Anjinの、主にオートパイロットを安定運用するための機能を紹介します。 Automated QAが保存するスクリーンショットの退避 uGUIコンポーネントのシナリオテストを行なう UGUIPlaybackAgent の実装には、 Automated QAパッケージ のRecorded Playback機能を使用しています。 Pla
【はじめてのIoTシステム構築】会社のロッカーの様子を遠隔から確認できる仕組みを作ってみた - NTT Communications Engineers' Blog
はじめに はじめまして。クラウド&ネットワークサービス部 データプラットフォームビジネス推進部門でIoT Connect Mobile Type S（以下 ICMS）の販売推進を担当している、櫻井幸大です。普段はICMS/モバイル回線の開発～運用を担当しているのですが、今回はOJT（別部署で勤務をする社内研修）のためICMSの販売推進として記事執筆をすることとなりました。 今回は、ICMSを使い販売推進担当で遠くからカメラを動かすシステムを作ってみましたので（機器を他社から購入し、ICMSと組み合わせて自分たちでプログラムを作りました）、その様子をお伝えします。 ICMSとは？ ICMSとは、NTT Comが提供するIoTデバイス向けのSIMカード/通信回線です。SIMカードと通信回線を管理するためのポータルもセットで提供しています。お客さまの用途に合わせて柔軟に料金プランや接続方式を選択
施工管理サービスの定期実行ジョブ処理基盤をEC2からコンテナへ移行しました - ANDPAD Tech Blog
この記事はANDPAD Advent Calendar 2022の 23 日目の記事です。 こんにちは、アンドパッドSWEの あかりです。ニックネームではなく本名です。このひらがな3文字にはネット上では優しくされたいという願望が込められていますw 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービス内で定期実行されていた非同期処理(以後、定期実行ジョブとする)の実行基盤を、EC2からコンテナに移行しました。 この記事では、その移行方法について説明します。 2. 前提の説明 説明の前提として、施工管理サービスのインフラ概要図を下図に示します。左がコンテナ移行前の概要図で、右がコンテナ移行後の概要図になります。 インフラ概要 元々、施工管理サービスは3種類のサーバで構成されており、それぞれ以下のような役割を担っていました。 サーバ 説明 frontサーバ ユーザーからのリク
はるか昔に受託で作って運用管理しているWPサイトが最近たびたび落ちるので、deno-puppeteerとGitHub Actionsでお手軽外形監視をやってみました。 🚨 作ったもの 以下のように毎日指定時刻に指定したURLにアクセスして、HTTPレスポンスの確認とスクショの撮影を実行、結果をSlackに通知してくれるツールです。 サイト画像はdummyです もし、200以外のステータスコードが返ってきた場合は、異常とみなしメンション付きで通知してくれます。 異常があった場合にどんな状態だったか・何日前から異常があったのかもSlackチャネルをみればすぐにわかるので便利です。 🛠️ 仕組み・実装 仕組みはとても単純です。 GitHub Actionsで定期実行するdenoのスクリプトで、指定したURLにアクセスして、HTTPレスポンスの確認とスクリーンショットの撮影を行い結果をSlac
開催直前！AWS Builders Online Series の歩き方 #AWSBuilders | Amazon Web Services
Amazon Web Services ブログ 開催直前！AWS Builders Online Series の歩き方 #AWSBuilders こんにちは、ソリューションアーキテクトの金澤（@ketancho）です。1月もあっという間に半分が終わってしまい、焦りを感じつつある今日この頃なのですが皆さまいかがお過ごしですか？私はやっと今年の目標が決まり、エンジンが掛かりつつあります。息切れしないようにコツコツやっていきたいところです。 さて、「今年の目標」と書きましたが、2022 年の目標として「AWS を使い始める」や「AWS 力を上げていきたい」を掲げた方、あるいは身近な方でそれを掲げられている方はいらっしゃいませんでしょうか？そのような皆さまにおすすめなイベント AWS Builders Online Series が今週木曜日 1/20 に開催されます。 AWS Builders
ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化 - Pepabo Tech Portal
こんにちは！GMOペパボで Customer Ops を担当しているもりまい（@morimai）です。今回は、2020年7月に発足した CS 室の Customer Ops チームで取り組んでいる「ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化」について紹介します。 CS がひとつになった！Customer Ops チーム立ち上げ CS 室の課題 ペパボのログ活用基盤『Bigfoot』を使った Zendesk の問い合わせデータの可視化 (1)Zendesk のデータを BigQuery へ取り込む (2)BigQuery へ取り込んだ Zendesk のデータをサービスごとのデータセットに振り分ける (3)サービスごとに振り分けられたデータを集計、グラフ化する まとめ CS がひとつになった！Customer Ops チーム立ち上げ 元々ペパボでは、活動拠
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
レバレジーズのデータ戦略室で室長をしている阪上です。今回はレバレジーズの運営するメディアの取材における課題について紹介したいと思います。 課題 レバレジーズが運営しているメディアで取材が数多く行われているのですが、取材音声の文字起こしをこれまで人手のみで行なっていました。1時間の取材の場合、1時間以上に文字起こしに時間がかかったりするため、記事を書く上での重要な情報資源ながら、人に対する負担が大きい状態でした。そこで、現場の悩みを解決したいと思いました。 仕組みの説明 まず、求められる要件を以下の通りです。 求められる要件 文字起こしをして欲しい。 Googleドライブにアップロードしたら自動で文字起こしされ、結果もGoogleドライブに返して欲しい。 文字起こし結果を一定の文字数で改行して欲しい 朝の8時から夜の21時までは処理を受け付けて欲しい、1~2時間以内に処理結果が欲しい 様々な
こんにちは、株式会社スマートラウンドSREの@shonansurvivorsです。 当社はプロダクトのコンテナイメージをAmazon ECRに保存しています。 今回、コスト削減の一環でECRに溜まっていく不要イメージを削除することにしました。 その際、ecrmを定期的に実行して削除するようにしました。 ecrmとは ecrmは「使用されていない」ECRのイメージを削除するOSSです。 ECRのライフサイクルポリシーは、世代数や、イメージがpushされてからの日数などに基づいて古いイメージを削除してくれますが、ECSタスク等で使用中のイメージを削除してしまう懸念があります。 ecrmはそうしたこと無く、安全に古いイメージを削除することのできる大変ありがたいOSSです。 詳細な仕様はecrmを紹介するブログを参照ください。 定期削除の構成図 ecrmはCodeBuild上で実行することにしまし
1. はじめに Findyでデータエンジニアとして働いている ひらき（hiracky16）です。 この記事ではFindyで取り組んでいるデータ基盤について紹介します。 Findyでは2023年からデータエンジニアを採用し本格的にデータ基盤構築に着手しています。 これまではBigQuery（Google Cloud）を中心としたデータ蓄積・利活用をしていました。 今後もっとデータ分析、機械学習などのデータ利用を加速するためにデータマネジメントが不可欠だと考えており、データエンジニアを採用しています。 まだ1人目のデータエンジニアがジョインしてから半年間くらいの取り組みですが、現時点のアーキテクチャや技術スタック、伸びしろや展望などを記します。 1. はじめに 2. これまでのデータ基盤の伸びしろ 3. 現状のデータ基盤アーキテクチャ 3.1. 本番環境のIaC化と開発環境の準備 3.2. デ
📢 少しだけ宣伝させてください 🙏 来る7/20にPHPカンファレンス神戸を開催します！！ 小さい箱での開催のため、参加枠に限りがあります！ぜひお早めにお申し込みください！ 改めて、はじめに こんにちは、今回も株式会社hitocolorのKanonとしてお目にかかます。 先日、『Mutation Testingライブラリ・Strykerを実戦導入してみた』という記事を公開しました。 今回はある意味、前回の続編。バックエンドへMutation Testを導入してみたので、同じく実戦導入にあたってのアレコレをお話ししたいなと思い筆を取りました。 おそらくInfectionを実戦導入例を踏まえての記事は、これが日本だと初めてではないでしょうか。 実はこれの続編でもある この記事はMutaion Testの実戦導入においてフロント続編なのですが、実は以下の記事の続編でもあります。 実は以前から
はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川(@tvtg_24)です。 本記事ではデータ品質の保守に着目してここ1年くらいで試行錯誤したことを振り返っていきたいと思います。 対象にしている読者は以下の方々です。 データ品質について考えている方 データ分析の品質担保に困っている方 ETLからELTへの基盤移行を考えている方 この記事は Data Engineering Study #11「6社のデータエンジニアが振り返る2021」 -
Ruby のクラス拡張を利用して監視の実装をうまく軽量化した話（現場での実装方式検討の例つき） - NTT Communications Engineers' Blog
この記事では、Ruby の非同期処理ライブラリである Sidekiq を使って定期実行処理を行う Sidekiq-Cron の監視方法について、チームでの方式検討の様子を交えながらご紹介します。 目次 目次 はじめに Sidekiq-Cron について Sidekiq-Cron の cron job の status の監視 既存の status 監視の問題点 既存の監視の仕組みの問題点 負荷が低い監視の仕組みの検討 案1：全 cron job の status を定期的にダンプし、ダンプ結果を読み取って監視する 案2：Redis を直接参照して cron job の status を読み取る 案3：Sidekiq の GUI の html ページの内容をパースして status を取得 [採用] 案4：Sidekiq の GUI に新しいエンドポイントを実装して、そのエンドポイントから
GMOアドマーケティングのT.Oです。 BigQueryの「クエリのスケジュール」機能を使ってみました。この機能を使うとプログラムを書かずにクエリを定期的に実行して、結果をテーブルに書き込むことができるので便利です。ここでは利用手順をご紹介します。 0.前提 クエリのスケジュールを利用するためには、ユーザーに以下の権限が必要です。 ＊）権限が不足している場合、利用できませんので管理者の方に権限の付与を依頼してください。 bigquery.jobs.createまたはbigquery.transfers.update … 転送を更新するための権限です bigquery.datasets.update … データセットのメタデータを更新するための権限です 1.クエリの作成 定期実行するためのクエリを「クエリエディタ」に記述します。以下はクエリの例です。 ＊）「クエリのスケジュール」を実行する前
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC Engineers' Blog
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECSのScheduled Taskを管理するツールを作った | おそらくはそれさえも平凡な日々
mablを一年運用してみた成果と課題 - エムスリーテックブログ
開発版のRubyを用いてCIを定期実行する試みとその成果 - STORES Product Blog
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい
「トクバイ テイクアウト」を最速でリリースした話 - ロコガイド テックブログ
バーチャルAI社員のマーケットプレイス - 下町柚子黄昏記 by @yuzutas0
OpenAI APIを活用して、翻訳した内容をDiscordに通知する 情報収集源を集約するために考えたChatGPT活用Tips | ログミーBusiness
GCPのデータ処理・ETL系サービスの使い分け - Qiita
Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログ
Seleniumを安定稼働させるために行うべき３つの設定(Headlessモードにも対応)
Unityプロジェクト向けオートパイロットフレームワークの運用Tips - DeNA Testing Blog
deno-puppeteerとGitHub ActionsでWEBサイトの外形監視をお手軽に
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
「AI文字起こし妖精さん」について - Leverages データ戦略ブログ
ecrmを定期実行してECRの不要イメージを安全に削除する
Findyデータ基盤のアーキテクチャと技術スタック - Findy Tech Blog
PHPのMutation Testingライブラリ・Infectionを実戦導入してみた
タイミーのデータ基盤品質。これまでとこれから。 - Timee Product Team Blog
BigQueryでクエリのスケジュールを使ってみた