GMOアドマーケティングのT.Oです。 BigQueryの「クエリのスケジュール」機能を使ってみました。この機能を使うとプログラムを書かずにクエリを定期的に実行して、結果をテーブルに書き込むことができるので便利です。ここでは利用手順をご紹介します。 0.前提 クエリのスケジュールを利用するためには、ユーザーに以下の権限が必要です。 ＊）権限が不足している場合、利用できませんので管理者の方に権限の付与を依頼してください。 bigquery.jobs.createまたはbigquery.transfers.update … 転送を更新するための権限です bigquery.datasets.update … データセットのメタデータを更新するための権限です 1.クエリの作成 定期実行するためのクエリを「クエリエディタ」に記述します。以下はクエリの例です。 ＊）「クエリのスケジュール」を実行する前
1. はじめに Findyでデータエンジニアとして働いている ひらき（hiracky16）です。 この記事ではFindyで取り組んでいるデータ基盤について紹介します。 Findyでは2023年からデータエンジニアを採用し本格的にデータ基盤構築に着手しています。 これまではBigQuery（Google Cloud）を中心としたデータ蓄積・利活用をしていました。 今後もっとデータ分析、機械学習などのデータ利用を加速するためにデータマネジメントが不可欠だと考えており、データエンジニアを採用しています。 まだ1人目のデータエンジニアがジョインしてから半年間くらいの取り組みですが、現時点のアーキテクチャや技術スタック、伸びしろや展望などを記します。 1. はじめに 2. これまでのデータ基盤の伸びしろ 3. 現状のデータ基盤アーキテクチャ 3.1. 本番環境のIaC化と開発環境の準備 3.2. デ
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川(@tvtg_24)です。 本記事ではデータ品質の保守に着目してここ1年くらいで試行錯誤したことを振り返っていきたいと思います。 対象にしている読者は以下の方々です。 データ品質について考えている方 データ分析の品質担保に困っている方 ETLからELTへの基盤移行を考えている方 この記事は Data Engineering Study #11「6社のデータエンジニアが振り返る2021」 -
CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC Engineers' Blog
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
Rundeckをインストールして"最速"でJOB実行してみる - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 インフラエンジニアをしていますknmriiです。 今回はジョブ管理ツール「Rundeck」の紹介とインストール方法、簡単な使用方法を紹介していきます。 最速でRundeckジョブのテスト実行ができるような記事構成にしていきたいと思いますのでぜひお試し下さい。 インフラエンジニアの皆様にとって、作業自動化の助けになれば幸いです。 Rundeck Rundeckとは システム要件を確認 Rundeckをサーバにインストールしてみる 事前にJavaをインストール Rundeckインストール Rundeckサーバの起動 ログインしてみる プロジェクトを作成する まずは、RundeckサーバのローカルでJOBを実行してみる Rundeckサーバから別サーバにSSH経由でJOBを実行してみる 最後に Rundeck Rundeckとは OSSのジョブ管理ツールです。 以下のような特徴があ
CircleCIからGitHub Actionsに移行する際に迷ったポイント・ハマったポイント - supermanner log
最近illustratorを使えるようになりたくて、自分でOGPを書いてみました こんにちは。最近cosme kitchenで新しいコスメを試すことにハマっている @super_mannerです。 今年大人買いした漫画がBEASTARSと鬼滅の刃と進撃の巨人で、ちょっと買いすぎなのでは？と思っています...。 普段はRailsやVue.jsを書いています。PHPer歴が長いので、色々と気づきがあって面白いです😊 さて、今回は業務で取り扱った 「CircleCI => GitHub Actionsへの移行」 でいくつか無駄にハマったポイントについて書こうと思います。 超初歩的なポカから、なるほどなーというところまで色々とあったので今後導入される方の助けになれば幸いです🍎 この記事はTECHPLAY女子部 Advent Calendar 2019の12日目の記事です。 目次 目次 導入した
DevStats – メルカリ グループの各種指標計測について | メルカリエンジニアリング
※この記事は、Mercari Advent Calendar 2022 の15日目の記事です。 こんにちは。メルカリのPlatform DXチームの@masartzです。 今日はPlatform DX チームで取り組んでいる「開発に関わる指標の計測と可視化」に関して、いくつかの取り組みを具体例とともにご紹介していきます。 結論の項でも再利用するものを先にお見せします。 これはある期間におけるグループを横断したDeployment数の統計情報になります。 このような形で開発に関する情報の見える化とそこからのNext Actionを検討していこうというのが本記事のまとめになります。 取り組みの大枠 – DevStats Project Platform チームによる指標計測の取り組みの歴史は古く、マイクロサービス移行の初期から行ってきました。社内ではDevStatsと呼ばれており、これまでも幾
Datadog Log Management でアプリケーション稼働モニタリング - 一休.com Developers Blog
こんにちは。 システム本部CTO室のakasakasです。 今回は、Datadog Log Management を使ってアプリケーション稼働モニタリングをしている話をしたいと思います。 一休のモニタリング周りの話 インフラのリソースモニタリング 外形監視 モニタリング観点で一休が抱えていた課題 Datadog Log Management Datadog Log Management からダッシュボード作成 Datadog Log Management からアラート作成 必要なメトリクスはカスタムメトリクスを作る graph_snapshot API を使って、デイリーレポート まとめ 最後に 一休のモニタリング周りの話 Datadog Log Management とアプリケーション稼働モニタリングの話をする前に、一休でどのような監視をしているのか？という話を簡単にします。 一休ではD
はじめに Certbot を使った SSL/TLS サーバ証明書の取得方法を紹介します. 認証局は Let's Encrypt で, 主要なブラウザから信頼された認証局とみなされています. 料金は無料, 作業時間は3分程度です. 前提 証明書を発行する際, 認証局は発行依頼主が対象ドメインを所有していることを確認する必要があります. Let's Encrypt は対象ドメインの特定のパスから検証用のファイルをダウンロードし, その中身を検証することでドメイン所有の確認を行なっています. この Let's Encrypt とのやりとりや検証用ファイルの用意を行うのが Certbot です. そのため, 作業は証明書を設置したいサーバ上で実施する必要があります. また, そのサーバ上で ウェブサーバが稼働しており, 対象のドメインで HTTP 接続できる必要があります. 例えば, demo.s
Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（2021年3月版） | 稲葉サーバーデザイン
北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 1. はじめに 2019年1月に「Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（2019年1月版）」という記事を書きました。 最近、証明書を取得、更新するためのcertbotコマンドの推奨インストール方法が変わりましたので、2021年3月版としてまとめ直します。 なお、以下の設定手順は、サーバーOSはCentOS 7で、2021年3月時点のものです。 Apache, Nginxについては、Let’s Encryptに関わる設定のみ記載し、Let’s Encryptに無関係な基本的な設定は、ここでは記載しません。 コマンドはrootユーザーで実行する想定です。 必要に応じて、sudoに置き換えてください。 （
虎の穴ラボのKanon氏が「テスト品質を向上させよう！」というテーマで、アンチパターン回避メソッドについて話しました。全2回。前回の記事はこちら。 カバレッジとは？ Kanon氏：「カバレッジとは？」という話なんですけど。テストコードがプロダクションのコードのうちのどれだけ網羅できているか、通しているかの尺度になってくるという感じです。 それ自体は、ちょっと（スライドは）読まないんですけど、分岐、行、ステートメント、関数という4つの大きな枠で説明されます。これは、復習レベルですね。 そのカバレッジを、どうやら50から80パーセントぐらいを目標とするのがよさそうなのではないか。というのが自分が言いたい話でして、10から40パーセントだと、さすがに低すぎるかなというところです。 逆に、90パーセント以上を目指そうとすると、今度は高すぎで、プロダクトのクリティカルな実装部分以上に、重箱の隅にまで
Scalar とは 大規模リポジトリを対象とした、リポジトリ容量最適化・コマンド高速化のための拡張機能の提供とgit configの自動設定を行うツールです。元々 Microsoft によって開発されていました (https://github.com/microsoft/scalar) が、Git 2.38よりメインストリームに取り込まれたことで同梱されるようになりました。 github.blog 下記コマンドでScalarを利用することができます。 # 既存リポジトリでScalarを利用する場合 $ cd /path/to/repo $ scalar register # 新規でクローンする場合 $ scalar clone /path/to/repo 実際に、https://github.com/git/git のリポジトリを対象にScalarを利用するとなにが起きるのか今回は調べてみ
モノリシックなアプリケーションを疎結合にする取り組み - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。弁護士ドットコム クラウドサイン事業本部 Product Engineering 部の須山と申します。CloudSign はサービスを開始してから約 7 年が経過しています。その間数多くの機能追加・拡張を続けている中で技術的な負債を残していくことは、どの企業でもよくある話ではないでしょうか。そんな中 CloudSign では技術的負債を解消することを主な目的としたチームを 2 年程前から結成して、日々改善活動を進めています（それ以外にも、新機能の技術検証や基盤開発も担当しています） 今回はチーム発足時から活動しているモノリシックアプリケーションの分割に関してやってきたことをまとめました。これまでの活動を大きく 3 つの段階に分けて紹介します。 その1. モノリシックなアプリケーションの分割 ローカル環境とそれ以外の環境での差異 アプリケーションを実行環境ごとに分割 アプリケーシ
AWSでサーバレスな定期バッチ環境を作るには結局どれ使えばいいの？（Lambda vs Fargate vs Batch） - Qiita
それでは、一つずつ説明していきます。 環境構築の容易さ Lambdaはコードをアップロードさえすれば、実行環境が構築でき、その導入障壁の低さが魅力と言えます。 FargateとBatchはコンテナベースのコンピューティングサービスであり、事前にバッチアプリケーションを含んだDockerイメージを用意しておく必要があります。 実行環境の拡張性 Lambdaは標準で使用できるランタイム（プログラム言語とバージョン）に限りがあります。ただ主要言語はほぼサポートされており、カスタムランタイムも作成できるため、さほど不自由さを感じないのではないでしょうか。 また、そのままだと標準ライブラリしか使えないため、 Serverless Framework や AWS SAM を使用して、ローカルの実行環境をパッケージ化してデプロイする運用が一般的かと思います。ただ、OS依存のネイティブライブラリの導入には
Ruby のクラス拡張を利用して監視の実装をうまく軽量化した話（現場での実装方式検討の例つき） - NTT Communications Engineers' Blog
この記事では、Ruby の非同期処理ライブラリである Sidekiq を使って定期実行処理を行う Sidekiq-Cron の監視方法について、チームでの方式検討の様子を交えながらご紹介します。 目次 目次 はじめに Sidekiq-Cron について Sidekiq-Cron の cron job の status の監視 既存の status 監視の問題点 既存の監視の仕組みの問題点 負荷が低い監視の仕組みの検討 案1：全 cron job の status を定期的にダンプし、ダンプ結果を読み取って監視する 案2：Redis を直接参照して cron job の status を読み取る 案3：Sidekiq の GUI の html ページの内容をパースして status を取得 [採用] 案4：Sidekiq の GUI に新しいエンドポイントを実装して、そのエンドポイントから
皆さんこんにちは、八木です。 今回は日本発のCSPMツールである、Cloudbaseというサービスについてご紹介します。 CSPMツールとは そもそもCSPMツールとは何でしょうか？ CSPMというのはCloud Security Posture Managementの略で、日本語で「クラウドセキュリティ態勢管理」や「クラウドセキュリティ状態管理」と訳されたりします。 主にクラウドリソースの設定ミスの検出や、ユーザのオペレーション監視を行うツールのことを指します。 AWSの純正サービスであればAWS Config、サードパーティ製品であればCloudGuard Posture Management（旧称：Dome9）などが該当するでしょう。 なぜCSPMツールは必要なの？ では、なぜCSPMツールは必要なのでしょうか？ その答えはクラウドリソースの設定ミスによる、セキュリティリスクを軽減す
この記事はGMOアドマーケティング Advent Calendar 202219日目の記事です。 こんにちはGMOアドマーケティングのy.yです。 今回は2022/12/06, 07に開催されたGMO Developers Dayで発表をした 『「GMO SSP」のクラウド移行(GCP)、失敗と成功をまとめてみた！』の内容になります。 時間の関係上で発表できなかった内容も少しだけ追加しています。 SSPというのは広告をリアルタイムにWebコンテンツに配信するシステムです。 接続しているDSPやアドネットワークの広告の中で、一番単価が高く ユーザーにマッチした広告をリアルタイムに配信します。 GMOSSPというのはGMOアドマーケティングにて提供している インターネット広告を配信するSSPプロダクトです。 GMOSSPは自社運営にてコンテンツ集客に特化した 広告配信DSPの「ReeMo」と国
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのクラウドプラットフォーム本部に所属している北田、馬場、高橋です。 私たちのチームは社内向けに IaaS 環境を提供しており、その品質を管理・維持するために監視システムを導入しています。 システムの部分的な障害や冗長性などを監視する目的で、私たちはこれまで Sensu を使っていましたが、その EOL をきっかけに Prometheus へ移行することにしました。 この記事では、Sensu の移行先として Prometheus を選んだ理由、Prometheus を利用した監視システムの構成、そして、Prometheus を導入した際の工夫などを紹介します。 ヤフーの IaaS 環境の監視状況 私たちのチームが社
BigQueryに関する話を自由にしましょう - BigQueryでデータ基盤を作った - BigQueryと他サービスでデータ転送した - BigQuery関数でこんな計算をしている などなど みなさんこんにちは。年末ですね。年末やることといえば、振り返り、総集編ですよね。 BigQueryアドベントカレンダーができたのをみて、「そういえば2019年にやったBigQueryのリリースまとめ的なの、2020年やってないな・・・？」と思い立ち2020年のBigQueryアップデートをまとめました。リリースノート開いたらスクロールバーがすごく小さくなり心が折れかけましたが、なんとか気持ちを奮い立たせました。もしもこんな長い記事を最後までスクロールしてくれる方がいたら、感謝の意を表明しますので、Twitterで @yutah_3 まで教えていただけると、泣いて喜びます。 以下、カテゴリに分けてア
概要 世の中には金曜日になるとキンタマが発光することで曜日を認識する文化が存在する．しかし，金曜日にのみ発光する場合金曜日以外の曜日を認識することはできない．本記事では，キンタマの発光を前提に，その発光色を変えることで金曜日以外の曜日も認識することを提案する．その上で，配色及びキンタマの発光による問題点についても議論する． 背景 人間はしばしば曜日感覚を喪失してしまう．ここ数ヶ月COVID19の影響で家にいる人も多いが，ずっと家にいると曜日感覚が薄れてしまうものである．出勤していても，単調な日々や忙しい日々が続くことでその日が何曜日か認識することが難しくなってしまうことがある．そして最後には今日が何曜日か思い出せなくなる． 曜日の認識ができなくなることで，生活において様々な問題が生じる．最も日常的な問題として，生ゴミを捨てる曜日を逃すことが挙げられる．社会的な面でも，定例ミーティングの曜日
Weneedfeedの運用小話
Weneedfeedを運用している中で得られた情報を書き留めておく。 主にGitHub Actionsや、RSSフィードに関する話が多く含まれる。Weneedfeedというのはウェブページからフィードを生成するツールで、これについては過去にも記事に書いた。 GitHub Actions 「GitHubのリポジトリにYAMLファイルを置くだけでフィード群が用意される」という状態を実現するために、GitHub Actionsを使っている。具体的には、次の処理を定期的に実行している。 YAMLに記載された情報を元にフィード群を生成する gh-pagesブランチにpushする この内、1の処理をやるためにweneedfeed-actionを用意している。2の処理はactions-gh-pagesでやっている。GitHub Actionsにcrontab形式でスケジュールを指定する仕組みがあるので、
デイリーポータルZの新着記事をBlueskyに投稿するbotを作った - Islands in the byte stream
デイリーポータルZの新着記事をBlueskyに投稿するbotを作りました。 github.com デイリーポータルZは2024年1月1日から独立した会社になるようですが、状況から察するに実態としては消滅まで秒読みと思われます。インターネットからデイリーポータルZが無くなるのは寂しいので、どこかの企業がスポンサーになってくれることを期待しています。 dailyportalz.jp それはそれとしてBlueskyのボットを作るのは結構楽しいですね！ボットのコードはRustで書きました。GitHub Actionsの定期実行でRSS feedをポーリングして新しいものがあったらポストする、という素朴なプログラムです: bsky.app Bluesky APIへのアクセスはsugyan/atriumを使いました: memo.sugyan.com 投稿の本文をリッチテキストにできたり*1、OGPカー
こんにちは、BASE株式会社Data Strategyチームの杉です。 ショッピングアプリ「BASE」では、検索にAmazon Cloudsearchを使用していました。今回、検索基盤をAmazon Elasticsearch Service(以下、ES)に移行し、Data Strategyチームで管理をする方針にしました。 この記事では商品が更新された際などにどのように検知し、データをESにいれるようにしたかなど、基盤の部分をメインにご紹介をします。 1. 背景 検索は新しいショップに出会うきっかけを作ってくれたり、探していた商品をいち早く見つけることができることができます。 そのため、検索機能はどのECサイトなどでも見かける存在であり、活用している人も多いのではないでしょうか。 例えばショッピングアプリ「BASE」の検索はこのような画面になっています。 このようにさまざまな便利さをもっ
BASEのCartDevチームでバックエンドエンジニアをしている遠藤(@Fendo181) です。 自分が所属しているCartDevチームは主にBASEにおける決済開発を担当しております。 購入者様が商品を購入する際の決済だったり、オーナー様が利用するカート機能周りの開発、保守運用を行ってます。 今回、この記事では自分が所属するCartDevチームの取り組みを紹介する「月刊CartDev」というドキュメントを作った経緯や、運用方法について紹介します。 また、実際に社内で共有してみてどのような反応があったかについても書きます。 月刊CartDev が作られた背景について 月刊CartDev が作られた背景には2つ理由があります。 (1) 遠藤(@Fendo181) がそもそも入社したばかりで、CartDevでの働き方を理解したい。 (2) CartDevチームで取り組んでいる内容をチーム内で
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
Ruby/Railsアップデートを乗り越える戦略と攻めのリファクタリング｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Ruby/Railsアップデートを乗り越える戦略と攻めのリファクタリング 初期構築から3年近くメジャーアップデート対応をしていなかったRuby on Railsのプロダクトについて、事前のリファクタリングなどの整備を経てアップデート作業を実施しました。本稿ではその事前整備に焦点を当て、大規模なアップデートの経験やそれに対する準備がされていないプロダクトに対する事前整備として、どういう背景から何を考えどのようなことを行ったのかを紹介します。 前提環境とプロジェクトの規模感 ことのはじまり 戦略としての事前整備 トピック1: 周辺ライブラリの最新化 Rails以外の全gemを更新する 自前forkを解除する gem最新化のフローをつくる トピック2: 保守対象の断捨離 フロントエンド関連の依存を消す redisのラッパーgemを一部取り込む searchkick gemへの依存を置き換える ト
Cloudflare Workersを使って定期的なタスク自動化を実質無料で行う（不要な画像、アカウントの定期削除など）
Cloudflare Workersなら定期的なタスクを自動化 Google Cloud Schedulerのような機能を実質無料で実行できます(1日あたり最大100,000リクエストまで) 実際に自分のサービスで使っている例 Cron 実行履歴（不要な画像の定期削除） 自分の扱っているサービスの場合1日1度不要な画像の処理を定期実行するので1日1リクエスト 30日で30リクエスト リクエスト サブリクエストを含めると先月（4月6日から〜5月6日まで） 1ヶ月あたり90リクエスト 1日あたり最大100,000リクエスト以内なので無料で使える！ Cloudflare Workersの料金体系（2024/5/6現在） 2024年5月時点の料金体系 追記：無料プランのCronトリガーの上限数は５個でした。(2024/05/22) 無料プランのCronトリガーの数は５個まで使えます。 最新の料金情
はじめに こんにちは。 みなさま年末いかがお過ごしでしょうか。 この記事はSupership Advent Calendar 2018 15日目です。 私はデータビジネス事業部に所属しており、 Supershipの保有している広告配信ログを使った各種分析を担当しています。 アドテク業界やWeb業界にお勤めのデータサイエンティスト・エンジニアの方にはご理解いただけるかと思いますが、 Web系のデータは巨大で(もちろん私たちSupershipも例外ではありません)、ストレスなく日常的に集計するとなるとなかなか大変です。 そのような巨大なデータを分析するための分析基盤として近年いくつものプロダクトが 開発されていますが、私たちのチームではDatabricks社のDatabricksを利用しています。 このプロダクト、非常に便利ながらあまり日本語情報がなく、今ひとつ広まっていない印象です。 そこで
半年でd/d/dを8倍にした話 - Link and Motivation Developers' Blog
こんにちは。リンクアンドモチベーションでエンジニアをしている梅原です。 現在はコミュニケーションクラウドというプロダクトの開発を担当しています。 現在、自分のチームでは開発組織の健全性の指標として d/d/d (deploys/ a day / a developer) という指標を用いています。 約半年前のチームのd/d/dは、0.01 という状況でしたが、この半年で色々な改善を重ねた結果、 8倍の 0.08 まで改善することができました。 今の自分のチームは開発者が5人なので、1ヶ月(約20営業日)で1回productionにデプロイすると d/d/dが0.01になります。 つまり、もともと月に1回だったところから、2~3日に1回はデプロイができるようになりました。 (指標の目安としては、CTO協会 理事の広木大地さん(@hiroki_daichi)のツイートにあるとおり d/d/d=
[レポート] JAWS-UG コンテナ支部 #17 ECS/Fargate PV 1.4 ローンチ記念！ にオンラインで参加しました #jawsug_ct - michimani.net
※ Black Belt Webinar “AWS コンテナサービスアップデート” の裏つぶやき については配信ではなく、 Twitter 上でたくさんツイートされていました。 #jawsug_ct セッション 各セッションの聴講メモです。発表資料も、公開されているものに関しては随時追加していきます。 コンテナとコンテナのつなぎかた on ECS 三種類のコンテナ連携方法 タスク内接続 サービス関連系 イベント駆動連携 時間経過、コンテナが発行したイベントなど タスク内コンテナ接続 サイドカー、アンバサダー、アダプターとか呼ばれる ユースケース ログ関連機能をサイドカーにする ドメインと関係のないログのルーティング処理をアプリコンテナの外に出す サービス間接続 マイクロサービスの必要性とは 高度なモジュール化という選択肢 あえてサービスに分けるのは、インテグレーション時に問題が発生してくる
![[レポート] JAWS-UG コンテナ支部 #17 ECS/Fargate PV 1.4 ローンチ記念！ にオンラインで参加しました #jawsug_ct - michimani.net](https://cdn-ak-scissors.b.st-hatena.com/image/square/4dde936a6f2c41466ef6186f5735492235752b93/height=288;version=1;width=512/https%3A%2F%2Fmichimani.net%2Fimages%2Fog%2Fec-event-jausug-ct-17.jpg)
* 創業は1999年、4人の若者によってシカゴにて創業 * 現在、世界中の32の都市に広がる約50人規模の会社 * Rubyのフレームワークとして有名な「Ruby on Rails」は、実はこの企業から誕生した * 創業以来、増収増益の優良SaaS * 会社は自己資金で運営されており、投資の連絡は全て断っている * 唯一出資を受け入れたのは、Amazon創業者のJeff Besosからの個人出資などなど、ほかにも魅力的なポイントがあるのですが、今回一番お伝えしたいのが、この企業が掲げている「コミュニケーション・ガイドライン」です 昨日緊急事態宣言が出たこともあり、猫も杓子も「リモートワーク」「テレワーク」という状態ですが、あくまでもそれは一つの連絡手段であって、大きな意味での「コミュニケーション」という枠の中に収まる行為です。 そんな中、三者三様の独自スタイルで「あり方」を模索するのも手で
こんにちは。メディアプロダクト開発部の柴原(@nshiba310)です。 趣味は Destiny2 というゲームです。 普段は cookpad storeLive（以下、storeLive）のクライアントサイド（AndroidTV）の開発を行っています。 本記事では storeLive のクライアントサイドの開発についてご紹介したいと思います。 storeLive とは スーパーマーケットの店頭に設置した縦型55インチの大型サイネージで、著名人や料理研究家による料理デモンストレーション映像をLiveや収録動画で提供するアプリです。 プレスリリースはこちら スーパーの担当者はまず storeLive が置かれている売り場に適した再生したい動画を選択します。 storeLive は担当者が動画を止める操作をするまで選択された動画をループで再生し続けます。 また storeLive では土・日曜
はじめに平素は大変お世話になっております。 クイックガードのパー子です。 先日、とある Ubuntuサーバの /etc/cron.d/配下に debパッケージのゴミ (= *.dpkg-old とか) がいくつも放置されていることに気がつきました。 このようなゴミは cron がよしなに無視してくれることを経験的には知っていたのですが、正確な仕様が気になってあらためて man をじっくり読んでみたところ、いろいろ興味深い発見 (というか罠) があったのでご紹介したいと思います。 この記事で書くこと、書かないことcrontab の書き方などの基本的な使い方は今さらなのでググっていただくとして、この記事では Debian系における /etc/周りの制約と罠をご紹介します。 スプール領域 (/var/spool/cron/) には触れません。 man に DEBIAN SPECIFIC というセ
GitHub Actionsを楽しく学ぶ：BIGLOBEとGitHub Japanのミニハッカソンレポート - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
GitHub Actionsで「自分の困りごとを解決」するハッカソン形式の社内研修を開催しました。過去に3度GitHub Actionsの研修を実施しましたが、最も高い評価となりました。 この記事では、研修の内容はもちろん、研修の準備を通じて得た学びについてお話しします。 研修の内容 第一部 事例共有 第二部 アイデア出し 第三部 実装 研修の結果 研修の準備で得た学び まとめ BIGLOBEの網干です。 GitHub Actionsを活用できる人を増やそうとGitHub Japan様とBIGLOBEでミニハッカソン形式の社内研修を開催しました。実はこのイベントの前にも2回の研修を実施してきました。1回目は講義形式、2回目はサンプルプログラムを動かすハンズオンでした。1回目では「知識はついたが実装をイメージしにくい」、2回目では「実装はイメージできたのでなにか作りたいが、実際の業務で何を作
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ
私が所属する株式会社モニクルの開発チームでは、業務時間内に各個人の技術ブログを書いてもよいことになりました。2022 年 7 月現在の時点では、きちんとスプリントの中でストーリーポイントを付けたタスクにして、時間を確保することが推奨されています。 アウトプットの習慣があるメンバーが多く見えるチームというのは、対外的にも魅力を説明しやすいです。今後のソフトウェアエンジニア採用を円滑に進めていくための施策の一環として、アウトプットを推奨していきます。 技術ブログまとめサイトはじめました ということで、メンバーの技術ブログをまとめた、monicle developers というサイトを作りました。 テンプレートとしてcatnose99/team-blog-hubを使わせてもらいました。RSS を登録しておくと最新の記事をまとめて表示してくれる素敵なアプリケーションで、Ubie Engineers
個人的・仲間内でセルフホストしているサービス 2022 - Google Workspaceから離脱するための検討ログ (2) - - Qiita
個人的・仲間内でセルフホストしているサービス 2022 - Google Workspaceから離脱するための検討ログ (2) -ポエムDockerself-hostingDegooglifyセルフホスト 別記事では、GoogleとIEEEの契約変更により、まともにGoogleApps@IEEEが利用できなくなったことと、その暫定回避策を模索しました。 その後どうすべきかという検討を進め、やれるものはセルフホストしてなんとかしようと決めて、そのまま1ヶ月ほど運用を続けています。最後に言及しますが、結局前回から変わったのはGMail代替のセルフホスト、というオチはついています。ですが、これまでのいろいろな経緯を踏まえ、自身で制御できるものは自身で制御するという観点から、Google Workspace代替にとどまらない、広い範囲での検討結果として、今の私のセルフホストサービスの運用状況をログ
tl;dr 何をトチ狂ったのか、ここ一ヶ月くらい「はてな匿名ダイアリーに投稿された記事のタイトル及び本文から機械学習で著者の性別を当てる」という試みをしていました。結果、こんな感じで「人気記事アーカイブ」のページに推定された著者の性別を表示する Chrome 拡張ができました。 chrome.google.com 例えば、同一の男性による投稿（とされている）「彼女できないぞ日本死ね」と「皆さんへのご報告、やっぱりダメでした日本死ね」はどちらも男性と推定されました。 また、「保育園落ちた日本死ね！！！」は女性と推定されました。一方で、「おっさんが流行りのゲームを作るやってみた結果」は男性と推定されてほしかったのですが、女性と推定されてしまいました。 今後の展望としては、今より分類精度を向上させたいのと、年代など他の著者情報も推定してみたいです。 以降の文章には、分類モデルやシステムの実装につ
LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」。64回目はオンラインで開催され、「開発とテスト」というテーマで、LINEのSET（Software Engineer in Test）である伊藤宏幸氏が、LINEのプロダクト開発の現場で推し進めてきた具体的な取り組みについて紹介します。前半は課題のあぶり出しと、３つの重要性のうちの最初の２つについて話しました。 LINEのSETになってぶち当たった最初の課題 伊藤宏幸氏（以下、伊藤）：私、伊藤からは、「Everything from Scratch」、すべてをイチから始めた我々SET（Software Engineer in Test）の、これまでの苦労についてお話しします。ちなみにこの資料ですが、本来であれば2週間後にアメリカで開催される予定だった、世界最大のアジャイルのグローバルカンファレン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQueryでクエリのスケジュールを使ってみた
Findyデータ基盤のアーキテクチャと技術スタック - Findy Tech Blog
タイミーのデータ基盤品質。これまでとこれから。 - Timee Product Team Blog
Certbot を使い3分で無料の SSL 証明書を取得する | DevelopersIO
テストカバレッジが100％でもそれが意味のあるテストかは断言できない Mutation Testでテストコード自体の検証をしよう
Git 2.38 で追加されたScalarってなに？ - COLOPL Tech Blog
日本発のCSPMツール Cloudbaseのご紹介 | DevelopersIO
GMO SSPのCloud(Google Cloud Platform)移行の失敗と成功のまとめ
EOLを迎えたSensuがPrometheusに託した、2万台規模のIaaS監視
BigQueryの2020年アップデートを（だいたい）全部振り返る
ゲーミングキンタマを光らせる - 人間のあるべき姿の探索
ショッピングアプリ「BASE」の検索基盤を移行しました！【基盤編】 - BASEプロダクトチームブログ
チームの取り組みを社内に紹介する「月刊CartDev」を始めた話 - BASEプロダクトチームブログ
Databricksで分析業務がはかどっている話 - Qiita
リモートワーク歴20年以上の米国企業から学ぶ、組織コミュニケーション30の方法【Withコロナの生存戦略】｜Shota Setoguchi｜note
cookpad storeLive のクライアントアプリ開発の裏側 - クックパッド開発者ブログ
Debian系の cron で気をつけること - QG Tech Blog
MLOpsを支えるヤフー独自のモデルモニタリングサービス
開発チームの技術ブログまとめサイトを作って定期デプロイを設定した
機械学習で「はてな匿名ダイアリー」の投稿の著者の性別を当てる - いいんちょのブログ
Product Discoveryとインパクトで適切な支援や理解を得る LINEのSETとして実際に遭遇した課題と対策