大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
はじめに inspired mogaさんのブラウザで動くサービスを作るときの技術選定が素晴らしい記事だったので、自分も書いてみる事にしました。 幸いにも技術選定からのお仕事をする機会が多くて、自分の中でパターンが大体決まってきているので言語化してみます。前提が同じサービスは無いので絶対的な正解は無いですが、なんかしらの参考になれば幸いです。 ※2022/02時点 私/よくあるお仕事について Web系のサービスなんかいい感じにするマンとして、フリーランスとして働いています。 準委任という形でスタートアップ企業をお手伝いする事が多いです。 MVPを作りたい、もしくはMVPは行けたのでちゃんと作り直したい、という要望があって参画して、まるっと作ってそのまま運用をします。作って終わりではなくて、運用や拡張性を考えてやってます（サービスに必要なのはもちろん、運用する自分が楽だから）。 前提 エンジニ
2021年サーバーサイドのエンジニアが使ってよかったもの10選 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2021 7日目を担当する荒賀(@ken39arg) です。 カヤックのエンジニアブログには2008年にPHPを使ったガラケー関連の記事を書いたのが最初になります。 それから10年以上たち、ガラケーも弊社でのPHPのプロジェクトもほぼなくなり、メンバーもかなり入れ替わり、私自身も20代だったのがついに40歳になりました。そんな私にとってこのアドベントカレンダーは私は今でもここにいるよというPingのような役割になっているため、年に一度若者に混じってアドベントカレンダーに参加しております。 例年ですと、趣味のマラソンなどに関する実績も書いているのですが、昨年同様、今年も続くコロナ禍により多くの大会が中止となったためこちらに関しては特に特記すべき実績はありません。ただ2020年に走るはずだった東京マラソンは権利は移行を続けてお
Fluentd実践入門 Fluentdの現バージョン(v1.15)について世界で一番詳しい本です。というか、Fluentdそのものだけについての、おそらく世界で唯一の技術書です。 出版社は技術評論社です。電子版もGihyo.jpやKindleはじめ各社で出ます。買ってね! gihyo.jp TL;DR 発売日は10月8日です 一部書店ではちょっと早く9月末に並ぶかも 電子版は発売日よりちょっと前に出るかも1 544ページ、Fluentd本体については考えられる限り盛り込みました Fluentdをなんとなく使っている人が確信を持って使えるようになれるはず 組込みプラグインの頻出用法、本番環境での運用ノウハウ、プラグイン開発からテストなどまで エコシステム的な部分についてはカバーできていません Kubernetes上での運用やFluent Bitとの組み合わせとか AWS FireLensやG
Herokuのログはどんどん流れていってしまうため、どこかに保存しなくてはなりません。そのため、PapertrailやCoralogix Loggingなどのaddonを使って、外部サービスへlogを流して、そちらである程度の期間分、永続化するなり、検索して活用するなどしているかと思います。大量のアクセスがきて大量のログが流れるアプリケーションの場合、ログが大量になりプランアップにしなければならなくなり、addon料金も馬鹿にならない。ということになったりしないでしょうか？ そこで、addonを使用せずにGoogle BigQueryへログを転送して、利便性を損なわずにコストダウンを図るということをやってみたので、それの紹介です。ざっくりの概要としてはこのような形。 Loggingライブラリ Heroku上のアプリから、Loggingライブラリなどを利用して、Cloud Loggingへ書
背景 GCSのオブジェクトにアクセスログとか、KMSのアクセスログとか、特にセキュリティに関するサービスのログはなるべく詳しくほしいですよね。 GCPには監査ログという機能があるのですが、ログを出力しすぎて料金かかっちゃうかもしれないからと、Googleが気を使って、 監査ログのうちいくつかは、デフォルトで無効にしてくれてるんです！ 遠慮せずに有効にしてくれればいいのにと思いますが、とりあえず機能を用意してくれるだけでも大変ありがたいので、ぜひ監査ログを有効にしましょう。 結論 GCPコンソールの Audio Logs のページにアクセスし、DEFAULT AUDIT LOGGINGから、全部にチェックをつけて有効にすればOK https://console.cloud.google.com/iam-admin/audit 使い方によっては料金が結構かかるかもしれないので、必ずBudget
デジタルマーケティングエンジニア ジャイン・ヴィボル (JAIN Vibhor)のコラム「GA4 BigQuery export notification – event driven architecture 」をデジタルマーケティングエンジニア 西村 彰悟が和訳したものになります。 GA4プロパティとBigQueryをリンクすることにより毎日エクスポートされるデータを日次レポートやマーケティングオートメーションの動作条件に使用する場合、皆さんは、前日のトラフィックデータ（前日のevents_YYYYMMDDという名前のテーブル）のエクスポートが完了する正確なタイミングと、このデータを利用するダウンストリームジョブを起動できるタイミングをどのように把握するかという問題に直面するでしょう。日次エクスポートは決まった時間に実行されず、これを通知する仕組みも用意されていません。 解決したい問題
【GCP/Terraform】 外部IPアドレスを持たないVMインスタンスからCloud NAT経由でインターネットへアクセスする
TL;DR こちらのリポジトリを参考にしてください -> https://github.com/nekoshita/gcp-cloud-nat-example こんな人向け Cloud NAT について知りたい＆使ってみたい GCPのVPCとかsubnetとかFirewallとかよくわかんない terraformでGCPさわりたい Cloud NAT について Cloud NAT とは NATを提供してくれるGoogleのマネージドサービスです 外部IPアドレスを持たないVMインスタンスや限定公開のGKEクラスタからインターネットへアクセスできるようになります Cloud NAT のメリット 個々のVMに外部IPアドレスを割り振る必要がなくなるのでよりセキュアになる 分散マネージドサービスなのでプロジェクト内のVMや単一の物理ゲートウェイデバイスには依存しない NATのIPアドレスを自動で
※本記事は、技術評論社「Software Design」(2023年12月号)に寄稿した連載記事「Google Cloudで実践するSREプラクティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに 前回は、Google Cloudが提供するAnthos Service Meshを導入して、GKEで動くアプリケーションに可観測性やセキュリティなどの機能を追加する方法について紹介しました。今回はDatadog1を利用したモニタリング基盤について、Datadogの採用理由や基本機能、キャディでの活用事例を紹介します(図1)。 ▼図1 CADDiスタックにおける今回の位置付け Datadogとは Datadogはクラウドベースの運用監視SaaSです。おもにクラウドプロバイダ(AWS、Azure、Google Cloudなど)やオンプレミス環境でのアプリケーションとインフラスト
【GKE/Terraform】外部ネットワークからの全てのアクセスを制限した限定公開クラスタを作成し、踏み台サーバーからkubectlする
TL;DR こちらのリポジトリを参考にしてください -> https://github.com/nekoshita/gke-private-cluster-with-no-client-access-to-the-public-endpoint-example こんな人向け 限定公開クラスタについて知りたい GKEのセキュリティーを強化したい TerraformでGCP・GKEさわりたい 解説 限定公開クラスタ（プライベートクラスタ）とは？ GKEは、主にコントロールプレーンとノードから成り立っています。 詳しくはこちら -> https://zenn.dev/articles/6b5dffe3d563e1 限定公開クラスタにすると、ノードに使われるVMインスタンスに外部IPアドレスが割り振られなくなります。 すると、ノードに関しては外部からアクセスすることはできなくなります。 どうやって
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
とりあえずWebサービス作る時の私の技術選定ポイント@2022/02
「Fluentd実践入門」を10月8日に出版します - たごもりすメモ
HerokuのログをBigQueryへエクスポートする | tsuchikazu blog
GCPの監査ログを有効にしてますか？実はデフォルトで無効になってますよ！
GA4 BigQueryエクスポート遅延に対応するイベントドリブンアーキテクチャの提案 | アユダンテ株式会社
第9回: Datadogによるクラウド横断のモニタリング基盤 - CADDi Tech Blog