SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態
「みんなで考えよう」は思考の品質が下がる？「集団浅慮（グループシンク）」と「悪魔の代弁者」について
多数が集まることで思考の品質が下がるリスクについて、もう少し具体的に紹介してみましょう。 例えば、社内の気心の知れた人達で集まって会議を開催すると、知らず知らずの内にその人たちの間で「今の私たちが持っている『雰囲気』や『秩序』を大切にしよう」とする意識が働くものです。 会議が進み、議論が一定の方向にまとまり始めると、そこで反対意見を出すことは「雰囲気や秩序を乱す」として、賛成意見以外を言いづらい雰囲気が形成される──といったこともあるでしょう。 一見「良案」にみえる意見においても、それが客観的に正しい、良いものなのかどうかよりも「和を乱さないか」であったり、「（まとまっていた話が）まとまらなくなってしまうのではないか」といった観点に重きを置かれてしまうのです。 こうしたケースは決して珍しいことではなく、例えば一部上場企業における役員クラスのミーティングにおいても、同様の傾向が見られることも
新卒エンジニア向けに品質の話をした, Asakusa.rb 第368回 - HsbtDiary(2016-07-26)
■ 新卒エンジニア向けに品質の話をした slideshare だと keynote から書き出した日本語が消えてしまうので speakerdeck で。 https://speakerdeck.com/hsbt/yatutemiyou-tqc ペパボでは新卒エンジニアの研修の一環で座学という形で60min何かを講義するという取り組みをここ数年続けているので、自分も品質というキーワードにまつわるあれこれを講義してきた。こういう話、社内では自分くらいしかしないだろうから丁度いいだろうというレベルで若干ふわっとした話をしてきた。 資料だけだと、「ちょっとこれは雑すぎない?」というのがあるとは思うんで、この辺もう少し詳しくということがあったら、是非ディスカッションしましょう → https://pepabo.com/recruit/pepaluncheon/ ■ Asakusa.rb 第368回
バグゼロを実現した話とその後の顛末 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。好きなメソッドは emptyIfNull です。 僕は、自社クラウドである cybozu.com のミドルウェアを開発するチームで働いています。具体的には、検索サービスやファイルサーバー、非同期処理用ワーカー、セッションマネージャーなどなどを提供しています。 僕がこのチームに来たのは数年前ですが、当時はバグの多いプロダクトでした。今はすべての既知のバグを直し、残存不具合件数が 0 件、つまりバグゼロな状態になりました。また、バグゼロを実現してから 2 年ほど経過していますが今もその品質を保っています。今回はこのバグゼロを実現した方法と、その後の顛末について記そうと思います。 以前のコード 数年前に提供されていたこのミドルウェア群は、はっきり言って、バグの塊のようなプロダクトでした。 当時のコードは保守性とは程遠い
コード品質に共通理解を！エンジニアとビジネスサイドを繋ぐ「コードの点数化」とは | SELECK
今回のソリューション：【Code Climate/コードクライメート】 コードをできるだけ綺麗に書きたいエンジニアと、そこに時間をかけてほしくないビジネスオーナー。一見、相容れないように見える両者。相互の共通理解は、どのように実現できるのだろうか？ 受託開発からスタートし、現在では情報共有サービス「DocBase（ドックベース）」の運営も行う株式会社クレイ。エンジニア集団である同社であったとしても、コードの品質を巡る摩擦が少なからず起こっていたという。 そのような状況を変えるために導入したのが、コードの品質を自動でスコアリングするサービス「Code Climate（コードクライメート）」。 Code Climateを使うと、コードの「読みやすさ」が点数化されるので、実際にはコードを書くことができない非エンジニアにも客観的な品質の理解が可能になる。 「Code Climateは最終的にはエン
コードの品質を維持したまま開発スピードを上げる | POSTD
高品質のコードベースは、反復作業やコラボレーション、メンテナンスを簡単にすることで、長期的な開発のスピードを上げてくれます。Quoraではベースコードの品質は重要だと考えます。 高品質のコードを維持することは利点がありますが、その反面かなりのオーバーヘッドが発生し、実際の開発のサイクルに時間が掛かってしまいます。このオーバーヘッドと利点の折り合いを付けるのは難しい問題です。この場合、2つの選択肢しかないように思えます。低品質でコードスピードが速いか、もしくは高品質でスピードが遅いか。スタートアップは素早い開発サイクルに最適化しているので、多くの人は低品質で進めたほうがいいと思っています。 このジレンマは解消できます。ツールやプロセスを工夫することで、コードベースの品質を維持したままスピードを速めることができるのです。この投稿では、コードの品質に関しての私たちの考えや、2つの世界を共存させる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
