こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
はじめに 分散システムを扱う際、エラーやクラッシュによる処理の中断はよくあるものかと思います。特に、EC サイトの支払い処理など、複数のステップを経て完了する重要なプロセスでは、障害が発生した場合にその進行状態を適切に管理しないと、取引の二重処理やデータの不整合といった問題が発生する危険性があります。復旧作業に骨を折った方も多いのではないでしょうか。 Temporal は、こういった課題を解決するために、処理の進行状況を自動的に追跡し、障害が発生してもその地点から再開できる仕組みを提供しています。複雑な復旧コードの実装や、手作業による復旧作業がなくなるのであれば、これは非常に魅力的ですね。 ここでは、Temporal が一体どういうものかについて解説していきたいと思います。 Temporal とは Temporal は、分散システムでのワークフローを管理するためのオープンソースのワークフロ
マイクロソフトが買収したコンテナ最適化Linuxの「Flatcar Container Linux」、CNCFのインキュベーションプロジェクトに採択
マイクロソフトが買収したコンテナ最適化Linuxの「Flatcar Container Linux」、CNCFのインキュベーションプロジェクトに採択 マイクロソフトは、同社が2021年に買収したコンテナ環境に最適化されたLinuxディストリビューションである「Flatcar Container Linux」（以下、Flatcar）が、Kubernetesの開発などを主導するCloud Native Computing Foundation（以下、CNCF）のインキュベーションレベルのプロジェクトに採択されたことを発表しました（CNCFの発表）。 "I couldn’t be more delighted with the news that the Cloud Native Computing Foundation (CNCF) Technical Oversight Committee
AWS、NewSQLデータベース「Amazon Aurora PostgreSQL Limitless Database」を正式提供開始 | DevelopersIO
AWS、NewSQLデータベース「Amazon Aurora PostgreSQL Limitless Database」を正式提供開始 昨年末に開催されたAWSの年次イベント「re:Invent 2023」で、AWSは「Amazon Aurora Limitless Database」を発表しました。このNewSQLデータベースは、PostgreSQL/MySQLインターフェースとの互換でありながら、シャーディングによる書き込み性能やストレージ上限も大幅に強化されています。長らくプレビュー状態でしたが、東京リージョンを含めPostgreSQL版が正式提供されました。 Amazon Aurora PostgreSQL Limitless Databaseではデータはシャーディングされ、ルーターが実データのメタデータ管理や分散トランザクション、データ集約などを担います。 ※ 画像引用元 ht
はてなサマーインターンシップ2024のレポートサイトと講義資料を公開しました！ - Hatena Developer Blog
はてなサマーインターン2024実行委員のid:cohalzです。 8月から9月にかけて「はてなサマーインターンシップ2024」を実施しました。本日、そのレポートサイトを公開しました！ hatena.co.jp 今年のインターンでは最初の一週間に京都オフィスに集まりオフラインで講義や課題をするというパートを設けました。 はてなのインターンといえばオフィスで集まってわいわいするのが楽しかったという感想を持ってくれる人も多く、今年はそれを一週間だけですが復活することができました。 ちなみに、京都オフィスは2022年に移転したため、新しいオフィスでオフラインのインターンを実施するのは今年が初となりました。 hatena.co.jp 講義資料 講義資料についても公開しました！ 講義「Web/HTTP/API」 by id:motemen Web技術の基本となる用語について解説しています。HTTPから
2024年11月5日紙版発売 2024年11月5日電子版発売 斎藤友樹 著 B5変形判／368ページ 定価3,300円（本体3,000円＋税10%） ISBN 978-4-297-14563-7 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle honto この本の概要 システムとデータの両面にスポットを当て，データ分析基盤の整備/運用/活用の指針をまとめた入門書。 データ分析の中心にある「データ分析基盤」を取り巻く環境は，大きく変わりました。機械学習/ディープラーニング，マーケティング，需給予測，不正検知を筆頭にデータ利用が多角化し，データ分析基盤に求められる役割も多様化が進んでいます。 本書では，データ分析基盤の「今」に焦点を合わせ，基本用語の整理から歴史，ク
関連キーワード 人工知能 | アプリケーション | プログラマー | プログラミング 人工知能（AI）アプリケーションの開発で使われる主要なプログラミング言語として「Python」が挙げられるが、他にもAI開発に適するさまざまなプログラミング言語が存在する。本稿は第3回に引き続き、AIプロジェクトで選択肢となる10個のプログラミング言語のうち5個を紹介する。 AI開発に使えるプログラミング言語はどれ？ 併せて読みたいお薦め記事 連載：AI時代のプログラミング言語10選 第1回：いまさら聞けない「どのプログラミング言語を使うか」が大切なのはなぜ？ 第2回：「どのプログラミング言語を使うか」を決める“7つの観点”とは 第3回：AI開発で選ばれる「定番のプログラミング言語」はこれだ 開発の気になる話題 「どのプログラミング言語を学ぶか」よりも重要な“あれ”とは 「生成AI×市民開発」がそう簡単で
【初心者向け】gRPCを知るならここから！protobufバージョン別まとめ - asoview! Tech Blog
アソビュー株式会社でバックエンドエンジニアをしている進藤です。今回は、私がアソビューにジョインしてから初めて開発に使用するようになったRPCフレームワーク”gRPC”の要素技術のひとつであり、データフォーマットとシリアライズを行うためのツールProtocol Buffers（以降、protobufと表記）のおおまかな歴史とバージョン変遷について、ふりかえりの目的も兼ねて執筆してみようと思います。 私自身、前職での経験としていくつかのAPI開発に携わったことはありましたが、エンドポイントごとにクライアントコードを手動で記述し管理する煩雑さや、ビジネスサイドの要請により変化していくシステムの中でAPIの互換性を保つ難易度の高さに苦手意識を感じていました。 それがprotobufでは、複数の言語に対応したクライアントとサーバーのコードを自動生成することで異なるプログラミング言語間での通信が容易で
「業界初の統合されたオンチップAIアクセラレーターを活用することにより、お客さまの最も重要なアプリケーションにリアルタイム取引の分析が大規模にできるようレイテンシーを最適化した推論を提供します。サイバー脅威のリスクが高まる社会において、IBM z16は業界初の耐量子暗号システムにより、『今盗んで後から復号する』というサイバー攻撃からお客さまのシステムを保護します」（日本IBM：「IBM z16」発表のブログより） これは、最新のメインフレームが実現したシステムの未来であり、クラウドネイティブ時代と新旧の技術を同時に提供し、膨大なアプリケーション資産を生かすメインフレームによるハイブリッドシステム時代の到来を感じさせます。この先の潮流に乗り、時代に合った技術を利用するためには、業務システムに適した方法を選択していかなければなりません。そのためには、業務システムのアプリケーションおよびデータの
お久しぶりです。 斎藤です。 つい先日 改定新版 [エンジニアのための] データ分析基盤入門が公開されました(発売は2024 11/5)！ ※初版が出版されたのは2年9ヶ月前の2022/02月です 改定新版は、既存の版に修正を加え、全体的に新しい印象を与える版。 とのことです。 ※タイトルは改訂版とか、増補改訂版など名前のつき方が色々あるらしいのですが今回は改定新版がタイトルにつきました。 改定新版 [エンジニアのための] データ分析基盤入門とはどのような本？一言で言うと データ分析基盤におけるコンテキスト(データ量、規模、ユースケース等)を理解し自分で技術選択や機能拡張の選択をできるようになること を目指した教科書&実践基礎(初級から中級向け)な本です。 そのため、説明のために特定の技術を使いますがツールの使い方に関する話題が本質ではなく、むしろそのツールが生まれた背景やそのツールを構成
![改定新版 [エンジニアのための] データ分析基盤入門の執筆｜YUKI SAITO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4226e122cf92c0f33ecd517277292ad36bd2cdb/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F158836278%2Frectangle_large_type_2_dba866b4ee8f68fd4eb203e808d20e9b.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
データ連携コネクターを提供するCData Software Japanは、4月に買収したデータ仮想化ソリューション「CData Virtuality」の日本でのローンチセミナーを開催した。創業者のニック・ゴロビン氏も登壇し、CData Virtualityの誕生秘話を披露。データ仮想化の必要性や事例、そして製品の特徴などについても説明した。 急成長しすぎてグローバルに分散したシステムでデータ統合が必要に データ仮想化ソリューションのData Virtuality創業者のニック・ゴロビン氏の話は、オーストリアにあるアルプスの山村に住んでいたある老人の紹介からスタートする。彼は銀行のディレクターだったが、事業がうまくいかなくなったため、好きなことを事業化することにした。家のガレージで、地元のヨーデルバンドの演奏を録音し、レコードとして販売し始めたのだ。 ニッチなビジネスだったが、この手の音楽が
Spannerの運用について
はじめに Spannerはマネージドデータベースとして提供されているサービスです。そのためパッチ適用やハードウェアのメンテナンスなど、データベースで日常的に発生する運用面での作業の多くは自動的に実施されます。 一方で、データベースの運用という観点ではそれ以外の必要な作業や考慮するべき事項、監視ポイントなどがあります。一般的なリレーショナルデータベース（以下、RDB）と同様の操作もありますが、Spanner特有の概念も存在します。これらについて、RDBとの差分を中心に解説します。理由が明らかな内容についてはその背景となる理由も極力記載しました。 ストレージ ストレージサイズ Spannerではストレージサイズはテーブルに書き込んだデータの量に応じて自動的に拡張されます。そのため、一般的な意味でストレージの残り容量を監視する必要はありません。ただし、1ノードあたり10TiBというストレージの上
入門ソフトウェアアーキテクチャ4種
50ページ程度の小冊子に代表的なアーキテクチャパターン5種が紹介されています 階層化アーキテクチャ イベント駆動型アーキテクチャ マイクロカーネルアーキテクチャ マイクロサービスアーキテクチャ スペースベースのアーキテクチャ（Space-based Architecture) 本書ではこのアーキテクチャは扱いません アーキテクチャの紹介 1. 階層化アーキテクチャ（Layered Architecture） 概要 基本のアーキテクチャ（迷った時はまずこのアーキテクチャから開始して、後から別のアーキテクチャにするのも良い） 一般的には下記4層で構成される プレゼンテーション層 ビジネス層 永続化層 データベース層 【構成】 利点 隣接する層どうし以外は（基本）互いに疎（結合度の低い設計が可能） 実装が用意 欠点 基本はモノリシックシステムかつ小規模向け 「陥没穴アンチパターン（sinkhol
氏名：石川 将人 現職：大阪大学大学院工学研究科機械工学専攻 教授 （知能制御学部門 機械動力学領域） 兼 コマツみらい建機協働研究所 所長 所在地：〒565-0871 大阪府吹田市山田丘2-1 M4棟501〜505 Email： 略歴 学歴 1972年 埼玉県生まれ 1990年3月 埼玉県立浦和高等学校 卒業 1994年3月 東京工業大学 工学部 制御工学科 卒業、学士(工学) 1996年3月 東京工業大学 大学院情報理工学研究科 情報環境学専攻 修士課程 修了、修士(工学) 2000年3月 東京工業大学 大学院情報理工学研究科 情報環境学専攻 博士後期課程修了、博士(工学) (指導教官 三平満司教授 (当時:情報環境学専攻助教授)) 常勤職歴 1999年10月〜2000年4月 東京工業大学 大学院総合理工学研究科 知能システム科学専攻 助手 2000年5月〜2002年1月 東京工業大学
作成：防災アドバイザー監修 はじめに近年、世界各地で発生する大規模災害により、防災への意識が急速に高まっています。 本レポートでは、防災士が実際に試用・検証し、日常生活でも活用できる実用的な防災グッズをご紹介します。 災害時の生存率を高めながら、普段の生活でも活用できる製品を中心に、詳細な分析結果をお届けします。 第1章：究極の防災リュック防災リュックを選ぶ際に最も重要なのは、災害時の信頼性と日常での使いやすさの両立です。 理想的な防災リュックは、耐水性と耐久性に優れた素材を使用しながら、背負いやすく適切な重量配分が実現されていることが重要です。また、夜間の避難に備えて反射材が付いていることも、安全性を高める重要な要素となります。 現在市場で高い評価を得ているのは、以下の3つのモデルです。 まず、防水性能IPX4相当を誇るマルチユースバックパック45Lは、用途別の収納が可能な間仕切りが充実
CAP定理の整理とAWSリソースの対応関係 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? CAP定理とは まずここでは理論的なCAP定理の説明をします。 CAP定理とは、 分散システムにおいて、ネットワーク分断が発生した場合、「一貫性」、「可用性」、「分断耐性」の3つの特性のうち、同時に2つまでしか完全には満たすことができない というものです。 CAP定理の3つの特性 CAP定理は以下の3つの特性からなります。 一貫性 可用性 分断耐性 それぞれについて簡単に説明します。 一貫性(Consistency) 「一貫性」とは「すべてのノードで同じ最新のデータが取得できること」を指します。 クライアントが任意のノードにリクエストを
Web広告メディア「キーマケLab（キーマケラボ）」を運営するベクトルデジタルは、Cookie規制に関する質問に回答可能と答えた事業会社のマーケティング担当者307名を対象に「Chrome におけるサードパーティCookie の廃止撤回および Cookie 規制に関する調査結果」を実施いたしましたので、その結果を発表いたします。 調査結果（サマリー） 調査結果のサマリーですが、以下の通りです。 そもそもファーストパーティ Cookieとサードパーティ Cookieの違いについて、「全く理解していない」が26.4％ Chrome におけるサードパーティCookie の廃止方針を撤回について、約半数（48.2%）が「賛成」と回答 Chrome におけるサードパーティCookie の廃止撤回がもたらす影響について、「十分に理解している」「やや理解している」が全体の約半数（47.9%）を占める結果
Amazon Web Services ブログ AWS における Dunelm のマイクロフロントエンドジャーニー Dunelm Group plc は、イギリスの大手家庭用品小売業者であり、イギリス全土のスーパマーケットとデジタルプラットフォーム上で消費者向けの専門的な商品を扱っています。毎年 4 億回以上のセッションが発生する Dunelm のウェブサイトは、会社の収益の約 35% を生みだしています。 組織が拡大するにつれ、その拡大に一致するように組織構造とソフトウェアアーキテクチャを変革する必要があります。多くの場合、最初に思いつくのは、現在のアーキテクチャから分散システムに移行することです。バックエンドには、マイクロサービスのような統合アーキテクチャがあります。しかし、フロントエンド層、特にそこから高収益を生み出す企業に対してはどう対応したらよいでしょうか？ このブログでは、Du
宮澤慎一 （セコム（株）） Maarten van Steen, Andrew S. Tanenbaum 著 【Paperback】 CreateSpace Independent Publishing Platform ; 3.01 edition（2017），596p.， ＄33.25，ISBN：978-1543057386 【翻訳本参考情報】 日本語訳：分散システム 原理とパラダイム 第2 版，ピアソン桐原；第2 版（2009），ISBN：978-4894714984 日本語訳：分散システム 原理とパラダイム ，ピアソンエデュケーション (2003)，ISBN：978-4894715561 ※本記事のPDFは情報処理学会電子図書館にに掲載されています。（http://id.nii.ac.jp/1001/00185254/） 本書は，分散システムの基礎となる知識を網羅的に解説した教科書
次に、「ロボット開発/ RT-Middlewareの特長と最新動向」というテーマで、産業技術総合研究所 ロボットイノベーション研究センター ロボットソフトウェアプラットフォーム研究チーム長の安藤慶昭氏が講演されました。 「RT-Middleware(Robot Technology-Middleware)」とは、モジュール化されたソフトウェアを組み合わせてロボット制御システムを構成するミドルウェアツール群です。モジュールを組み合わせてロボット制御システムを構築できます。2002年前後から、産業技術総合研究所で研究開発をしています。 RT-Middlewareは「リアルタイム制御」で特に力を発揮します。例えばヒューマノイドロボット(多軸ロボット)などの「モーター数が多く複雑な制御が必要なロボット」では、リアルタイム制御が重要ですが、このような領域で活用されるものです。1ミリ秒～5ミリ秒周期で
はじめに こんにちは、Tochiです。 今日も読み進めていきます！ 今日は第9章の「Define Errors Out of Existence」ついて考えていきたいと思います。 第2章まとめ 第3章まとめ 第4章まとめ 第5章まとめ 第6章まとめ 第7章まとめ 第8章まとめ 第9章まとめ https://amzn.asia/d/7tUC5KQ はじめに 感想 10章 10.1 なぜ例外処理は複雑さを増すのか 10.2 多すぎる例外 10.3 エラーが起きないように設計する 10.4 例: Windowsのファイル削除の例 10.5 例 JavaのSubstringSubstringの 10.6 例外を隠す 10.7 例外を集約 10.8 クラッシュさせる 10.9 やりすぎ問題 10.10 まとめ 感想 「多くのプログラマーはエラーを検出し処理することが重要であると教えられるが、これが「
[レポート]基調講演：AIによる形式検証と形式検証におけるAIの役割 - CODE BLUE 2024 #codeblue_jp | DevelopersIO
[レポート]基調講演：AIによる形式検証と形式検証におけるAIの役割 - CODE BLUE 2024 #codeblue_jp こんにちは、臼田です。 みなさん、セキュリティ対策してますか？(挨拶 今回はCODE BLUE 2024で行われた以下のセッションのレポートです。 基調講演：AIによる形式検証と形式検証におけるAIの役割 10年以上前から、形式検証（formal verification）のワークフローは、悪用可能なバグのないソフトウェアを作成するのに十分であることが知られており、また必要であるようにも見える。AIシステムは、これらのワークフローを支援する能力が急速に向上しており、より専門性の低いエンジニアでもこれらのワークフローを利用できるようになっている。AIは他の多くのワークフローも支援可能だが、サイバーセキュリティにおいて実益をもたらすほどに信頼性を高めるためには、依然
![[レポート]基調講演：AIによる形式検証と形式検証におけるAIの役割 - CODE BLUE 2024 #codeblue_jp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d865dede4c738579781c910d9d88748a4b48b68c/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2FZons7RQD2xcZVq9pUY8Dp%2F4d05341e17a1eb3ccf108b25f8044b03%2Feyecatch_codeblue_2024_1200x630.png)
はじめに サービスの品質を維持しつつ、ユーザー体験を向上させるにはどうすれば良いのでしょうか？ その課題に取り組むため、今回は New Relic の SLM ( Service Level Management ) を使って、サービスのパフォーマンスを可視化してみました。 しかし、SLI ( 指標 ) や SLO ( 目標値 ) をどのように決めるべきか、まず何から始めるべきか迷う方も多いのではないでしょうか。 この記事では、SLI / SLO の定義から、New Relic を使った計測・可視化まで、実際にやってみた手順を紹介します。 ※ 本記事は、2024年11月時点の情報から作成しています。 SLI / SLO を定義し、New Relic で可視化する手順 今回は例として、オープンソースの EC サイト構築プラットフォームである EC-CUBE を利用した検証環境を用意しました。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
脱データ不整合!? Workflow Engine「Temporal」の魅力
改訂新版［エンジニアのための］データ分析基盤入門＜基本編＞ データ活用を促進する！ プラットフォーム＆データ品質の考え方
AI開発に使えるプログラミング言語は「Python」だけじゃない？
第1回：メインフレーム60年の挑戦、未来に向けた進化と深化
改定新版 [エンジニアのための] データ分析基盤入門の執筆｜YUKI SAITO
アルプスでヨーデルをレコード化したら、事業が急成長 データ仮想化が必要になるまで (1/2)
石川将人 教授 | ishikawa-minami-lab
進化する防災グッズ：実用性と安全性を追求した最新セレクション | この海の向こう側
Chrome におけるサードパーティCookie の廃止撤回および Cookie 規制に関する調査結果
AWS における Dunelm のマイクロフロントエンドジャーニー | Amazon Web Services
Distributed Systems 3rd Edition｜情報処理学会・学会誌「情報処理」
OSSがリードする「AI/Deep Learning」「自動運転」「ロボット開発」（2/3）
A Philosophy of Software Design - コツコツエンジニアの日常🐻
【次世代MSP】SLI / SLO を定義してみた ～ New Relic でサービスの見える化に挑戦！ | iret.media