公開日 2024/07/29更新日 2024/07/263フェーズに分けて振り返る atama plus データアーキテクチャ変遷 こんにちは、atama plus株式会社でEngineering Managerや、SRE、データ基盤などplatform系チームのオーナーをしております、前田（ @kzk_maeda）と申します。 atama plusでは「教育に、人に、社会に、次の可能性を。」をミッションに、全国の生徒さんに新しい学習体験を届けるため奮闘しています。 その手段として、AIを用いてパーソナライズされた学習体験を提供しております。その実現のためには生徒さんの学習データを如何に活用していくかは非常に重要な要素です。他にも、データに基づいた意思決定、コンテンツ改善のための指標トラッキング、顧客コミュニケーションなど、様々なところでデータを活用する動きがあり、年々その需要と活用幅は広
DeltaLake Universal Formatを使ったクロスプラットフォーム分析 - NTT Communications Engineers' Blog
本記事では6月に開催されたDATA+AI Summit 2024でGeneral Availabilityが発表されたDatabricksのDeltaLake Universal Formatの機能を使ってクロスプラットフォームでの分析を実現する方法について紹介します。 DeltaLake Universal FormatはDeltaLakeに保存されたデータをApache Icebergなどの異なるフォーマットで読み出すことができるようにする機能です。本記事では実際にDatabricks上でDeltaLake Universal Formatの機能を有効にしたテーブルを作成し、Amazon AthenaからApache Iceberg形式でクエリを発行するサンプルを用いて、機能の使い方と本機能のメリットについて解説します。 目次 目次 はじめに データレイクとOpen Table For
TiDB User Day 2024 に参加なぅ
今年も TiDB User Day に参加しています！ とりあえずライブブログ頑張るｗ hashtag: #TiUD2024 全体さくっと PingCAPのTiDBは、高スケーラビリティとAI活用が評価され、成長中。 LinkedInは、TiDBのスケーリングとオペレーションで課題と改善点を発見。 Pinterestは、HBaseからTiDBに移行し、パフォーマンス向上と運用効率を実現。 レバテックは、リソース・管理効率向上とゼロダウンタイムを目指しTiDBに移行。 サイバーエージェントは、旧データ基盤からTiDBを含む新基盤へ移行し、運用負荷を軽減。 Voicyは、TiDB Cloud導入でコスト削減と運用効率を向上させた。 Orbは、ETL障害と遅延解消のため、CassandraとMySQLからTiDBに移行。 DMMは、クラウド化とGo書き直しを機にTiDB Cloudを採用し、運用
dbtech showcase 2024に参加なぅ
今日は dbtech showcase 2024 に参加しています。 今日は全部で書くつもりはあんまりないのですが。。ぬるっと書いてみますｗ MySQLアプリケーション開発を爆速にする最新手法 2024.7.12 (金) 10:45 - 11:15 登壇者 大塚 恒平さん ソフトウェア開発はしばしば複雑なプロセスが伴いますが、高品質な製品を迅速かつ効率的に開発するためには、開発とテストのプロセスを簡素化、自動化、最適化することが鍵となります。このセッションでは、Visual Studio Code, REST API, JavaScript, Kubernetes Operator などのツールを活用して、MySQLを使ったアプリ開発を劇的に効率化する最新手法をご紹介します。 MySQL とは 世界でもっと普及しているオープンソースデータベース デュアルライセンス コミュニティ版 商用版
SIEMからデータ基盤へ - Amazon Security Lakeを試してる話 - LayerX エンジニアブログ
LayerX Fintech事業部*1ので、ガバナンス・コンプラエンジニアリングをしている @ken5scal です。 はじめに 本ブログは、以前執筆した「SIEMの限界」から「データ基盤への道」への具体的な取り組み、いわば試行錯誤の途中経過をお伝えするものです。今後も継続的に試行錯誤や改善策をお届けしていく予定ですので、この過程に興味をお持ちの方は、ぜひフォローをお願いいたします。 tech.layerx.co.jp 「SIEMの限界」で述べた通り、当社は「メンテナンスや運用、対応策にかかるコストと工数に比して、自社の持てるコントロールや自由度が限定的」という課題を既存のSIEMに感じています。 まず、SIEMの強みとされる相関分析の効果を最大化するには、監査ログ以外にも以下のデータを相関できる必要があります。 ユーザーやデバイス等の資産情報 権限 NWトラフィック 特にNWトラフィック
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3フェーズに分けて振り返る atama plus データアーキテクチャ変遷 - Findy Tools