はじめに 昨今Webに限らずあらゆる事業領域において、蓄積されたデータの活用は必要不可欠、やっていて当たり前なものになってきているかと思います。これまでこのブログではあまりそういう話題に触れてこなかったこともあり、本稿では改めてドワンゴ教育サービスにおけるデータの活用に関する取り組みについて、概要レベルにはなりますがご紹介したいと思います。 はじめに N予備校における従来のデータの取り扱い 現在の取り組み 本番環境のデータのBigQueryへの蓄積 データ活用のプロトタイピング そのほかのデータ活用に関連する取り組みや展望 N予備校のアーキテクチャ・パイプラインの検討 分析対象のデータ拡充 データの管理体制 機械学習技術等の活用 おわりに We are hiring! N予備校における従来のデータの取り扱い まず従来から行われているN予備校におけるデータ活用の取り組みについて紹介します。現
Data Platform Meetup 【vol.2】 https://data-platform-meetup.connpass.com/event/155073/ での発表スライドです。 クックパッドにおける，DWHと密に連携した機械学習プロジェクトの話です。
【保存版】Azure/AWS/Google Cloud(GCP)/OCI サービス比較 - NOBTAの気ままにITブログ
※ 2021年1月 更新 マルチクラウド化が進むにつれて、各種クラウドサービスを比較する機会が増えるのではないかと思います。 今回は、自分の整理も兼ねて、Azure (Microsoft 365)／AWS／Google Cloud (Google Workspace)／OCI のサービス比較表 を作成してみようと思います。 *1*2 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース データベース ID WEB コンピューティング ストレージ セキュリティ 仮想デスクトップ 統合 分析 まとめ 参考情報 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース Azure AWS Google Cloud OCI マーケットプレース Azure Marketplace AWS Marketplace
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する - blog.potproject.net
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する(したい) タダでkubenatesを運用してみたいんじゃオラ という気持ちの元に、ギリギリ無料でkubenatesを運用できそうな物が出てきたので、構想を現実にするという記事です。 Oracle Cloud Infastructure と Kubernetes Kubernetes、Docker(厳密には違うけど)のオーケストレーションツールとして、事実上の標準として居座っているオープンソースソフトウェア。 コンテナの運用技術としてこれから試してみたい人も結構多いと思いますが、やるのであれば実際にクラスタ組んでサービスをデプロイしてインターネットからアクセスできる、そんなレベルまでやってみたいものです。 やるとすれば、実際Kubernetesを採用しているクラウドサービスは多く、GCPはマネージドKub
2024年度 サイバーエージェント新卒社内研修の「データモデリング」の資料公開 | CyberAgent Developers Blog
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、先日弊社内で実施をしたAI事業本部 新人研修の一部である「データモデリング」について記載をします。 同じく講師として登壇をした yassun7010 も「データベースの歴史」について、ブログとして公開をしているため、合わせて見ていただけると嬉しいです。 ※今回の記事作成に合わせて一部加筆修正をしています。 基幹系と情報系 今回の研修では、データモデリングを扱うシステムを 基幹系 情報系 に分けて説明をしています。 というのも基幹系と情報系では、そもそもデータの扱われ方やシステムの特性が異なります。 基幹系システムではOLTPと呼ばれる処理システムになっており、オンラインでかつリアルタイムにデータを追加更新します。そのため、重要となってくるのが多くのトランザクション（処理数）を正確にさばくことです。代表例としては銀行の
Java 20新機能まとめ - Qiita
Java 20が2023/3/21にリリースされました。 https://mail.openjdk.org/pipermail/jdk-dev/2023-March/007517.html The Arrival of Java 20! 今回、正式導入された大きな機能はありません。プレビューとしても新しいものはScoped Valueひとつだけです。次回Java 21がLTSなので、ウォーミングアップなバージョンという感じですね。 詳細はこちら JDK 20 Release Notes Java SE 20 Platform JSR 395 OpenJDK JDK 20 GA Release APIドキュメントはこちら Overview (Java SE 20 & JDK 20) 追加されたAPIまとめはこちら https://docs.oracle.com/en/java/javase/
フェアユースは認められたが、Googleは対価を支払うべき - Java API訴訟に寄せて - arclamp
ようやく裁判の結果が出ました。結果としてフェアユースが認められたのはよかったのですが、Googleが勝訴したということは素直に喜べないので、その理由を書いておきます。 関連ニュースは、こういったところから。 約1兆円の賠償金を巡るGoogleとOracleの10年にわたる訴訟が決着、「APIのコピー」は結局違法なのか？ - GIGAZINE Google、オラクルの著作権侵害せず 米最高裁判決: 日本経済新聞 グーグル、米最高裁でオラクルに勝訴--「Android」Javaコード訴訟で - CNET Japan 経緯 では、経緯について時系列に沿って整理していきます。推定可能な事実に基づきますが、一部、妄想も含まれています。 2005年 Google（広告収入増やすには無償で改変自由なスマホOSが重要になるはず。普及させるなら開発者の多いJavaベースだよな。でも、クラスライブラリ改変しな
1060台の「Raspberry Pi」で構成するスーパーコンピュータ - fabcross for エンジニア
Oracleは、同社の年次カンファレンス会議「Oracle OpenWorld 2019（OOW 2019）」を2019年9月にサンフランシスコで開催し、Raspberry Piを1060台使ったスーパーコンピュータを公開した。 このスーパーコンピュータは、Oracleが同カンファレンスで発表して大きな注目を集めた自律型OS「Oracle Autonomous Linux」が走っているが、コアとなる処理システムはSTEM教育やIoT開発において人気のある「Raspberry Pi 3 Model B+」だ。もちろんJavaも動いている。 これらのRaspberry PiはUbiquiti UniFiスイッチに接続され、アップリンクにはSFP+ 10GbEトランシーバーを利用する。電源供給は熱と電力を考慮して、PoEではなくUSBで行うという。ストレージサーバーにはSupermicro 1U
Amazon Auroraを選択する前に知っておいた方がいい話 - orangeitems’s diary
※2019年10月18日時点の話です。 Auroraの話 Amazon Auroraってありますよね。 この前、AmazonがOracle DBをAmazonのサービスに移したゾって言うニュースが流れていました。 tech.nikkeibp.co.jp 米アマゾン・ドット・コム（Amazon.com）がついに米オラクル（Oracle）に「勝利宣言」をした。アマゾンは2019年10月15日（米国時間）、社内からOracle Database（DB）を「全廃」したと発表したのだ。最盛期には約7500ものOracle DBが存在し、eコマースや物流、決済、受発注、広告、動画・音楽配信などのバックエンドで長年使われてきた。それらはほぼすべて姿を消したという。 Oracle DBからの移行先は、アマゾンがクラウドサービスAmazon Web Services（AWS）で提供するDBサービスだ。今後は
[動画公開] データ分析を支える技術 データモデリング再入門 #devio2022 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。クラスメソッド主催のオンラインカンファレンス、Developers.IO 2022にて「データ分析を支える技術 データモデリング再入門」というテーマにてセッション動画と資料を公開いたしました。 セッション概要 「仏作って魂入れず」ということわざがありますが、データモデリングせずにDWHという「器」を導入しただけでは、データ分析は捗りません。 データモデリングを考えずに導入したデータ分析基盤は、データマートの乱立、もしくは、データが分かりにくく、分析に手間がかかるため、あまり使われなくなってしまったり、分析に適さないテーブル構造や構成による性能低下、オーバープロビジョニングによるコスト上昇などの問題が考えられます。 DWH（データウェアハウス）のデータモデリングとは何か、代表的なDWHのデータモデリング手法の紹介と、長所・短所、
![[動画公開] データ分析を支える技術 データモデリング再入門 #devio2022 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d044b7e54a63464ac2fc7f324b36b3fafe9bffea/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F07%2Fdevio2022-primer-of-data-modeling_thumbnail.jpg)
Kubernetesでアプリの安定稼働と高頻度のアップデートを両立するためのプラクティス / Best Practices for Applications on Kubernetes�to Achieve Both Frequent Updates and Stability
書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ
最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理（データマネージメント）という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望（新しいデータの提供、仕様の変更）の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータ
Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Dataformとの比較 細かいノウハウ 手元や本番環境での動作 Argo Workflowとの連携 環境によってDWHの提供するバージョンを差し替える DWHやデータマートの外の情報をデータリネージに加える 既存
概要 CentOS 8 を Oracle Linux 8 に切り替える方法について記載します。 背景 CentOS 8 の開発が終了し、CentOS Stream に統一されるとの発表がありました。CentOS Stream はRHELのプレリリース版のような位置づけで、特定のバージョンはなくローリングリリース方式となります。RHELの代わりに使えるケースもあると思いますが、特定のRHELのバージョンと合わせた環境がほしいような場合は要件に合わないこともあると思います。 Oracle Linux とは？ Oracle Linux は、Oracleによって開発されている RHEL Clone のLinuxディストリビューションで、10年以上の歴史があり、今も開発が続いています。 Oracle Databaseを代表とする血も涙もないライセンスのOracle製品とは異なり、Oracle Lin
Oracle DatabaseがGraalVMを搭載、DB上でJavaScriptを実行可能。Pythonやほかの言語もサポートしていくと
Oracle DatabaseがGraalVMを搭載、DB上でJavaScriptを実行可能。Pythonやほかの言語もサポートしていくと オラクルは、最新データベース「Oracle Database 21c」を含む「Oracle Autonomous Database」を、Oracle Cloud上で無料で利用できる「Always Free」で提供開始したと発表しました。 「Oracle Database 21cは、世界で最も強力なコンバージド・データベース・エンジンの提供というオラクルの戦略を継続します。」発表資料はこちら https://t.co/DH13zechSx #database #データベース #OracleLive pic.twitter.com/o5huPbw6Hp — Oracle Japan/日本オラクル (@Oracle_Japan) January 14, 20
Windows10環境にVagrant + VirtualBoxでUbuntu18.04(デスクトップ)環境を構築 - Qiita
#Windowsキー + Rで下記を入力。必要ならパスワードを入力 powershell start-process powershell -verb runas #以下PSで入力 #必要なディレクトリを作成し作業用ディレクトリに移動。 New-Item "C:\Vagrant\tmp" -Force -ItemType Directory New-Item "C:\Vagrant\ubuntu1804" -Force -ItemType Directory New-Item "C:\Program Files\Oracle\VirtualBox" -Force -ItemType Directory cd "C:\Vagrant\tmp" #Virtualboxをインストール Invoke-WebRequest -uri https://download.virtualbox.org/v
というのをチームで議論する機会があったので、書いてみます。「うちではこうしている」とか「ここはこっちのほうがいいんじゃない?」とかあったらコメントで教えてください。 背景 / 前提 データウェアハウスのテーブルを社内に広く提供したい 初期の提供時期が過ぎてしばらくすると、要望を元にスキーマの変更や集計ロジックの変更が入る (事前にレビューはもちろんするが)SQLのミスなどで以前のバージョンに戻したいといったことがありえる 他の部門では新しいバージョンをすでに使っていて、気軽に戻せないこともある データウェアハウスのバージョンを場面に応じて複数提供できると都合がよい 一方で、大多数のデータウェアハウスのユーザーは最新バージョンの利用だけでよいはず SSOT(Single Source of Truth)になっていて欲しいわけなので... 複数バージョン見えていると「どのバージョンを使えばいい
累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/
MySQLの新サービス「HeatWave」、SQLそのままで最大3000倍高速に。DMM.comが検証［PR］
DMM.comは、動画配信やオンラインゲーム、オンライン英会話から株式や外国為替の取引まで、さまざまなサービスを20以上のグループ会社で提供しています。 同社のデータ基盤のデータベースにはMySQLが採用され、運用されてきました。 そのデータベースをMySQL 8.0へ移行するにあたり、移行先の候補とされたのがOracle Cloud上のマネージドサービスとして提供されているMySQLの新サービス「MySQL Database Service with HeatWave」（以下、HeatWave）です。 DMM.comは同社の実際のデータとSQLを使ってHeatWaveを評価。結果として最大で3000倍もの性能向上が得られたとする発表を、2021年5月に行われたウェビナー「DMM.comにおけるMySQL活用術とHeatWave検証結果解説」で行いました。 またオラクルはHeatWaveの
Google has found a way to bring a variation of its clever “Circle to Search” gesture to iPhone users. The new interaction, launched in January, allows Android users to search…
Dataformを初めて使ってみたので、雑に感想を書いておきます。結構よかった。 使ってみようとした背景 Dataformについて 試してみてどうだったか よかった まだまだこれからっぽいところ & 気になり 参考 使ってみようとした背景 今週、社内の開発合宿に参加していた。変更のリードタイムやデプロイ頻度などのFour Keysにあるような指標を計測できるデータ基盤を作るのが目標。様々なチームの開発のパフォーマンスをトラッキングしやすくして、うまくできているチームがなぜうまくいっているのかを明らかにしたり、改善施策を行なった結果指標も改善しているか定量的に確認できるようにして、開発効率を上げる土台を作るというのが目的。この辺の詳しいことは後々別のエントリで書かれると思う。 自分のチームは3人構成で、在宅のオンラインでやっていた。 id:shiba_yu36さん Mackerelチームでも
BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0
この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現したいこと SaaSデータの処理方法 SQLサンプル1: 純粋な配列だけのケース SQLサンプル2: 配列内にハッシュマップがあるケース SQLサンプル3: 配列宣言ナシでカンマ区切りのハッシュマップが突如始まるケース SQLサンプル4: 配列とハッシュが入り乱れるケース SQLサンプル5: JSONの中に親子構造があるケース SQLサンプル6: Objectを定義したくなるケース 最強のJSONパースの関数は作れるか jsonデータの処理をどこで行うか 最後に
Javaの基本的なAPIをまとめた「Oracle Java SE」に複数の脆弱性が見つかったとして、情報処理推進機構（IPA）とJPCERT/CCは1月18日、早急に修正パッチを適用するよう注意を呼び掛けた。 脆弱性が見つかったのは「Oracle Java SE 19.0.1」「Oracle Java SE 17.0.5」「Oracle Java SE 11.0.17」「Oracle Java SE 8 Update 351-perf」「Oracle Java SE 8 Update 351」。 脆弱性の数が多く、攻撃された場合の影響が大きい。JPCERT/CCはJava SEを活用する製品を使っている場合もあるとして。利用中のPCやサーバに対象となる製品が含まれていないかも確認するよう促している。 関連記事 つながるクルマ、自動運転車に潜む脆弱性 不正な遠隔操作でロック解除や始動も 米ラ
OpenJDK が Github へ移行
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
dbtを使ったELTデータパイプライン構築と運用事例 - DataEngineeringStudy #13
DataEngineeringStudy #13に10Xの瀧本が登壇した際の資料です。
さて、１週間くらい前のニュースですがAlibabaがOracleのデータベースを抜いて世界1位の座を獲得しました。 itnews.org 世界一位って何よ？ って所なのですが TPC-C - All Results - Sorted by Performance の結果みたいです。 まあ「Oracleのデータが10年前の11gなので今のExadata X8Mとは比べ物にならない程性能が低いであろうこと」「HPEとかも虎の子のNonStop SQL出してない」「レギュレーションの問題なのかやる気の問題なのかAWS AuroraもGCP Spannerも居ない」という事もあって、最速のRDBランキングとしての妥当性に疑問はありますが、これはランキングが悪いのであってAlibabaを貶めるものでは無いでしょう。誇大広告感は狙ったと思いますがw ベンチマーク結果としては以下のように、2位のOrac
はじめてQiita投稿させていただきます。NP-Sytems（ https://np-sys.com )です。 いつもお世話になっているんですけどね、投稿せずに申し訳ない。 はじめに 「2025年の崖」と言われているように、製造業にとってデジタルトランスフォーメーションが喫緊の課題となっております。新興国が品質とコストで猛追するなか、工場にいて日本の厳しさを感じるんですよね。 もはや「日本の品質って本当にいいの？」って思ってしまいます（まぁうちの工場だけかもしれないけど！）。 とはいえ人口減少する日本にとって、高付加価値品の製造が必要なのは明白であり、特にAI/IoTというのはその大きな試金石となっていると思います。いちメーカでAI/IoT担当（かっこ笑いw）をしている身から現場の感覚をお伝えできればと思います。 言いたいことは下記の3点です。 ・本部機構にだけAI・IoT推進課を作っても
日本オラクルは2021年10月1日、同社の定例説明会において、米Oracleが年内に同社の認定試験であるOCI認定試験を日本国内向けに期間限定で無償提供すると説明した。対象となる試験は「Oracle Cloud Infrastructure 2021 Architect Associate」など15種類で、そのうち8種類は日本語でも受験できる。 Oracleは2021年9月8日からOracle Cloud Infrastructureの無償学習プログラムを開始。学習プログラムは無期限で無償提供するとしている。利用者はオンラインでのデジタルテキストの閲覧やOracle Cloudを使用した実機演習、資格取得準備セミナーの受講などが可能だ。 オラクルユニバーシティの岡田大輔ビジネス推進部／研修部部長はプログラムのメリットを3点挙げた。無償化により企業が予算化を考慮せず学習環境を利用できる点、デ
Oracle JDKを含むOpenJDKディストリビューション(以下、JavaまたはJDK)にはJFRを筆頭にさまざまな分析ツール/仕組みがあります。 JDK7からJDK12にかけてトレンドが変わった部分もあるので、少しサマったメモを書きます。 メトリクス取得のための仕組み Javaにはパフォーマンスメトリクスを取得するための方法がいくつかあります。代表的なのは下記の3つでしょう。 JMX ログ JPLIS(javaagent) JMX Java Management Extensions(JMX)はJavaのリソース監視および管理のためのプロトコルです。簡単にいえばJava版のSNMPです。 JSR-174としてJava 1.5より取り込まれています。 Managed Bean(MBean)を利用してCPUやメモリの情報を取得したり、特定のイベント(例えば強制GC)とかを実行することも可
MySQLベースの分散インメモリDB「HeatWave」の最適化と運用自動化を支援する「MySQL Autopilot」、オラクルが発表
MySQLベースの分散インメモリDB「HeatWave」の最適化と運用自動化を支援する「MySQL Autopilot」、オラクルが発表 オラクルは、MySQLのデータベースエンジンに分散インメモリデータベース機能を搭載し、高速なデータ分析が可能な「HeatWave」向けの新機能として、機械学習による性能の最適化などを提供する「MySQL Autopilot」を発表しました。 Say hello to MySQL Autopilot, the in-memory query acceleration engine for @MySQL HeatWave Database Service in #OCI. https://t.co/u9aKiwoJCf pic.twitter.com/ec6sMJ1Fhs — Oracle (@Oracle) August 11, 2021 HeatWave
Java 14正式版が登場。テキストブロック、インストーラー作成ツールなど新機能。Solaris/SPARC版はついに引退
Java 14正式版が登場。テキストブロック、インストーラー作成ツールなど新機能。Solaris/SPARC版はついに引退 Java 14正式版が登場しました。 2017年9月に登場したJava 9以降、Javaは6カ月ごとに「フィーチャーリリース」と呼ばれるメジャーアップデートが行われています。Java 14は、昨年9月に登場したJava 13に続くメジャーアップデートです。 Oracle is proud to announce the availability of #Java 14! Download: https://t.co/RppJOsT0WZ Release Notes: https://t.co/PA5jibv7o1 Documentation: https://t.co/0aGT8pWp80 Blog: https://t.co/rtiBtagTvm pic.twitt
［速報］Oracle Autonomous Linuxリリース。ダウンタイムなしで自律的にパッチ適用、チューニング実行、RHELと100％互換など。Oracle OpenWorld 2019
［速報］Oracle Autonomous Linuxリリース。ダウンタイムなしで自律的にパッチ適用、チューニング実行、RHELと100％互換など。Oracle OpenWorld 2019 米オラクルは、サンフランシスコで開催中の年次イベント「Oracle OpenWorld 2019」で、「Oracle Autonomous Linux」のリリースを発表しました。 同社会長兼CTOのラリー・エリソン氏はこれを「世界で最初の自律的に動作するオペレーティングシステムだ」と紹介しました。 Oracle Autonomous Linuxは、Oracle LinuxをベースにしたLinuxディストリビューション。Oracle Cloudで提供されるOSの集中管理サービス「Oracle OS Management Service」と組み合わせることで、自律的なパッチの適用やチューニングなどが可能に
はじめに こんにちはokodoonです タイミーのデータ基盤に対してデータモデリングを始めてしばらく経ったので、現状の全体構成を紹介したいと思います 全体構成 弊社のBigQueryは以下の4層にレイヤリングされています それぞれの役割は以下のような切り分けになっています レイヤー名 役割 データレイク層 複数ソースシステムのデータを未加工の状態でBigQueryにロードする宛先 dbt snapshotによるソースの履歴化 ステージング層 複数ソースシステムのデータを共通した処理でクレンジングする層 DWH層 ソースシステムのデータ形式を分析に適した形に変換する層 ディメンショナルモデリング/ログテーブルをイベント単位に分割/その他便利テーブル作成 データマート層 特定用途に対して1:1で作成されたテーブル群を格納する層 ダッシュボード用テーブル/Looker用テーブル/GoogleSh
入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
MySQL公式のDockerリポジトリがcontainer-registry.oracle.comに引っ越していた
この記事は MySQLのカレンダー | Advent Calendar 2023 の10日目の記事です。昨日は meijik さんの 最新のSQL標準(SQL:2023)とFirebird/MySQL/PostgreSQL | キムラデービーブログ でした。 TL;DRdockerhub のMySQLイメージはもうメンテナンスしていないっぽい ややこしいのだけれど、 docker pull mysql で取得するのは「Docker社がビルドしたMySQLイメージ」で、 docker pull mysql/mysql-server で取得するのが「Oracle社がビルドしたMySQLイメージ」だった引っ越したのは後者のみMySQL Server Community Edition - Repository Detail 5.7は5.7.16と5.7.33だけ、8.0は8.0.22とそれ以降し
CI/CDのボトルネックを把握できていますか？BigQueryでビルド情報ダッシュボードを構築した話
https://event.cloudnativedays.jp/cicd2021/talks/1152 開発人数が多く、規模の大きいプロダクトでは最終的な成果物をビルドするだけで1時間以上かかってしまうことも珍しくありません。ですが最初からそれほど時間がかかっていたわけではなく、時間とともに巨大化するコードベース、追加されたステップなどによりいつの間にかどこかの処理がボトルネックとなっていることが多いでしょう。 CIサービスの多くは成功/失敗の情報、全体としてのビルド時間の情報は見やすく提供していますが、各ステップの時間やステップのエラー率などの細かい粒度の情報を時系列で確認する機能までは提供されていないことが多いです。そのため、ボトルネック箇所を特定するためには過去の生ビルドログを自分の目で確認するコストが高い作業が必要でした。 そこで、Jenkins, CircleCI, Githu
AI活用やデータ分析をする前に知っておきたい！エンタープライズデータアーキテクチャ入門/ What You Need to Know Before Using AI and Analyzing Data! Introduction to Enterprise Data Architecture
次のイベントの投影資料です。 https://studyco.connpass.com/event/251782/
Simplifying Data Analysis & Visualization with Developer Tools & AI
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
N予備校のデータ分析基盤構築に向けた取り組み - ドワンゴ教育サービス開発者ブログ
DWHを活用した機械学習プロジェクト/ml-with-dwh
DWHにおけるデータモデル 定番から最新トレンドまで
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
dbtを触ってみた感想 - yasuhisa's blog
CentOS 8 を Oracle Linux 8 に切り替える - Qiita
データウェアハウスのバージョン管理をどうやるか - yasuhisa's blog
TechCrunch | Startup and Technology News
開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog
Java SEに脆弱性 数が多く影響範囲広く 早急に対策を
世界１位になったアリババの独自開発DB OceanBaseとは何者か？ - ブログなんだよもん
現場からの報告。製造業でAI/IoTを活用するために必要だと思うこと - Qiita
オラクルが認定試験を期間限定で無償提供、「人材育成の課題解決に貢献」
OpenJDKで使えるパフォーマンス分析と障害診断ツール - Qiita
タイミーデータ基盤のモデリング設計について - Timee Product Team Blog
弁護士目線で見た2024年の生成AIトレンド予測
madamefigaro.jp
jp.reuters.com
sustainablejapan.jp
l.smartnews.com
togetter.com
news.yahoo.co.jp