新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
elasticの新プロダクト「Beats」シリーズに震える！ - Taste of Tech Topics
初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？
DockerとAnsibleの使い分けを手探りで考えてみた - Taste of Tech Topics
皆さんこんにちは。 アキバです。 久しぶりにエントリ書きます。 突然ですが、今、システムをデプロイすると言ったら自動化しますよね。 そこで、皆さんは何を使っていますか？ 私は、最近、DockerとAnsibleを仕事でガチに触る機会がありました。 ※本番運用のサーバもDockerを使って動作させました。 今回は、そこで得たことについて書きます。 皆さんの参考になればと思います。 命題：Dockerを使うべきか、Ansibleを使うべきか。 作るべきシステムは、いわゆるWebシステムで、WEBサーバとAPサーバで構成しています。 WEBサーバとAPサーバはそれぞれN台のクラスタ構成です。 ※以下の図は、本番運用で想定しているサーバ構成を今回の説明用に抽象化したものです。 N台のクラスタ構成ということで、Dockerを使おうとなりました。 コンテナでスケールアウト出来るから…ですね。 さてここ
RestfuseによるREST API自動試験まとめ(その１) - Taste of Tech Topics
こんにちは、Web系エンジニアのナカガワです。 皆さん、REST APIのテストはどのようなツールを使っていますか？ 私はJUnitでテストが書ける「Restfuse」を使っています。 今回、実プロジェクトでRestfuse + Jenkinsで定期的にREST APIをテストする仕組みを構築したため、このあたりのノウハウをまとめて書きたいと思います。 REST APIテスト自動化のゴール ゴールは以下の二つです。 (1) APサーバ上で動作しているWebアプリケーションに対し、自動でREST APIテストを実施する。 (2) Jenkinsを用いてCIを実施可能にする。 まず今回は、前者のREST APIテストを実施するところまで紹介します。 Restfuseを使って、REST APIをJUnit上でテスト可能に！ 先にも書きましたが、私が使ったのはRestfuseというツールです。 R
Javaのマイクロベンチマークツール「JMH」 - Taste of Tech Topics
本ブログの読者の皆様方におかれましては、JavaのArrayListとLinkedListの 実装の違いにより性能に差があることは、当然のように熟知のことと存じあげます。 しかし！ 実際にいかほどの差があるのか、それを数値で説明できるという方はどれほどいらっしゃるでしょうか。 いきなり丁寧語の煽りでスタートしました @cero_t です。 そう、今日のテーマはマイクロベンチマークです。 たとえば、 文字列を + で結合すると遅い。 ArrayListの初期化時にはサイズを指定したほうが良い。 ArrayListはループ処理が得意、LinkedListは途中の追加が得意。 など、よくあるパフォーマンスのプラクティスについては既に知っているという方も多いと思うのですが 実際に何倍ぐらいの差なのか（どれぐらいのオーダーの差なのか）を数値で話すことができるという方は、 あまり多くないように思います
RxJavaを使ってCallback Hellから脱出する（ Vert.x がいいね！第5回 ） - Taste of Tech Topics
id:KenichiroMurata（@muraken720 ）です。 本記事はJava Advent Calendar 2013 - Adventarの6日目の記事です。 皆さん、RxJava 使っていますか？ RxJava はNetflixが開発する Reactive Extensions のJava版です。Reactive Extensions (Rx)はReactive Programmingを可能にするライブラリです。 私はReactive Programmingとはなんぞや？と語れるほどには詳しくないので、ここでは asynchronous で event-based なプログラムを書くのに便利なライブラリというレベルの紹介とさせて頂きます。:-) さて、なぜ RxJava なのか？というと Vert.x を使って、asynchronous で eventbusベースのプログラ
もしもラムダの中で例外が発生したら（前編） - Taste of Tech Topics
ある日、 id:cero-t がJJUGの重鎮たちと話している中で、とある宿題をもらいましたとさ。 「Java8のラムダの中で例外が発生したら、どうなるんだろう？」 こんにちは、アキバです。 もう皆さんはJava8を使ってみましたか？ とりあえずインストールしてみた人！ ・・はーい (おまえか という冗談はさておき、 今回は、id:cero-t に代わって私が冒頭のお題を調べてみました。 1. SerialStreamで動かしたラムダで例外が発生したら まずは、小手調べにシングルスレッドの場合を見てみましょう。 検査例外が発生するようなコードをラムダに書いてみると、コンパイルエラーになります。 こんなコードです。 try (BufferedWriter writer = Files.newBufferedWriter(Paths.get(W_FILENAME))) { // writer.
Vert.x がいいね！（第1回：入門する） - Taste of Tech Topics
id:KenichiroMurataです。 最近2.0がリリースされたVert.xについて、皆さんご存じでしょうか？ Vert.xは一言で表現すると、 Vert.x is a polyglot, non-blocking, event-driven application platform that runs on the JVM. です（公式サイトより引用）。 JVM上でのnon-blockingでevent-drivenなプラットフォームな所が私のお気に入りポイントです！まぁ、Java屋さんですからね。うちは。 そんなお気に入りのVert.xについて、これから数回に分けて本ブログにて記事を書いて行こうと思います。 Vert.xを知る Vert.xを知るには、ドキュメントが充実した公式サイトを読むのが一番です。ですが、ボリュームがかなりあるので、オススメのサイトを紹介します。 vert.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
