Experience ALPHA STREAM technology, a unique and powerful sonic processing solution for Sony EX15LP headphones to bring you the highest quality online audio. Get your headphones: https://amzn.to/3c4yxGS Hear more content: http://www.alphastream.tech Tim Storms, Bass Vocalist Guinness World Record Holder for Lowest Singing Voice Arrangement and BGV's: Jon McLemore (Written by JD Sumner for The S

こんにちは、アクロクエストテクノロジー株式会社でElastic Stackのコンサルティング業務を担当している吉岡です。本記事は、Elastic Stack (Elasticsearch) Advent Calendar 2020 の14日目の内容になります。 本記事では、2020/10/13～2020/10/15に開催されたElastic ON Globalで、個人的に最もエキサイティングに感じたセッション「Schema on read with runtime fields」を紹介します。 Elastic ON Global www.elastic.co Schema on read with runtime fields セッション概要 セッションを読み解くための重要キーワード Schema on Write と Schema on Read Runtime Field 発表資料に関

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル

こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift

この文書の目的 昨年の秋ぐらいから1on1という形で社内外の人とたくさんお話させていただく機会を得ました。その折に「米国でソフトウェアエンジニアになるにはどうすれば良いですか？」という質問をたくさんいただきました。それに関する自分の見解をまとめておこうと思ったのがきっかけです。昼休みに30分で書き終えることを目標にしているので出来るだけ簡潔になることを目指します。 免責 これはどうしても書いて置かなければならないですが、「米国でソフトウェアエンジニアになる唯一の方法」などというものはありません。ガイドラインくらいは作れるでしょうが、それにしたって時代や政権とともに刻々と変わります。正確なところは必ず移民弁護士に確認してください。この文章を最後まで読んでオファーを取られた方はそうする権利を有しているはずです。 筆者 米国でソフトウェアエンジニアをしています。正式なタイトルはSoftware

ユースケースを見てわかるように、ストリーム処理では時間の経過に伴って無限に発生するデータをリアルタイムで処理した場合に利用します。 例えば、クレジットカードの不正利用は１秒でも速く検知して、使用を止めたいですよね。翌月までに検知など悠長なことは言ってられないです。 ストリーミングデータとは ストリーミングデータとは、無限のデータセットのことです。ここで言う無限とは、時間の経過とともに、新しいレコードが届き続けることを指します。 なお、ストリーミングデータは、「イベントストリーム」や「データストリーム」とも呼ばれます。 ストリーミングデータは無限という性質以外に、以下の３つ特性を持ちます。 順序付けされているイミュータブル（変更不可能）なデータレコード再生可能 ※（※あると望ましい特性） 順序付けされている イベント（ストリーミングデータの各レコード）には順序があります。 例えば、イベント１

Amazon Kinesis と Kafka の主な違い： データ保持： Kinesis には最大７日間の保存期間有り。 セットアップ： Kafka は Kinesis よりもセットアップに時間がかかり、データ・クラスターをインストール（および管理）するためのチームが必要。 SDK（ソフトウェア開発キット） 対応： Kafka は Java に対応、Kinesis（AWS経由）は Java、Go、Android、.NET に対応。 価格： Kafka はオープンソースで無料。Kinesis はセットアップ費用がなく、ユーザーは使ったリソースに対して料金を支払う。 レビュー：Webサイト G2において、Kafka は５つ星中４.４で Kinesis は４.１ であり、Kafka の方がスコアが高い。 データストリーマーのご紹介です！このサービスは、あるアプリケーションから別のアプリケーション