オープンなコミュニティ志向のデータカタログ「data.world」を試してみた | DevelopersIO
本記事では、今注目されているデータカタログの一つ data.world について紹介とデモを行なっていきます。 そもそも、「データカタログって何？」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データレイク内のデータに対して、概要や特徴量、関連性などをまとめて一覧化しておくサービス です。え、それだけ？と思われるかもしれませんが、現代のデータ基盤はデータソースの数も増加してますし、BIなどから参照する分析用のデータ（データマート）の数も増加していることから、「とりあえずどんなデータがあるのか、ざっくり知りたいんだよね〜。」といったニーズが増えつつあります。 data.worldについて data.worldは、2015年にアメリカのテキサス州で創業されたデータカタログのベンチャー企業です。data.worldは元々、データに関するオープンなコミュニティ
[書籍レポート] 「オブザーバビリティ・エンジニアリング」はパワーワード満載の「『入門 監視』の次に読むべき本」だった | DevelopersIO
自分の関わるアプリケーションやインフラのモニタリングに困っている？ オーケイ、冒頭からアクセル全開の力強いワードにあふれたこの一冊を紹介するぜ！ はじめに 今年(2023年)の1月末に発売されたこちらの本、もう読まれたという方も多いのではないでしょうか！（挨拶 本記事は、まだ読まれていない、買ってもいないという方に向けて、「紹介しなきゃ」という謎の強い使命感をもって書かれています。 というのも、実は本記事の執筆者（ぼくです）は、300ページを越えるこの本のまだ半分ほどしか読むことが出来ていません。。！ *1 それでもこの本を紹介するモチベーションは十分です。なにしろ、この本は冒頭から、もっといえば「まえがき」の段階から、パワーワードにあふれた一冊だからです。引用してみましょう。 “（「オブザーバビリティ」という）用語が注目されるようになると、ある種の隣接性を共有する別の用語と互換的に使われ
![[書籍レポート] 「オブザーバビリティ・エンジニアリング」はパワーワード満載の「『入門 監視』の次に読むべき本」だった | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e557ded8e0ecef2f687c73d647f86e0ce3cffd0b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F02%2F202302-report-observability-engineering-eyecatch.jpg)
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
サービスメッシュについて理解する | DevelopersIO
サービスメッシュは、マイクロサービスアーキテクチャの様々な問題点や課題を解決します。Kubernetes クラスターへの導入もそこまで複雑ではなく、サービスメッシュから得られるメリットは計り知れません。 カナダ・バンクーバーオフィスの山口です。 Kubernetes でマイクロサービスのアプリケーション開発をしていると、一度はサービスメッシュという言葉を聞いたことがあるのではないでしょうか。 マイクロサービス間の通信制御において、サービスメッシュは非常に強力な武器となります。しかし、Kubernetes クラスターへサービスメッシュを導入するのは多少敷居が高く、躊躇している方も多いかと思います。 今回はサービスメッシュの概要についてご説明します。そして次回以降で、EKS クラスター上で Istio や App Mesh といった主要なサービスメッシュの導入方法についてお伝えしていきます。
OSSデータカタログの決定版！？OpenMetadataがかなりイケてるので紹介したい | DevelopersIO
本記事では、最近登場したばかりのOSSデータカタログ OpenMetadata についてご紹介していきます。 商用製品縛りでデータ系SaaSを紹介してきた本アドベントカレンダーですが、最後の23製品目はOSSのデータカタログをご紹介します。というのも、商用製品並みに良くできているんですよねコレ。 OpenMetadataについて OpenMetadataは、2021年8月に最初のバージョン0.3.0がリリースされたOSSのデータカタログです。1ヶ月サイクルでリリースするという驚異的な開発速度で改善や機能拡張が進み、2021年12月23日現在でバージョンは0.7.0がリリースされています。 Announcing OpenMetadata. Open-source project to supercharge your… | by Suresh Srinivas | OpenMetadata
データ変換処理をモダンな手法で開発できる「dbt」を使ってみた | DevelopersIO
奈良県でリモートワーク中の玉井です。 日本では全くと言っていいほど知名度がありませんが、国外（アメリカ？）のデータ分析界隈では既にメジャーな存在になりつつある「dbt」（data build tool）について、ご紹介します。 dbtとは？ 公式情報など 公式はこちら（ググラビリティが低い名前なので検索しづらい）。 （死ぬほどざっくりいうと）データ変換を効率よく実施できるツールです。SaaSとしての提供になっているので（最初からあったわけではなく、後から登場したようです）、Webブラウザさえあれば、すぐに利用することができます。 主な特徴 ELTの「T」を担当するツール データの前処理における作業をELT（Extract、Load、Transform）と呼称することがありますが、それの「T（変換）」を担当します。E（抽出）やL（ロード）はやりません。 そして、その変換処理をどうやって設定す
[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
![[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9486832be1a42a11ac2d244e8c51de11a34ab7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F2022-11-08_19h35_04.jpg)
AWSアーキテクチャのサンプルをまとめてみた | DevelopersIO
こんにちは。たかやまです。 みなさんアーキテクチャを検討するときに、なにか参考にするアーキテクチャがあると助かりますよね？ 私もアーキテクチャ検討をするときは、車輪の再発明を避けるためゼロベースではなく先人たちのアーキテクチャを参考にさせていただくことが多いです。 そのおり、ちょうどお客様にアーキテクチャ検討に役立つサイトをご紹介する機会があり、参考にしているサイトを改めて調べると結構あったので今回こちらをブログにまとめてみたいと思います。 30 の目的別 クラウド構成と料金試算例 目的別クラウド構成と料金試算例 日本利用者向けに公開されているリファレンスアーキテクチャのサイトになります。 全ドキュメント日本語で料金試算も載っているため、アーキテクチャの検討はじめにおすすめのサイトです。 サーバレスパターン サーバーレスパターン サーバレスの汎用的なユースケースがまとめられたサイトになりま
AWS IoT 再入門ブログリレー AWS IoT Device Management編 | DevelopersIO
概要 こんにちは、yoshimです。 本企画は、弊社チームIoTメンバーが初心に返ってIoTサービスについて学びなおし、解説してみようというものです。 本エントリーでは、「IoTデバイスの管理」というとても大変な仕事をサポートしてくれる「AWS IoT Device Management」について紹介します。 目次 1.はじめに 2.一括登録 3.フリートのインデックス作成と検索 4.きめの細かいログ記録 5.デバイスジョブ 6.セキュアトンネリング 7.Fleet Hub 8.まとめ 9.参照 1.はじめに IoT製品を展開するにあたり、デバイスを世の中に展開して以降もデバイスを追跡、監視、管理することは必要不可欠です。 例えば、IoTのデバイス導入や管理をするにあたっては下記の要素が求められます。 参照: AWS IoT Device Managementハンズオン デバイスの一括登録
Microsoft の「クラウドアプリケーションのベストプラクティス」が良かったので紹介したい | DevelopersIO
こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 最近調べものをしている中で見つけたドキュメントが良かったのでご紹介したいと思います。 先にまとめ Microsoft の RESTful Web API の設計 のドキュメントが API 設計を考える上で勉強になった 関連する クラウド アプリケーションのベスト プラクティス のドキュメントもアプリケーションを設計する際の指標として良さそう RESTful Web API の設計 最近 API 設計やパス設計について考える機会があったのですが、これという正解がなかったり、人によって思想やこだわりが違ったりして結構難しいなと感じていました。 そんな中で下記のドキュメントを見つけてひとつの指標として良いなと思ったのでご紹介します。 内容（項目） REST とは何か リソースを中心とした API 設計の整理 HTTP
Log4jの脆弱性対策としてAWS WAFのマネージドルールに「Log4JRCE」が追加されました | DevelopersIO
AWSチームのすずきです。 2021年12月11日、 AWS の Managed Ruleとして提供されている AWSManagedRulesKnownBadInputsRuleSetに新しい保護ルール「Log4JRCE」が追加されました。 Apache Log4j2 Issue (CVE-2021-44228) Log4j の脆弱性(CVE-2021-44228)対策として、AWS WAFの有効性を確かめる機会がありましたので、紹介させていただきます。 AWS Managed Rule Known bad inputs 新しいルール 「Log4JRCE」 が追加されました。 試してみた WAF(ACLs)設定 AWSManagedRulesKnownBadInputsRuleSet のみ設定した WebACLを用意しました。 BadInputsRuleSetのバージョンはデフォルト、検証
【初心者向け】「AWS 設計のベストプラクティスで最低限知っておくべき 10 のこと」を受講しました。 | DevelopersIO
どうもさいちゃんです。 AWSには利用者が仮想環境を構築していくのに役立つベストプラクティスと呼ばれるものがあります。 これからAWSでガンガン仮想環境を構築していくにあたって設計のベストプラクティスを復習してみようということで、今回はAWS公式から出ている「AWS 設計のベストプラクティスで最低限知っておくべき 10(+1) のこと」という動画を視聴したのでご紹介をしていきます。 登録さえすれば、無料で動画の視聴と資料のダウンロードができます。 こちらから受講が可能です。 はじめに このセッションはAWSにおける設計おベストプラクティスの理解を深める目的で、 クラウド導入を検討している方 オンプレミスからクラウドへの移行を検討している方 クラウドを使い始めたがベストプラクティスを適用できているか悩んでいる方 向けに細かくわかりやすくベストプラクティスについてを説明しているものになります。
[書評]「New Relic 実践入門 監視からオブザーバビリティへの変革」は可観測性を学び実践するための一冊 | DevelopersIO
こんにちは、臼田です。 みなさん、よりよい運用してますか？(挨拶 今回は2021年9月15日に発売された書籍「New Relic 実践入門 監視からオブザーバビリティへの変革」の書評です。オブザーバビリティ(可観測性)について概念的にも実践的にもわかりやすい図とともに理解でき、特にNew Relicを活用して、単純な監視ではない、ビジネスに貢献するための運用の実践ができる一冊でした。 この記事ではこの書籍を読んで感じた、どんな人に向いているか、特に良かったところなどを書いていきます。 どんな人に向いているか 一言でいうと、「これからNew Relicを触る人、あるいは触り始めた人が活用できる書籍」です。「New Relic実践入門」というタイトルそのままですね。 逆に言えば、関連するオブザーバビリティについて理解を深めたい、あるいはNew Relicに限らない監視や運用の考え方を学びたいだ
![[書評]「New Relic 実践入門 監視からオブザーバビリティへの変革」は可観測性を学び実践するための一冊 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c4a671f0383ff1209fc2471ae109869a83c8ad9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F10%2Fnewrelic_review.jpg)
EC2 でリザーブドインスタンス（RI）と Savings Plans （SP）のどちらを選ぶべきか？基準とするための最強の比較表を作ってみた | DevelopersIO
15 USD で RI を購入し、その後にオンデマンド料金の価格改定があったとします。前払いなし/ありの支払い種別によらず、購入済みの RI の価格が 15 USD というのは価格改定後も変わりません。 当初はオンデマンドに対して 5 USD 分の割引の幅があった分が、改定後は 3 USD 幅に減少するため、相対的に割引率が低下しています。価格改定後に RI を購入していれば 13 USD で済んでいたため、そのぶん損が発生していると考えることもできます。 コンバーティブル RI の場合は、購入済みの RI を新しい価格の RI に交換できます。（今回の例では 15 USD から 13 USD に交換できる。）しかし、「同等以上の価値となる場合にのみ交換可能」という制約があるため、そのぶん数を増やすといった調整が必要になります。 2021/11/28修正 SP の場合は コミットメント額で
【全員必須】GuardDutyがコスパ最強の脅威検知サービスであることを証明してみた | DevelopersIO
こんにちは、臼田です。 AWSサービスの中では「これは全員必須」のサービスはいくつかありますが、その中でも2017年のre:Inventで登場したGuardDutyは最強の脅威検知サービスです。(多分な私的見解を含みます) GuardDutyを有効化するだけで、EC2やALBなどの運用しているサービスへの攻撃やAWSアカウント自体への攻撃を検知することができます。手間いらず！具体的には下記のようなものを検知できます。 コインマイニング ssh/RDPブルートフォースアタック IAM Userの不正ログイン C&Cサーバへの通信 ポートスキャン 漏洩したクレデンシャルの利用 通常であれば様々なログを監視したり相関分析する必要がありますが、そのあたりはGuardDuty側がいい感じに機械学習して判断してくれます。 利用者はGuardDutyが見つけた検知結果を受け取るだけです。素晴らしい！ G
AWS Glue DataBrew 基本用語解説と入門チュートリアル実践まとめ | DevelopersIO
先日、AWS Glueの新機能としてリリースされた「AWS Glue DataBrew」。 「コードを書かずに”データ前処理”を作成・実行可能」な機能、という触れ込みでしたが、ドキュメントには一連の操作や機能を確認出来る「チュートリアル」も用意されています。 Getting started with AWS Glue DataBrew - AWS Glue DataBrew そこで当エントリでは、公式ドキュメントで紹介されているチュートリアルを実践していく上で必要となる用語の理解、及びチュートリアルの実践内容について紹介していきたいと思います。(※なお、チュートリアル本編を試してみたところ、画像キャプチャと情報量が半端無いボリュームになってしまったので、チュートリアル実践内容については章毎にエントリを分けて展開しています。ご了承ください) 目次 AWS Glue DataBrewの基本概念
CCoE(Cloud Center of Excellence)についてまとめてみた | DevelopersIO
オペレーション部 江口です。 AWSでは、クラウドの運用を成功させるために、CCoE（Cloud Center of Excellence / クラウドCoEとも）というチームを立ち上げることを提唱しています。 この記事ではAWSの考えるこのCCoEとは一体どういったものなのか、調べてまとめてみました。 そもそもの話：CoE(Center of Excellence）とは CCoEの話の前に、まずはCoEとはなにか、というところから確認したいと思います。 「Center Of Execellence」はそのまま訳せば、「卓越した拠点」といったところでしょうか。 Wikipedia英語版では、冒頭でCoEについて以下のように説明しています。 A center of excellence (COE) is a team, a shared facility or an entity that
管理職のための役職引退マニュアル | DevelopersIO
はじめに クラスメソッド株式会社で取締役及びAWS事業本部の本部長を努めております、佐々木と申します。 私は2014年1月にソリューションアーキテクトとして入社後、2015年7月よりAWSエンジニア部門の部長になりました。また事業拡大に伴って営業部門などを集約することとなり、2018年7月よりAWS事業本部の本部長となりました。この6年間、AWS事業部門のトップとして業務に従事しておりましたが、この度2021年6月をもって本部長を引退することにしました。 部長や本部長などの事業責任者は引退が難しいポジションのように思えるかもしれませんが、きちんと順序だてて計画すればスムーズに引退することが出来ます。この記事では、役職をどのようにして引退したら良いのかをご紹介します。 なぜ役職を引退するのか 最も大きな理由は「キャリアの固定化を防ぐこと」です。 私は本部長という役職で、事業本部の中に部があり
GitLab RunnerでCI/CDしてみる(前編) | DevelopersIO
はじめに サーバーレス開発部＠大阪の岩田です。 私の所属しているサーバーレス開発部では、ソースコード管理には主にCodeCommitやGitHubが利用されているのですが、現在私が従事しているプロジェクトではお客様からの指定でGitLabを使用しています。 開発の過程でGitLab環境でのCI/CDについて調査する機会があったので、内容をブログにまとめてみました。 この前編ではCI/CD環境を構築し、SAMのサンプルアプリを対象にCI/CDを回すところまでやってみます。 ※後編へのリンクを追記しました GitLab環境でのCI/CD GitLab環境でのCI/CDにはGitLab CI/CDが利用できます。 こちらのエントリにあるように、以前はGitLab本体とは別にGitLabCIというツールが存在したのですが、GitLabのversion 8.0以後GitLab CI/CDが完全にGi
時系列特化データベースの Amazon Timestream が一般公開（GA）しました！！ 時系列データの保存・検索・分析にピッタリ！ | DevelopersIO
約2年を経て、ついに、ついに、ついに、Amazon Timestreamが一般公開になりました！！ Amazon Timestreamを使えば、IoT機器などから収集した時系列データの保存や分析が簡単にできるようになります。 一言で言えば、時系列データに特化したデータベースです！ Amazon Timestreamとは Amazon Timestream は、IoT および運用アプリケーションに適した、高速でスケーラブルな完全マネージド型の時系列データベースサービスです。1 日あたり数兆規模のイベントを、リレーショナルデータベースの 1/10 のコストで簡単に保存および分析できます。IoT デバイスや IT システムの普及や、産業機器のスマート化により、時系列データ (時間の経過に伴うモノの変化を記録したデータ) は、急速に増加しているデータ型の 1 つです。 Timestream は、時
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
