An easy to use, powerful, and reliable system to process and distribute data NiFi automates cybersecurity, observability, event streams, and generative AI data pipelines and distribution for thousands of companies worldwide across every industry.
Apache NiFi
An easy to use, powerful, and reliable system to process and distribute data NiFi automates cybersecurity, observability, event streams, and generative AI data pipelines and distribution for thousands of companies worldwide across every industry.
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで) - Qiita
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで)IFTTTScratchnode-redTouchDesignerビジュアルプログラミング はじめに 世の中にたくさんあるビジュアルプログラミング言語(Visual Programming Languages; VPLs) の全体像を俯瞰したい、という欲求が以前からありました。 Scratch、Node-RED、TouchDesigner、IFTTTなど、教育や個人用途や業務用途、従来プログラミングの置換え、データ流通、メディアアート用途のものまで様々なビジュアルプログラミング言語を見聞きしたり触れるうち、その想いが強くなりました。 粗いところも多々ありますが、一旦本記事に手元のメモをまとめます。 VPLsの定義 ビジュアルプログラミング言語（VPL）とは、プログラム要素
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役
最近データフローオーケストレーションツールであるApache NiFiが面白いため、実際どういうものなのか、の概要をまとめてみます。 一言で言うと、データフローオーケストレーションツール、となります。 元々は米国家安全保障局（NSA）が開発していた「Niagrafiles」というプロダクトで、2014年11月にオープンソースとして寄贈されました。 下記の画像のように、画面上でストリーム処理を行うデータフローを定義し、動作させることが出来ます。 参照：https://nifi.apache.org/ 2015年7月にApacheのTopレベルプロジェクトになり、開発が進められています。 また、2015年8月下旬には、NiFiを手がける企業Onyaraが、Hortonworksによって買収され、HortonWorksからNiFiの独自ディストリビューションである「HortonWorks Dat
米IDG傘下のオンラインメディアInfoWorldは9月16日、優れたオープンソースソフトウェア/プロジェクトを選ぶ「Best of Open Source Awards 2015」を発表した。アプリケーション開発ツール、ビックデータツールなど6部門から90種類近くのオープンソース技術が選ばれている。 Best of Open Source AwardsはInfoWorldが毎年部門ごとに優れたオープンソース技術を選ぶ授賞制度で、頭文字をとって「Bossies Award」といわれている。選出にあたっては、InfoWorldの編集チームがOSCONなどのオープンソースのカンファレンスやイベントに参加して得た情報や、SourceForgeやGitHubといったコードレポジトリサービスの情報などから判断した。 今年選ばれた多数のオープンソース技術の中では、「Docker」はどのイベントでも話題
Home Overview Documentation Releases Blog Community GET IN TOUCH Mailing Lists Slack Channel Events and Meetups Project Committers Ecosystem How to Contribute DEVELOPER RESOURCES GitHub Gerrit Code Review JIRA Issue Tracker SOCIAL MEDIA Twitter Reddit APACHE SOFTWARE FOUNDATION Security Sponsorship Thanks License FAQ Apache Kudu is an open source distributed data storage engine that makes fast ana
OpenFace
Free and open source face recognition with deep neural networks. News 2016-09-15: We presented OpenFace in the Data (after)Lives art exhibit at the University of Pittsburgh and have released the code as Demo 4: Real-time Face Embedding Visualization. 2016-08-09: New blog post: (Face) Image Completion with Deep Learning in TensorFlow. (OpenFace group discussion on it) 2016-06-01: OpenFace tech repo
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米国家安全保障局（NSA）は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」（NiFi）をオープンソースとして提供した。 NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。 また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。 データフ
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Apache Flinkでリアルタイムストリーム処理を実装してみる
Apache Flinkを使ったバッチ処理を作ってみてから大分経ってしまったが、今回はリアルタイムストリーム処理を作ってみようと思う。 いきなりコードをバーンっと出すのもアレだしナニなので、既存のBigDataを意識したストリーム処理ライブラリ(Spark Streaming)を振り返りつつ、Apache Flinkのリアルタイムストリーム処理用のライブラリの話から。 昨今のリアルタイムストリーム処理Apahce Flinkは所謂BigDataと呼ばれる規模のデータをストリーム処理するためのフレームワークである。既存のHadoopやSparkのようなフレームワークは大量のデータをいくつかの束に分けてガサッと分散処理する。Sparkなんかはリアルタイムでも使えると言われてはいるが、データの束をバッチ処理することには変わらない。１度に処理するデータ量にもよるが１レコードに対するレイテンシは早く
OpenFace
Free and open source face recognition with deep neural networks. News 2016-09-15: We presented OpenFace in the Data (after)Lives art exhibit at the University of Pittsburgh and have released the code as Demo 4: Real-time Face Embedding Visualization. 2016-08-09: New blog post: (Face) Image Completion with Deep Learning in TensorFlow. (OpenFace group discussion on it) 2016-06-01: OpenFace tech repo
10周年を迎えたHadoop、データ分析の主戦場はクラウドとデータセンターの連携に ―「Hadoop Summit 2016 San Jose」レポート 6月28日～30日（米国時間）の3日間に渡って米サンノゼで開催された「Hadoop Summit 2016 San Jose」には、世界36ヵ国から約4000名が参加し、Hadoop誕生から10周年を迎えたアニバーサリーイヤーにふさわしい盛況を見せていました。Hadoopのユーザや開発者、そしてHadoopビジネスを展開する企業が世界中から集まる現場に居合わせると、あらためてHadoopがデータ分析プラットフォームのデファクトスタンダードとして、確固たる地位を獲得したことを強く実感させられます。 筆者は昨年も本カンファレンスに参加しましたが、変化のスピードが速いIT業界を象徴するかのように、昨年にはなかったいくつかのトレンドがHadoop
Yahoo! Pipesの代替を探していた人に朗報です。Yahoo! Pipesのようなデータフロー管理システム「Apache nifi」が登場しました。 Apache nifiとはデータフロー管理システムというと難しいですが、「データを取ってきて形式変換・フィルタして出力する」ということを「Webベースで」できるというものなのでYahoo! Pipesに近しいものになります。 ライセンスはApache License 2です。オープンソースソフトウェアなのでサーバにセットアップする必要があります。発音はニーフィーのようですが、動画を聞く限り「ナイファイ」と発音しているように聞こえます。ASFのトップレベルプロジェクトに名前から分かるようにApache Software Foundationの開発で進められています。昨日トップレベルプロジェクトに昇格しました。 前身は米国家安全保障局（NS
Apache Flink開発チームは11月16日、分散ストリームとバッチデータ処理向けプラットフォーム「Apache Flink 0.10.0」をリリースした。 Apache Flinkは分散ストリームとバッチデータ処理のためのオープンソースのプラットフォーム。データのディストリビューションと通信、分散コンピュータ上のデータストリームのフォールトトレランスといった機能を持つストリーミングデータフローエンジンを中核とし、DataSet API、DataStream API、Table APIなどのAPIを備える。0.9では機械学習ライブラリとグラフ処理APIとライブラリの「Gelly」も導入した。 0.10は、6月に公開された0.9に続くリリース。Apache Flinkを実運用環境で利用できるよう、データストリーム処理とオペレーション関連の機能にフォーカスした。約80人の開発者が参加し、合
オープンソースソフトウェアの非営利団体Apache Software Foundationは7月20日（米国時間）、「Apache NiFi」をトップレベルプロジェクト（TLP）に昇格することを発表した。 Apache NiFiは、フローベースのプログラミングというコンセプトを元にしたデータの処理および配信システム。データフロー管理とその自動化のために作成され、容易さ、拡張性、信頼性を特徴とする。元々は米国家安全保障局（NSA）で「Niagarafiles」として開発されたもので、NSAの「Technology Transfer Program（TTP）」の下で2014年11月にASFに移管された。インキュベータープロジェクトとして開発が進められてきたが、8ヶ月でTLPに昇格したことになる。 ツイート、センサーなどさまざまな種類、場所にあるデータソースから取得したデータをApache Ha
データの流れを制御するツール『Apache Nifi』をCentOS 7にインストールする | 俺的備忘録 〜なんかいろいろ〜
データの流れを制御するためのツール『Apache Nifi』というものがあって、前々から興味を持っていたのでインストールをしてみることにした。 データフローを制御するってなんじゃいと最初思ったのだが、データ(ログとかセンサーのデータ)をApacheNifiに投げてやることで、Nifi側でこのログはこっちのシステム、あのログはあっち、このセンサーデータはそっちというようにデータの連携先を定義してやることができるらしい。ろ過装置のように流れているデータを少し加工して連携先に投げることもできるようで、まさにデータフローを制御することができるシステムのようだ。 その他『Apache Nifi』についての情報は、いろいろなとこに情報が記載されているので、そちらを参考にしてもらいたい。 データフローオーケストレーションツールApache NiFiとは？ - Qiita Apache NiFiのそもそも
Best Open Source Software List For Data Management In 2024
Data management software encompasses a range of tools used in collaboration to help businesses collect, store, and maintain data and extract value from it, including everything from data analytics platforms to data warehouses. The best open source tools for data management offer the same features and capabilities as paid versions but are freely available to use, customize, and distribute without b
はじめに 皆さん、こんにちは。 この記事はドワンゴ Advent Calendar 2015の13日目の記事です。 注目される可能性も高い機会ですので、Apache NiFiを紹介させていただきます。 日本だと扱っている方が（おそらく）少ない関係上、日本語情報も乏しく、ほぼ全て英語情報というのは寂しい状況ですので。 ですので、もし見て興味がある方が増えればいいなぁと。そんなわけで、お付き合いください。 Apache NiFiとは？ Apache NiFiとは、一言で言うとGUIからフローが定義可能なデータフロー構築ツールです。 下記のようなデータフロー1をGUIから定義し、稼働させることが出来ます。 ローカルファイルをHDFSに投入 HTTPリクエストを待ちうけ、結果をファイルに出力 Syslogを待ちうけ、結果をデータベースに投入 Twitterからツイートを取得し、Kafkaのようなメ
過渡期を迎えるHadoopとデータビジネス ―ゾウが消えた「DataWorks Summit 2017 San Jose」 毎年6月、米サンノゼのダウンタウンにあるSan Jose McEnery Convention Centerでは、世界中のHadoop開発者／ユーザがあつまる年次カンファレンス「Hadoop Summit」が3日間に渡って開催されます。主催するのはApache Hadoopのコミッタを数多く抱え、Hadoopエコシステムとコミュニティを支える中心的存在のHortonworksと、そのHorotonworksのスピンアウト元であり、Hadoopを生み出したYahoo!です。 このHadoopの祭典が今年も6月13日 - 15日（米国時間）にかけて、サンノゼのコンベンションセンターで行われました。しかし今回はカンファレンスの名称が「DataWorks Summit 201
CentOS 7にいろいろなシステムと連携できるジョブスケジューラー『Rundeck』をインストールする | 俺的備忘録 〜なんかいろいろ〜
ジョブスケジューラーについていろいろと物色しているのだが、最近であればやはりRundeckは触っといたほうがいいだろうと思ったのでCentOS 7に入れていじってみることにする。 「Rundeck」は、Webベースのインターフェイスを持つ軽量なエージェントレス(ssh接続)のジョブスケジューラーだ。また、プラグインなどを用いて他のシステムと連携して、特定のログなどをトリガーにジョブをキックさせることもできる(この辺はStackStormのほうが対応数が多いっぽい。その他Apache NifiとかHugginとかのIFTTTに影響を受けたプロジェクトのほうが強いかも？)。 ジョブの記述もcronと同じように記述できるので手軽なようだ。一応、ジョブネットも作成可能らしい。 とりあえず、まずはインストールをしてみよう。 インストール先にはCentOS 7を用いる。なお、お試しなので冗長化はせず、
Hadoopが変えるデータとヒトへのアプローチ ―「Hadoop Summit 2016 Tokyo」レポート 10月26、27日の2日間、東京・新宿ヒルトンにおいてホートンワークスジャパン主催のカンファレンス「Hadoop Summit 2016 Tokyo」が行われました。Hadoopカンファレンスとしてはグローバルでもっとも規模の大きい「Hadoop Summit（主催: Hortonworks）」の初の東京開催であり、国内ではめずらしい有料のITイベントということもあって、業界関係者からはその成否が注目されていたカンファレンスでもあります。本稿ではこのイベントの全体像を振り返りながら、IT、そしてビジネスの世界におけるHadoopの位置づけをあらためて考えてみたいと思います。 Hadoop Summit Tokyoとは gihyo.jpの読者であればご存知の方も多いでしょうが、
Please add new entries at the bottom. In addition to this list, actively developed free/open-source systems should be registered at https://workflows.community/systems See also: https://github.com/pditommaso/awesome-pipeline Arvados - CWL-based distributed computing platform for data analysis on massive data sets. https://arvados.org/ https://github.com/arvados/arvados Apache Taverna http://www.ta
Hadoop Summit Tokyo 2016 に行ってきた。 - #garagekidztweetz
Hadoop 関連のイベントの中でも頂上（テッペン）を冠するイベント Hadoop Summit が東京にやってくるというので、 2016-10-26, 27 と参加してきた。 今回で4年目という同イベント、受付の仕方もろくすっぽアナウンスがされてなくて、始まる前からかなりグダグダ感がハンパなかったのだが、それはさておき折角行ってきたので、個人的総括のようなものと勉強になったセッションのみのメモを残しておこうと思う。 Hadoop Summit Tokyo 2016 個人的総括。 個人的な総括から。 今回のイベントで一番わたしが心に残った言葉は "Data for everyone." だった。 この言葉からもそうなのだが、Hadoop Summit は次回から Data Works Summit と名前を変えデータの総合イベントとなるようだし、 Hadoop とそのエコシステムというだけ
Apache NiFi
An easy to use, powerful, and reliable system to process and distribute data NiFi automates cybersecurity, observability, event streams, and generative AI data pipelines and distribution for thousands of companies worldwide across every industry.
Azureで、Hortonworks Sandboxを使い、Hadoop、Sparkを試してみよう - Qiita
Hortonworksは、エンタープライズ企業向けの完全にオープンなデータプラットフォームの開発・提供・サポートを行う会社です。あらゆるデータを管理することをミッションとし、 Apache Hadoop、NiFi そして Spark などのオープンソースのコミュニティにおいてイノベーシ ョンをドライブすることにフォーカスしています。Hortonworksが提唱するConnected Data Platforms はdata-in-motion（流れているデータ）および、data-at-rest（蓄積されたデータ）など全てのデータから、新たな価値創生を支える次世代データアプリケーションを実現します。Hortonworksは 1,600を超えるパートナーと共に、専門知識、トレーニング、サービスなどをあらゆる分野のビジネスにおいて提供します。 Hortonworks Data Platformは
Future of Data: Apache NiFi 勉強会 〜データフローの自動化〜 http://futureofdata.connpass.com/event/35428/ で発表したスライドです。皆さん是非ダウンロードしてNiFi, HDFを使ってみてください!
アプリケーションエンジニアのためのApache Spark入門 - 秀和システム あなたの学びをサポート！
Apache Sparkは、大規模データ処理のための高速かつ汎用性の高いエンジンです。開発・利用が簡単で機能も豊富なことから幅広い分野で利用されています。本書は、アプリケーション開発プログラミングの経験者を対象に、Apache Sparkを使うための基礎知識から各機能の実装方法、商用システムで利用する場合の留意点などを解説した入門書です。データ分析プラットフォームの考え方から集計・機械学習分析のアプリ開発までわかります！ 【サポートはこちら】→https://www.shuwasystem.co.jp/support/7980html/5377.html Chapter 1 データ分析プラットフォームの概要 1.1 データ分析プラットフォームの要件 1.2 データ分析プラットフォームのデータ処理 1.3 データ処理の各機能 1.4 Spark が注目されている理由 1.5 Spark Q&
This document provides an overview of Apache NiFi 1.0 and discusses some of its key enhancements and features. NiFi is a tool for managing the flow of data in and between systems and applications. The document outlines NiFi's history and goals. It describes enhancements in NiFi 1.0 including a modernized user interface, increased number of processors, deeper ecosystem integration, multitenant auth
データフローオーケストレーションツール「Apache NiFi」開発チームは6月9日、最新版「Apache NiFi 1.3.0」を発表した。バグの修正が中心となり、安定性を強化している。 Apache NiFiはデータフロー向けのデータの処理と分散のためのツール。元々は米国家安全保障局（NSA）で「Niagarafiles」として開発されていたもので、2015年7月にApache Software Foundationのトップレベルプロジェクト（TLP）に昇格している。データのルーティング、変換、システム仲介ロジックで構成される拡張性のある有向グラフアーキテクチャを備えており、豊富な設定、拡張性、SSL/SSH/HTTPのサポートをはじめ、コンテンツ暗号化などの安全性などの特徴を持つ。操作や管理はWebベースのユーザーインターフェイスで行える。 Apache NiFi 1.3は、5月に公
※上記はあくまで私の視点での評価です。Akkaの熟練者であれば評価が変わると思います。 Akkaを使いたかってみたったのですが、学習コストが他と比較してかかってしまうため今回はFlinkを使うことにしました。 またAkkaに詳しい方より、「Akkaはフレームワークではなく、ライブラリなので、フレームワークはAkkaをベースに作ってくれ」 という立ち位置であり、フレームワークと比較するとトレーサビリティなどで見劣りするかもしれませんと教えて頂きました。 後で後述しますが、Flinkにも内部でAkkaが使われていて、Akkaベースで作られておりました。 AkkaはSpark、またはFlinkよりも低レベルのライブラリで、より多くのパワーがあるが、考慮すべき考慮事項も多くなるということだということかなと思います。 Flinkの強み データの保証 Exactly once メッセージは欠損も重複も
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Apache Hadoopに関連するMicrosoft AzureのサービスとHortonworks製品についての勉強会が7月19日に開催された。この会は、世界39都市で行われているビッグデータ関連のミートアップコミュニティー「Future Of Data」の活動の一環として、日本マイクロソフトとホートンワークスジャパンの主催で実施されたもの。会場の日本マイクロソフト品川本社のセミナールームには約130人の聴講者が集まった。 「Data at Rest」と「Data in Motion」 まず始めに、ホートンワークスジャパンの北瀬公彦氏が、6月28～30日に米国San Joseで開催された「Hadoop Summit 2016 San
This page provides detailed information on the export control status of the Apache Software Foundation's products, and pointers to the open-source code from which those products are built. ASF projects and PMCs should consult our guide to handling cryptography in order to comply with our export policies. Exporting ASF Products¶ The Apache Software Foundation (ASF) is a 501(c)(3) nonprofit charity
この記事はなに？ Apache NiFiは，システム間のデータフローを管理するために作られたデータフローオーケストレーションツールです． GUI（Web画面）によって，データフローの設定，制御，監視ができることが大きな特徴です． Project page: https://nifi.apache.org/index.html Github: https://github.com/apache/nifi 現在，NiFiを使うプロジェクトにアサインされ，調査をしており，調べたことを少しづつメモしておこうと思います． 環境 Mac OS X 10.11.6 Apache NiFi 1.4.0 Java version 1.8.0_92 NiFiのインストール 上記instructionに従い，Homebrewを使ってインストールする． $ nifi status NiFi home: /usr/
フローベースドプログラミング勉強会 #ApacheNiFi #NodeRED - connpass
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
10月26日～27日、東京・新宿のヒルトン東京でHadoop Summitが開催された。48にも及ぶセッションはコミッティーや業界の著名人から選ばれた人たち。技術的に深掘りしたセッションもあれば、ビジネスにどう活かしていくかというビジネスよりのセッションなども用意されていた。オープニングキーノートでは、Hortonworksのストラテジックマーケティング担当バイスプレジデントのジョン・クレイサ氏がモデレータとして登壇。そこからホートンワークスのシャウン・コノリー氏、リクルート・テクノロジーズの石川信行氏の基調講演が続き、最後はコカ・コーライーストジャパンのダミアン・コントレラ氏、三菱ふそうトラック・バスのエリック・スピッツアー氏によるパネルディスカッションが行われた。その概要をレポートする。 東京初の「Hadoop Summit」開催、キーノートにHortonworks 最高戦略責任者が登
GYAOの窓際エンジニア 玉利です。 GW前にベトナムに行って、GW中（向こうは通常稼働です）の宿題を渡してきました。ちょうど日本でも別件サービスローンチが控えており、結局 ホーチミンから深夜便で帰国。日本時間02:30発、朝8:30着 帰宅後、そのままフルタイムで働く というエクストリーム勤務になってしまて無事死亡しております。 いちど、エクストリーム出社はやってみたかったのでネタになりました。もうやりません。 もしもあなたがジロリアンだったとしても、ベトナムならば安心です。もやしは食べ放題です さて、そのエクストリーム勤務になった原因というのが、Apache NiFiのログをElasticsearchに流してキューの数を監視したいという理由があったからです。Logstashには、JavaやRubyの複数行にわたるバックトレースログを取得するような機能がついてます。それはそれでいいのです
FIWARE ステップ・バイ・ステップ これは、FIWARE システムのチュートリアル集です。各チュートリアルは、個々のFIWARE コンポーネントの正しい使い方を示すための一連の演習で構成され、一連のダミー IoT デバイスに接続するか、コンテキストを直接またはプログラム的に操作することによって、シンプルなコンテキスト・ソリューション内のコンテキスト・データの流れを示します。 チュートリアルのリスト コア・コンテキスト管理 : 基本 これらの最初のチュートリアルは、FIWARE Context Broker の概要であり、FIWARE を使用することを学ぶ際の第一歩です。 101. 入門 102. エンティティのリレーションシップ 103. CRUD オペレーション 104. コンテキスト・プロバイダ 105. コンテキストにプログラムでアクセス 106. コンテキストの変更をサブスクラ
Hadoopに関する最新の技術情報やロードマップ、ユースケースが入手できるHadoop Summit Hadoop SummitはHadoopエコシステムに関わるデベロッパー、ユーザーが集まる最大規模のイベントのひとつ（もうひとつStrata + Hadoop Worldという大きなイベントがあります）であり、現在では世界中の複数の都市で開催されています。その中でもサンノゼが一番歴史が古く、2007年に第1回が開催されていますから、今年で10週年を迎えるHadoopと同じく歳を取ってきていることになります。なお、今年は東京でも初のHadoop Summitが10月に開催されることになっています。 3日間のキーノートで語られたHadoopのいまと今後 初日のキーノートではHadoopエコシステムがもたらすビジネスの変化が語られました。印象的だったのは自動車保険を提供するProgressive
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーで Apache NiFi を利用したデータ連携用プラットフォームの開発運用を担当している寺田です。 本記事では、ヤフーでの Apache NiFi の活用スタイルと OSS コミュニティとの関わり方、プロダクトの最新動向を紹介します。アドベントカレンダーらしく2021年のまとめを意識して今年の動向を中心にまとめました。 ヤフーでの Apache NiFi の活用 Apache NiFi とは Apache NiFi とは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをグラフィカルに作成・管理し、実行を自動化できるソフトウェアです。Apache Software Foundation (ASF) で O
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
データフローオーケストレーションツールApache NiFiとは？ - Qiita
オープンソースの年次アワード「Bossies 2015」が発表、今年の新顔は？ | OSDN Magazine
Apache Kudu - Fast Analytics on Fast Data
HortonworksのCTOが語る「Apache NiFi」--IoT分野で重視される理由
Apache、データフローオーケストレーションツール「Apache NiFi 1.0.0」をリリース
10周年を迎えたHadoop、データ分析の主戦場はクラウドとデータセンターの連携に ―「Hadoop Summit 2016 San Jose」レポート | gihyo.jp
Yahoo! Pipesクローンのような「Apache nifi」が登場
分散データストリーム向けプラットフォーム「Apache Flink 0.10」リリース | OSDN Magazine
NSA発のデータフロー管理システム「NiFi」、ASFのトップレベルプロジェクトへ | OSDN Magazine
Apache NiFiでデータフローをGUIから定義 - Qiita
過渡期を迎えるHadoopとデータビジネス ―ゾウが消えた「DataWorks Summit 2017 San Jose」 | gihyo.jp
Hadoopが変えるデータとヒトへのアプローチ ―「Hadoop Summit 2016 Tokyo」レポート | gihyo.jp
Existing Workflow systems
そのデータフロー NiFiで楽にしてあげましょう
Apache NiFi 1.0 in Nutshell
データフロー管理「Apache NiFi 1.3」リリース | OSDN Magazine
Apache Flinkを使いKinesisストリームデータを処理する
“保存されたデータ”と“流れるデータ”の共通分析基盤はHadoopでどうつくる？
ASF Export Classifications and Source Links
Apache NiFiについて調べてみた - Qiita
データの活用は、あらゆる事業・企業を変革する【Hadoop Summit 2016 Tokyoレポート】
難しいLogstashのgrokフィルタを簡単に書く方法 - Qiita
FIWARE チュートリアル｜Let's FIWARE
Hadoop Summit 2016 San Joseにみるデータアプリケーションのクラウド/サービス化
Apache NiFi 2021年の最新動向とヤフーでの活用スタイル