ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで) - Qiita
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで)IFTTTScratchnode-redTouchDesignerビジュアルプログラミング はじめに 世の中にたくさんあるビジュアルプログラミング言語(Visual Programming Languages; VPLs) の全体像を俯瞰したい、という欲求が以前からありました。 Scratch、Node-RED、TouchDesigner、IFTTTなど、教育や個人用途や業務用途、従来プログラミングの置換え、データ流通、メディアアート用途のものまで様々なビジュアルプログラミング言語を見聞きしたり触れるうち、その想いが強くなりました。 粗いところも多々ありますが、一旦本記事に手元のメモをまとめます。 VPLsの定義 ビジュアルプログラミング言語（VPL）とは、プログラム要素
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役
※上記はあくまで私の視点での評価です。Akkaの熟練者であれば評価が変わると思います。 Akkaを使いたかってみたったのですが、学習コストが他と比較してかかってしまうため今回はFlinkを使うことにしました。 またAkkaに詳しい方より、「Akkaはフレームワークではなく、ライブラリなので、フレームワークはAkkaをベースに作ってくれ」 という立ち位置であり、フレームワークと比較するとトレーサビリティなどで見劣りするかもしれませんと教えて頂きました。 後で後述しますが、Flinkにも内部でAkkaが使われていて、Akkaベースで作られておりました。 AkkaはSpark、またはFlinkよりも低レベルのライブラリで、より多くのパワーがあるが、考慮すべき考慮事項も多くなるということだということかなと思います。 Flinkの強み データの保証 Exactly once メッセージは欠損も重複も
FIWARE ステップ・バイ・ステップ これは、FIWARE システムのチュートリアル集です。各チュートリアルは、個々のFIWARE コンポーネントの正しい使い方を示すための一連の演習で構成され、一連のダミー IoT デバイスに接続するか、コンテキストを直接またはプログラム的に操作することによって、シンプルなコンテキスト・ソリューション内のコンテキスト・データの流れを示します。 チュートリアルのリスト コア・コンテキスト管理 : 基本 これらの最初のチュートリアルは、FIWARE Context Broker の概要であり、FIWARE を使用することを学ぶ際の第一歩です。 101. 入門 102. エンティティのリレーションシップ 103. CRUD オペレーション 104. コンテキスト・プロバイダ 105. コンテキストにプログラムでアクセス 106. コンテキストの変更をサブスクラ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーで Apache NiFi を利用したデータ連携用プラットフォームの開発運用を担当している寺田です。 本記事では、ヤフーでの Apache NiFi の活用スタイルと OSS コミュニティとの関わり方、プロダクトの最新動向を紹介します。アドベントカレンダーらしく2021年のまとめを意識して今年の動向を中心にまとめました。 ヤフーでの Apache NiFi の活用 Apache NiFi とは Apache NiFi とは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをグラフィカルに作成・管理し、実行を自動化できるソフトウェアです。Apache Software Foundation (ASF) で O
Apache Kafka - Wikipedia
Apache Kafka is a distributed event store and stream-processing platform. It is an open-source system developed by the Apache Software Foundation written in Java and Scala. The project aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. Kafka can connect to external systems (for data import/export) via Kafka Connect, and provides the Kafka Streams li
クラウド名刺管理サービスSansan のデータ連携を拡張する「CData Drivers for Sansan」をリリース～100 種類を超える国内外のETL、DWH、BI ツールからSansan データ連携が可能に～ 11月19日、CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者 疋田 圭介）は、Sansan 株式会社（本社：東京都渋谷区、代表取締役社長 寺田 親弘）が提供するトップシェアの法人向けクラウド名刺管理サービス「Sansan」のデータ連携を拡張する「CData Drivers for Sansan」をリリースしました。 ＜背景＞ 法人向けクラウド名刺管理サービス「Sansan」は、名刺というビジネス上きわめて重要な顧客データの一次データソースです。Sansan では、データ連携のためのWeb
Distributed computing (Apache Spark, Hadoop, Kafka, ...)のカレンダー | Advent Calendar 2023 - Qiita
分散処理を実現するOSSのミドルウェアに関する技術情報ならなんでもどうぞ 例: Apache Spark Apache Hadoop（HDFS・YARN） Apache Ozone Apache Submarine Apache Kafka Apache Pulsar Apache Hive Apache HBase Apache Cassandra Apache Phoenix Apache Impala Apache Tez Apache Drill Apache Flink Apache Storm Apache NiFi (MiNiFi) Apache Zookeeper Apache Bigtop Apache Ambari Apache Avro Apache Parquet Apache YuniKorn Trino / Presto Apache Iceberg Delta
CData Software とテスト自動化サービスのAutify が業務提携し、Autify 向けデータ連携ドライバーをリリース
CData Software とテスト自動化サービスのAutify が業務提携し、Autify 向けデータ連携ドライバーをリリース～BI、Excel、DWH、ETL からシームレスなAutify データ連携を実現～ 2020年11月25日、CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者 疋田 圭介、以下CData）は、オーティファイ株式会社（本社：カリフォルニア州サンフランシスコ、日本オフィス：東京都中央区、CEO & Co-Founder 近澤 良）との業務提携を発表します。 本提携の元、Autify のデータ連携機能を拡張する「CData Drivers for Autify」の英語・日本語版をリリースします。これによりAutify のソフトウェアテスト結果などの情報をBI、Excel、DWH、ET
Apache NiFi Overview
Put simply, NiFi was built to automate the flow of data between systems. While the term 'dataflow' is used in a variety of contexts, we use it here to mean the automated and managed flow of information between systems. This problem space has been around ever since enterprises had more than one system, where some of the systems created data and some of the systems consumed data. The problems and so
Azure アーキテクチャ センター (AAC) は、Azure でソリューションを設計、構築、運用するのに役立ちます。 クラウドのアーキテクチャ スタイルと設計パターンについて説明します。 テクノロジの選択肢とガイドを使用して、ソリューションに適したサービスを決定します。 ガイダンスは、運用、セキュリティ、信頼性、パフォーマンス、コストの最適化など、クラウドの構築に関するあらゆる側面に基づいています。 Azure アーキテクチャ センターでは、以下の新しい記事と更新された記事が最近公開されました。 2024 年 8 月 新しい記事 Azure ワークロードのデータ ストア分類 Industrial Edge での Azure AI の使用を Azure で監視する 更新された記事 Azure でのドキュメント分類の自動化 (#c74d654229) AWS サービスと Azure サービ
ヤフーのインターンシップでOSSの機能開発をした話 〜 Apache NiFiのUndo・Redoプロトタイプ開発
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめまして！ 同志社大学理工学部情報システムデザイン学科3年の岩井駿人と申します。 今回私は、ヤフーのデータ統括本部のインターンシップに参加し、Apache NiFiというオープンソースソフトウェア（OSS）に対する、追加機能のプロトタイプを開発しました。本記事では、そのインターンシップの内容について紹介します。 特に、 「ヤフーのインターンシップはどうなのか」、「インターンシップってどんなことをするんだろう」 という疑問を持った、私と同じ学生の方へ向けた内容も書いていきたいと思いますので、ぜひ最後まで読んでいただけると幸いです。 Apache NiFiって? 本題に入る前に、今回使用したApache NiFiについて簡単に説明
これは、FIWARE カタログを構成するすべての Generic Enabler のすべてのソースコードを保持しているリポジトリです。カタログの目的は、各 Generic Enabler を簡単に紹介し、ユーザと開発者が関連するソースコードリポジトリ、ドキュメント、Dockerイメージに簡単にナビゲートできるようにすることです。 FIWARE の詳細と使用方法の詳細については、FIWARE ツアー・ガイド、 FIWARE アカデミー、ステップ・バイ・ステップのチュートリアルを 参照してください。 Tour Guide Academy Tutorials Docker Hub コンテンツ¶ バックグラウンド インストール Generic Enablers コア・コンテキスト管理 IoT, ロボット, サードパーティ・システムとのインタフェース コンテキスト処理, 分析, 可視化 コンテキスト
NiFiで毎秒10億のイベントを処理する
著者: Mark Payne Twitter: @dataflowmark 本ブログ記事は「https://blog.cloudera.com/benchmarking-nifi-performance-and-scalability/」(2020/4/9投稿)の日本語翻訳記事です。 （お知らせ）本ブログの一番最後に記載していますが、Clouderaでは日本語によるNiFiのトレーニングを開始します。 Apache NiFiがどれほど速いかを疑問に思ったことはありませんか？ NiFiがどれだけうまくスケールするのかを不思議に思ったことはありませんか？ 単一のNiFiクラスターは、完全なデータ来歴とリネージを持って、1日あたり何兆ものイベントとペタバイトのデータを処理することができます。その方法は以下のとおりです。 これらは通常、お客様が本番環境でNiFiを使用することを検討している場合、最
Distributed computing (Apache Spark, Hadoop, Kafka, ...)のカレンダー | Advent Calendar 2022 - Qiita
分散処理を実現するOSSのミドルウェアに関する技術情報ならなんでもどうぞ 例: Apache Spark Apache Hadoop（HDFS・YARN） Apache Ozone Apache Submarine Apache Kafka Apache Pulsar Apache Hive Apache HBase Apache Cassandra Apache Phoenix Apache Impala Apache Tez Apache Drill Apache Flink Apache Storm Apache NiFi (MiNiFi) Apache Zookeeper Apache Bigtop Apache Ambari Apache Iceberg Apache Avro Apache Parquet Apache YuniKorn Trino・Presto Delta L
データを管理する上で、唯一の正しい情報源を持つことが重要であることは周知の事実です。これがSingle Source of Truth（SSOT）と呼ばれる考え方です。SSOTを実践することで、企業がデータを正確かつ迅速に処理し、意思決定を行えるようになります。本記事では、SSOTの考え方やSSOTを実践するメリット、具体的な実践方法を解説します。 Single Source of Truth（SSOT）とは Single Source of Truth（SSOT）とは、情報の一貫性と正確性を確保するための概念であり、組織内の全員が同じデータに基づいてシステムの報告性を決定するために用いられます。SSOTでは、中央集権化された信頼できるただ1つのソースを確立した上で、そのデータソースを元にタスクを切ります。これにより、組織内の情報の一元化・効率的なデータの活用・迅速なシステムの方針決定が可
開発、開発協力しているOSSをご紹介します。 AnnexML ラベルの種類数が膨大な場合（10^4 - 10^6）のマルチラベル分類問題に対し、高速かつ精度良く予測を行う分類器の実装です。 GitHub AntPickax 基礎ライブラリ、コンポーネント、システムのプロダクト群を提供します。 GitHub 詳細を見る CHMPX ネットワークをまたぐプロセス間におけるバイナリ通信を行うための通信ミドルウエアです。 GitHub パッケージ 詳細を見る Node.js向けライブラリ GitHub npm 詳細を見る FULLOCK マルチプロセス、マルチスレッドから安全で、高速なロック機能を提供する低レベルのロックライブラリです。 GitHub パッケージ 詳細を見る K2HASH 一般的な機能に加えてオリジナルな機能を備えたKVS（Key Value Store）です。 GitHub パッ
Fundamentals of data engineering 輪読会「Chapter 11.The Future of Data Engineering」まとめ - 流沙河鎮
datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 全体のあとがき/エピローグ的なChapter データエンジニアリングの未来への洞察が語られる(同書が刊行されたのは2022年6月22日) Introduction データエンジニアリングのライフサイクルはなくならないだろう 複雑性は低下し使いやすいデータツールが台頭するだろう クラウドスケールのデータOSと相互運用性が進展するだろう データエンジニアリングは「エンタープライズ的」になるだろう 肩書きと責任は変化していくだろう Modern Data Stac
Nifi + Kafka + Strom を用いたデータ処理ハンズオン(1) ~Nifiの基礎部分~ - Qiita
Theme 今回、以下を参考に新しいバージョンでのNifi, Kafka, Stormをつかった検証を行っていきたいと思います。 https://github.com/ijokarumawak/hdf-tutorials-ja/wiki/Apache-NiFi-Dataflow-Automation-Concepts 主に、今回はNifiのパートになります。 Apache NiFiとは システム間のデータフローを自動化し管理するためのOSS Nifi 基本操作 login NifiはNifiを動かしているサーバの9090portを使用します。 Process Groupの作成 赤く囲った部分をドラッグして、方眼上に持っていき、リリースしてください。 今回、名前をHTTP APIとします。 ADDを押し、少し時間を置くと以下のようにProcess Groupが生成されます。 そうしたら、ダブ
Apache NiFiは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをウェブブラウザでグラフィカルに作成・管理し、実行を自動化するためのソフトウェアです。 Apache NiFi 元々アメリカの国家安全保障局（NSA）で開発されていたソフトウェアが2014年にApache Software Foundation（ASF）に寄贈され、2015年よりASFトッププロジェクトのOSSとして公開されています。 当社では、100を超える数のサービスやデータを取り扱うための社内向けプラットフォームを多数提供・運用している背景から、サービスや案件個別ごとの細かなデータ連携を実現するためにApache NiFiを活用しています。 コントリビュータも在籍しており、OSSコミュニティへの貢献にも取り組んでいます。 登壇資料
[zzeng@Zhens-MacBook-Pro ~/OneDrive/80_zzeng/work]$ docker pull python:3.7-alpine3.15 3.7-alpine3.15: Pulling from library/python ab6db1bc80d0: Pull complete 104c00f00fd4: Pull complete 933a3380d086: Pull complete 8a756279a8ef: Pull complete 42a15d76ef81: Pull complete Digest: sha256:7005581339cf80bec3af32f67b1e17ea5e0e8fc68abc5865ad362f7daf5e23f0 Status: Downloaded newer image for python:3.7-alpi
Distributed computing (Apache Spark, Hadoop, Kafka, ...)のカレンダー | Advent Calendar 2021 - Qiita
分散処理を実現するOSSのミドルウェアに関する技術情報ならなんでもどうぞ 例: Apache Spark Apache Hadoop（HDFS・YARN） Apache Ozone Apache Submarine Apache Kafka Apache Pulsar Apache Hive Apache HBase Apache Cassandra Apache Phoenix Apache Impala Apache Tez Apache Drill Apache Flink Apache Storm Apache NiFi (MiNiFi) Apache Zookeeper Apache Bigtop Apache Ambari Apache Iceberg Apache Avro Apache Parquet Apache YuniKorn Trino・Presto Delta L
概要コロナで中止になっていた勉強会が久々に再開された 第36回Elasticsearch勉強会 2020.06.18 #elasticsearchjp 前の勉強会からここまで変わったのかと Trainingが無料で受けられるのはチャンスかなと ※メモレベルで記載されているので、聞き間違ってたらすみません 1.Elastic社 河村 康爾 さん @Ijokarumawak「LT: Elastic スタック で Apache NiFi をオブザーブしてみたい vol.1」 資料：Elastic スタック で Apache NiFi をオブザーブしてみたい vol.1 nifi をAPMで監視 https://github.com/apache/nifi nifi フローベース →nodeRedみたいなもの こういうのをフローベースプログラミングといった気がします Flow-based prog
リレーショナルデータベースからMarkLogicにデータを移行する際、MarkLogic Content Pump (MLCP)の利用時に、元データのCSVダンプや、元データを加工するためのコーディングが必要となります。Apache NiFiは、コンテンツをリレーショナルデータベースシステムからMarkLogicに直接移行するコーディング不要のアプローチを導入しています。ここでは、リレーショナルデータベースからMarkLogicにデータを移行する手順を説明します。 注：次の手順では、MarkLogic v9（またはそれ以降）がすでに実行されており、ローカルで利用可能であることを前提としています。さらに、Java 8をインストールして構成する必要があります。 Nifiのセットアップバイナリやソースコードをダウンロードして実行するにはこちらをご覧ください。また、quick guideも合わせて
はじめに Apache NiFiの勉強のため、ユースケースを考えながらいろいろ弄っている。 サンプルユースケース Http経由でCSVファイルをアップロードする フォーマット変換がOKだったら、200ステイタスのレスポンス、そうでなければ400のレスポンス CSVファイルからデータベースに投入（Httpレスポンスとは同期させない） 下準備 version: '3' services: mysql: image: "mysql:latest" container_name: "mysql" enviroment: MYSQL_ROOT_PASSWORD: password MYSQL_DATABSE: mydb MYSQL_USER: user MYSQL_PASSWORD: password commnad: ["--character-set-server=utf8mb4","--def
みなさんこんばんは、最近子供と閲覧している某TVアニメのオープニング曲に若干感化されたタイトルとなっております、Apache NiFiコミッタのNiFiおじさんです。いくZ! Hortonworks Advent Calendar 2016、12/3のポストとして、昨日リリースされたNiFi 1.1.0から、私が担当したWebSocket対応についてご紹介しまーす。 ※本投稿の内容は該当機能追加のプルリクをReviewしてもらいやすくするために書いた私物ブログの焼き直しです WebSocketプロトコルの基本 WebSocketはduplexで双方向のプロトコルです。最も個人的に面白いと思う特性として、一度WebSocketのコネクションが確立された後は、サーバやクライアントといった立場がないという点があります。 それぞれが、自由なタイミングでメッセージを送信できるのです。コネクションはい
詳細な比較を含む最高のオープンソースETLツールのリスト： ETLは、Extract、Transform、Loadの略です。これは、データが任意のデータソースから抽出され、保存および将来の参照目的のために適切な形式に変換されるプロセスです。 最後に、このデータがデータベースにロードされます。現在のテクノロジーの時代では、ビジネスのほとんどがこのデータ、データフロー、データ形式などを中心に実行されているため、「データ」という言葉は非常に重要です。最新のアプリケーションと作業方法では、処理目的でリアルタイムデータを必要とします。この目的を満たすために、市場にはさまざまなETLツールがあります。 このようなデータベースとETLツールを使用すると、データ管理タスクがはるかに簡単になり、同時にデータウェアハウジングが向上します。 市場で入手可能なETLプラットフォームは、コストと時間を大幅に節約しま
Garoon にBI、ETL、DWH、iPaaS、カスタムアプリケーションから連携を実現する「CData Drivers for Garoon」をリリース
Garoon にBI、ETL、DWH、iPaaS、カスタムアプリケーションから連携を実現する「CData Drivers for Garoon」をリリース～Garoon REST API のエコシステムを大幅に拡充～ 2020年4月22日、CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者 疋田 圭介）は、サイボウズ株式会社（本社：東京都中央区、代表取締役 青野 慶久）が提供するグループウェア「Garoon（ガルーン）」のデータ連携を拡張する「CData Drivers for Garoon」をリリースしました。 ＜背景＞ Garoon は、社内の情報を共有し、チームの力を最大限に高めるエンタープライズグループウェアで、多くの中堅・大企業に利用されています。Garoon のスケジュール、ワークフロー、ユーザ
本記事は、Hadoop のマスターコンポーネントである NameNode の HA の仕組みについて説明しています。 Hadoop についてある程度の知識があり、NameNode HA の仕組みについて詳しく知りたい人向けの内容となっています。 なお、本記事の内容は、Hadoop2系（HDP 2.4.2.0）で確認した内容となっておりますので、最新バージョンとの差分が多少ある可能性がありますので予めご了承ください。 Hadoop用語説明 基本的なHadoopクラスタ構成図 NameNode HA化の必要性 NameNode HA 構成のロジック NameNode HA構成正常時の動き NameNode HA 異常検知の仕組み Active NameNode が作成するznodeについて NameNode HA構成 フェイルオーバー時の動き エポック番号とは 最後に Hadoop用語説明 本
B カート、Senses、ZAICO、ホットプロファイル、SenseWay、kincone など9種類の国内SaaS にノーコードでデータ連携を実現するAPI Profiles をリリース
B カート、Senses、ZAICO、ホットプロファイル、SenseWay、kincone など9種類の国内SaaS にノーコードでデータ連携を実現するAPI Profiles をリリース～増加するWeb API とBI、ETL、iPaaS、DWH のラスト1マイルを連携～ 2020年5月28日、CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者 疋田 圭介）は、B カート、Senses、ZAICO、ホットプロファイル、SenseWay、kincone など9種類のAPI Profiles をリリースいたしました。CData API Driver にユーザーがこれらのProfile を組み込むことで、SaaS データにBI、ETL、Excel、iPaaS、DWH からシームレスに連携が可能になります。 企業
by George Vetticaden この記事は、2022/06/02に公開された「Moving Enterprise Data From Anywhere to Any System Made Easy」の翻訳です。 2015年以来、Cloudera DataFlow チームは、世界最大の企業組織が企業標準のデータ移行ツールとして Apache NiFi を採用することを支援してきました。ここ数年、私たちは、エッジ、オンプレミス、複数のクラウドプロバイダにわたってデータ資産を拡張するお客様のハイブリッドクラウドへの道のりを、最前列で見てきました。そんなハイブリッドクラウドの採用を進めるお客様のデータ移行を支援するという立場から、Clouderaは、最新のハイブリッドデータスタックを採用する際に出てくる重要な要件を、明確に把握することができました。 明らかになった重要な要件の1つは、オ
Cloudera、Pinecone と戦略的業務提携契約を締結し、AI を活用したアプリケーション開発を加速 企業による高性能な生成 AI アプリケーションの構築を促し、 正確かつ迅速な対応を大規模に実施する機能の提供をサポート 本資料は、米国ニューヨーク州にて 2023 年 11 月 2 日（現地時間）に発表したプレスリリースの日本語抄訳版です。 ハイブリッド・データ・クラウドの実現を目指す Cloudera 株式会社（所在地：東京都中央区、社長執行役員：大澤 毅）は、Cloudera が AI の長期記憶を提供するベクトルデータベース企業の Pinecone と、業務提携契約を締結したことを発表しました。本提携では、AI ベクトルデータベースに関する Pinecone の専門知識と Cloudera のオープンデータプラットフォームとの連携を通じて、企業が AI を活用して運用を効率化
前回の記事ではApache NiFiとは何かについて紹介しました。 今回の記事ではApache NiFiを単体で構築する手順を説明します。 「Apache NiFiとはなにか」については以下の記事をご確認ください。 blog.jbs.co.jp 前提条件 構築手順 Javaのインストール NiFiのダウンロードリンクを確認 NiFiのダウンロード ZIPの解凍 ZIP解凍のためのUNZIPのインストール ZIPファイルの解凍 ファイルの確認 解凍されたディレクトリに移動 ディレクトリ内の確認 NiFIのインストール サービス登録の確認 サービス起動前の設定 ログイン情報の登録 NiFi設定の編集 FW設定の変更 NiFiの起動 まとめ 前提条件 次の環境を用意します。 Ubuntu Server 22.04の仮想マシン（以下、VM） NiFiバージョン 1.20.0 VMは構築されている状
![Apache NiFi [2] - NiFiの構築/アクセス - - JBS Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/63626c4f63c1be8f4d88c9fb7beb569c5fcc622c/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fj%2Fjbs_ysatomi%2F20230317%2F20230317163059.png)
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで) - Qiita
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで)IFTTTScratchnode-redTouchDesignerビジュアルプログラミング はじめに 世の中にたくさんあるビジュアルプログラミング言語(Visual Programming Languages; VPLs) の全体像を俯瞰したい、という欲求が以前からありました。 Scratch、Node-RED、TouchDesigner、IFTTTなど、教育や個人用途や業務用途、従来プログラミングの置換え、データ流通、メディアアート用途のものまで様々なビジュアルプログラミング言語を見聞きしたり触れるうち、その想いが強くなりました。 粗いところも多々ありますが、一旦本記事に手元のメモをまとめます。 VPLsの定義 ビジュアルプログラミング言語（VPL）とは、プログラム要素
著者: Mark Payne Twitter: @dataflowmark 本ブログ記事は「https://blog.cloudera.com/benchmarking-nifi-performance-and-scalability/」(2020/4/9投稿)の日本語翻訳記事です。 （お知らせ）本ブログの一番最後に記載していますが、Clouderaでは日本語によるNiFiのトレーニングを開始します。 Apache NiFiがどれほど速いかを疑問に思ったことはありませんか？ NiFiがどれだけうまくスケールするのかを不思議に思ったことはありませんか？ 単一のNiFiクラスターは、完全なデータ来歴とリネージを持って、1日あたり何兆ものイベントとペタバイトのデータを処理することができます。その方法は以下のとおりです。 これらは通常、お客様が本番環境でNiFiを使用することを検討している場合、最
はじめに HortonworksのHDFを試そうと思いましたが、PCではリソース不足で試せなかったのでそれぞれのパーツで試してみます。まずはNiFiとKafkaをWindows環境で使ってみようと思いま す。 追記：後日Apache MiNiFi on Windowsも実施しています。 1. 前提 以下の環境で動作した内容を記述しています。 Windows 10 Home (64bit) *Memory 8G JDK 1.8 2. NiFiのインストールと起動 http://nifi.apache.org/download.htmlよりnifi-1.4.0-bin.zipなど比較的新しいzipファイルをダウンロードし、動作させたいフォルダに展開します。 DOS窓を立ち上げ、bin\run-nifi.batを起動します。 C:\dev\NIFI\nifi-1.4.0\bin>dir ドライブ
CData はソフトブレーンと協業し、eセールスマネージャー Remix Cloud のデータ連携を拡充する「CData Drivers for e-Sales Manager」をリリース
CData はソフトブレーンと協業し、eセールスマネージャー Remix Cloud のデータ連携を拡充する「CData Drivers for e-Sales Manager」をリリース～BI、ETL、DWH、カスタムアプリケーションからシームレスに連携を実現～ 2020年7月21日、CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者 疋田 圭介）は、ソフトブレーン株式会社（本社：東京都中央区、代表取締役 豊田 浩文）が提供するCRM/SFA「eセールスマネージャー Remix Cloud」のデータ連携を拡張する「CData Drivers for e-Sales Manager」をリリースしました。 ＜背景＞ eセールスマネージャー Remix Cloud は、日本の営業に最適化された国産CRM/SFA
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで) - Qiita
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで)IFTTTScratchnode-redTouchDesignerビジュアルプログラミング はじめに 世の中にたくさんあるビジュアルプログラミング言語(Visual Programming Languages; VPLs) の全体像を俯瞰したい、という欲求が以前からありました。 Scratch、Node-RED、TouchDesigner、IFTTTなど、教育や個人用途や業務用途、従来プログラミングの置換え、データ流通、メディアアート用途のものまで様々なビジュアルプログラミング言語を見聞きしたり触れるうち、その想いが強くなりました。 粗いところも多々ありますが、一旦本記事に手元のメモをまとめます。 VPLsの定義 ビジュアルプログラミング言語（VPL）とは、プログラム要素
Apache NiFi-監視 Apache NiFiには、エラー、メモリ使用量、CPU使用量、データフロー統計など、システムのさまざまな統計を監視する方法が複数あります。 このチュートリアルでは、最も人気のあるものについて説明します。 ビルトイン監視 このセクションでは、Apache NiFiの組み込みモニタリングについて詳しく学習します。 掲示板 掲示板には、NiFiプロセッサによってリアルタイムで生成される最新のエラーと警告が表示されます。 掲示板にアクセスするには、ユーザーは右側のドロップダウンメニューから[掲示板]オプションを選択する必要があります。 これは自動的に更新され、ユーザーは無効にすることもできます。 ユーザーは、エラーをダブルクリックして実際のプロセッサに移動することもできます。 ユーザーはまた、次のようにワークアウトすることにより、速報をフィルタリングすることができま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
Apache Flinkを使いKinesisストリームデータを処理する
FIWARE チュートリアル｜Let's FIWARE
Apache NiFi 2021年の最新動向とヤフーでの活用スタイル
クラウド名刺管理サービスSansan のデータ連携を拡張する「CData Drivers for Sansan」をリリース
Azure アーキテクチャ センターの最新情報 - Azure Architecture Center
ホーム - FIWARE-Catalogue
Single Source of Truthとは？全体的な理解と実践のためのガイド | TROCCO®(トロッコ)
OSS - Yahoo!デベロッパーネットワーク
Apache NiFi - Yahoo!デベロッパーネットワーク
Mac + Docker + Python 3.7の環境構築 - Qiita
第36回Elasticsearch勉強会 2020.06.18｜taku333
Apache Nifi 入門：RDBMSからMarkLogicへの移行 - MarkLogic
Apache NiFiでHttp経由でCSVファイルをアップロードしDBへ投入する - Qiita
NiFi 1.1.0でWebSocketに対応したZ! - Qiita
2021年に市場で入手可能な15以上の最高のETLツール - その他
【Hadoop】NameNode HA（High Availability）の仕組み - JBS Tech Blog
エンタープライズデータをあらゆる場所から、あらゆるシステムへ簡単に移行する
Cloudera、Pinecone と戦略的業務提携契約を締結し、AI を活用したアプリケーション開発を加速
Apache NiFi [2] - NiFiの構築/アクセス - - JBS Tech Blog
NiFiで毎秒10億のイベントを処理する - Cloudera株式会社 公式ブログ
Apache NiFi & Kafka on Windows (インストール編) - Qiita
Apache-nifi-monitoring - Dev Guides