検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 11 件 / 11件

新着順 人気順

"Apache NiFi"の検索結果1 - 11 件 / 11件

  • Apache NiFi 2021年の最新動向とヤフーでの活用スタイル

    ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーで Apache NiFi を利用したデータ連携用プラットフォームの開発運用を担当している寺田です。 本記事では、ヤフーでの Apache NiFi の活用スタイルと OSS コミュニティとの関わり方、プロダクトの最新動向を紹介します。アドベントカレンダーらしく2021年のまとめを意識して今年の動向を中心にまとめました。 ヤフーでの Apache NiFi の活用 Apache NiFi とは Apache NiFi とは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをグラフィカルに作成・管理し、実行を自動化できるソフトウェアです。Apache Software Foundation (ASF) で O

      Apache NiFi 2021年の最新動向とヤフーでの活用スタイル

    • Apache NiFi Overview

      Put simply, NiFi was built to automate the flow of data between systems. While the term 'dataflow' is used in a variety of contexts, we use it here to mean the automated and managed flow of information between systems. This problem space has been around ever since enterprises had more than one system, where some of the systems created data and some of the systems consumed data. The problems and so

      • ヤフーのインターンシップでOSSの機能開発をした話 〜 Apache NiFiのUndo・Redoプロトタイプ開発

        ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめまして！ 同志社大学理工学部情報システムデザイン学科3年の岩井駿人と申します。 今回私は、ヤフーのデータ統括本部のインターンシップに参加し、Apache NiFiというオープンソースソフトウェア（OSS）に対する、追加機能のプロトタイプを開発しました。本記事では、そのインターンシップの内容について紹介します。 特に、 「ヤフーのインターンシップはどうなのか」、「インターンシップってどんなことをするんだろう」 という疑問を持った、私と同じ学生の方へ向けた内容も書いていきたいと思いますので、ぜひ最後まで読んでいただけると幸いです。 Apache NiFiって? 本題に入る前に、今回使用したApache NiFiについて簡単に説明

          ヤフーのインターンシップでOSSの機能開発をした話 〜 Apache NiFiのUndo・Redoプロトタイプ開発

        • Apache NiFi Statelessの使い方 - JBS Tech Blog

          今回は以前別の記事で紹介したApache NiFiについて、通常とは違う処理エンジンとして実装されているStatelessエンジンについて簡単に紹介します。 Apache NiFiについて紹介した記事は以下のリンクからどうぞ。 blog.jbs.co.jp NiFi Statelessとは NiFI Statelessの特徴 NiFI Statelessのメリットデメリット NiFi Statelessの使い方 NiFi 1.x NiFi 2.x まとめ NiFi Statelessとは バージョン1.10.0で実装された機能で、デフォルトのNiFiランタイムとは別に開発された軽量なStatelessランタイムを使用して実行され、パフォーマンス/効率/スケーラビリティが非常に良いものとなっています。 初期段階だと、別のバイナリを起動して動かさなければいけない等、使用しにくいところがあったの

            Apache NiFi Statelessの使い方 - JBS Tech Blog

          • Apache NiFi - Yahoo!デベロッパーネットワーク

            Apache NiFiは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをウェブブラウザでグラフィカルに作成・管理し、実行を自動化するためのソフトウェアです。 Apache NiFi 元々アメリカの国家安全保障局（NSA）で開発されていたソフトウェアが2014年にApache Software Foundation（ASF）に寄贈され、2015年よりASFトッププロジェクトのOSSとして公開されています。 当社では、100を超える数のサービスやデータを取り扱うための社内向けプラットフォームを多数提供・運用している背景から、サービスや案件個別ごとの細かなデータ連携を実現するためにApache NiFiを活用しています。 コントリビュータも在籍しており、OSSコミュニティへの貢献にも取り組んでいます。 登壇資料

              Apache NiFi - Yahoo!デベロッパーネットワーク

            • Apache Nifi 入門：RDBMSからMarkLogicへの移行 - MarkLogic

              リレーショナルデータベースからMarkLogicにデータを移行する際、MarkLogic Content Pump (MLCP)の利用時に、元データのCSVダンプや、元データを加工するためのコーディングが必要となります。Apache NiFiは、コンテンツをリレーショナルデータベースシステムからMarkLogicに直接移行するコーディング不要のアプローチを導入しています。ここでは、リレーショナルデータベースからMarkLogicにデータを移行する手順を説明します。 注：次の手順では、MarkLogic v9（またはそれ以降）がすでに実行されており、ローカルで利用可能であることを前提としています。さらに、Java 8をインストールして構成する必要があります。 Nifiのセットアップバイナリやソースコードをダウンロードして実行するにはこちらをご覧ください。また、quick guideも合わせて

                Apache Nifi 入門：RDBMSからMarkLogicへの移行 - MarkLogic

              • Apache NiFiでHttp経由でCSVファイルをアップロードしDBへ投入する - Qiita

                はじめに Apache NiFiの勉強のため、ユースケースを考えながらいろいろ弄っている。 サンプルユースケース Http経由でCSVファイルをアップロードする フォーマット変換がOKだったら、200ステイタスのレスポンス、そうでなければ400のレスポンス CSVファイルからデータベースに投入（Httpレスポンスとは同期させない） 下準備 version: '3' services: mysql: image: "mysql:latest" container_name: "mysql" enviroment: MYSQL_ROOT_PASSWORD: password MYSQL_DATABSE: mydb MYSQL_USER: user MYSQL_PASSWORD: password commnad: ["--character-set-server=utf8mb4","--def

                  Apache NiFiでHttp経由でCSVファイルをアップロードしDBへ投入する - Qiita

                • Apache NiFi [2] - NiFiの構築/アクセス - - JBS Tech Blog

                  前回の記事ではApache NiFiとは何かについて紹介しました。 今回の記事ではApache NiFiを単体で構築する手順を説明します。 「Apache NiFiとはなにか」については以下の記事をご確認ください。 blog.jbs.co.jp 前提条件 構築手順 Javaのインストール NiFiのダウンロードリンクを確認 NiFiのダウンロード ZIPの解凍 ZIP解凍のためのUNZIPのインストール ZIPファイルの解凍 ファイルの確認 解凍されたディレクトリに移動 ディレクトリ内の確認 NiFIのインストール サービス登録の確認 サービス起動前の設定 ログイン情報の登録 NiFi設定の編集 FW設定の変更 NiFiの起動 まとめ 前提条件 次の環境を用意します。 Ubuntu Server 22.04の仮想マシン（以下、VM） NiFiバージョン 1.20.0 VMは構築されている状

                    Apache NiFi [2] - NiFiの構築/アクセス - - JBS Tech Blog

                  • Apache NiFi & Kafka on Windows (インストール編) - Qiita

                    はじめに HortonworksのHDFを試そうと思いましたが、PCではリソース不足で試せなかったのでそれぞれのパーツで試してみます。まずはNiFiとKafkaをWindows環境で使ってみようと思いま す。 追記：後日Apache MiNiFi on Windowsも実施しています。 1. 前提 以下の環境で動作した内容を記述しています。 Windows 10 Home (64bit) *Memory 8G JDK 1.8 2. NiFiのインストールと起動 http://nifi.apache.org/download.htmlよりnifi-1.4.0-bin.zipなど比較的新しいzipファイルをダウンロードし、動作させたいフォルダに展開します。 DOS窓を立ち上げ、bin\run-nifi.batを起動します。 C:\dev\NIFI\nifi-1.4.0\bin>dir ドライブ

                      Apache NiFi & Kafka on Windows (インストール編) - Qiita

                    • Apache-nifi-monitoring - Dev Guides

                      Apache NiFi-監視 Apache NiFiには、エラー、メモリ使用量、CPU使用量、データフロー統計など、システムのさまざまな統計を監視する方法が複数あります。 このチュートリアルでは、最も人気のあるものについて説明します。 ビルトイン監視 このセクションでは、Apache NiFiの組み込みモニタリングについて詳しく学習します。 掲示板 掲示板には、NiFiプロセッサによってリアルタイムで生成される最新のエラーと警告が表示されます。 掲示板にアクセスするには、ユーザーは右側のドロップダウンメニューから[掲示板]オプションを選択する必要があります。 これは自動的に更新され、ユーザーは無効にすることもできます。 ユーザーは、エラーをダブルクリックして実際のプロセッサに移動することもできます。 ユーザーはまた、次のようにワークアウトすることにより、速報をフィルタリングすることができま

                      • Apache NiFi [1] - NiFiとはなにか - - JBS Tech Blog

                        ハイブリッドクラウド5部４グループの里見です。今回は業務で利用しているソフトウェアの中からApache NiFiというデータフローの管理に特化したツールを紹介します。 Apache NiFiとは NiFiでできること まとめ Apache NiFiとは Apache NiFiは、多種多様なシステム間でデータ連携するためのデータフローをGUIベースで作成・管理し、実行できるソフトウェアで、データフローオーケストレーションツールと呼ばれます。 このソフトウェアはブラウザー上で手軽に操作ができ、新しく接続先を増やす/減らすといったことが簡単にできます。 また、データの流量をグラフで可視化することや、データごとに発生元を確認することも可能です。 もともとの名前をNiagaraFilesといい、アメリカのNSAで開発されたツールがOSS化されたものです。 NiFiでできること NiFiは以下のような

                          Apache NiFi [1] - NiFiとはなにか - - JBS Tech Blog
                        1

                        はてなブックマーク

                        公式Twitter

                        はてなのサービス

                        • App Storeからダウンロード
                        • Google Playで手に入れよう
                        Copyright © 2005-2024 Hatena. All Rights Reserved.