ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで) - Qiita
ビジュアルプログラミング言語を俯瞰する(ScratchからNode-RED、TouchDesignerやIFTTTまで)IFTTTScratchnode-redTouchDesignerビジュアルプログラミング はじめに 世の中にたくさんあるビジュアルプログラミング言語(Visual Programming Languages; VPLs) の全体像を俯瞰したい、という欲求が以前からありました。 Scratch、Node-RED、TouchDesigner、IFTTTなど、教育や個人用途や業務用途、従来プログラミングの置換え、データ流通、メディアアート用途のものまで様々なビジュアルプログラミング言語を見聞きしたり触れるうち、その想いが強くなりました。 粗いところも多々ありますが、一旦本記事に手元のメモをまとめます。 VPLsの定義 ビジュアルプログラミング言語（VPL）とは、プログラム要素
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役
※上記はあくまで私の視点での評価です。Akkaの熟練者であれば評価が変わると思います。 Akkaを使いたかってみたったのですが、学習コストが他と比較してかかってしまうため今回はFlinkを使うことにしました。 またAkkaに詳しい方より、「Akkaはフレームワークではなく、ライブラリなので、フレームワークはAkkaをベースに作ってくれ」 という立ち位置であり、フレームワークと比較するとトレーサビリティなどで見劣りするかもしれませんと教えて頂きました。 後で後述しますが、Flinkにも内部でAkkaが使われていて、Akkaベースで作られておりました。 AkkaはSpark、またはFlinkよりも低レベルのライブラリで、より多くのパワーがあるが、考慮すべき考慮事項も多くなるということだということかなと思います。 Flinkの強み データの保証 Exactly once メッセージは欠損も重複も
FIWARE ステップ・バイ・ステップ これは、FIWARE システムのチュートリアル集です。各チュートリアルは、個々のFIWARE コンポーネントの正しい使い方を示すための一連の演習で構成され、一連のダミー IoT デバイスに接続するか、コンテキストを直接またはプログラム的に操作することによって、シンプルなコンテキスト・ソリューション内のコンテキスト・データの流れを示します。 チュートリアルのリスト コア・コンテキスト管理 : 基本 これらの最初のチュートリアルは、FIWARE Context Broker の概要であり、FIWARE を使用することを学ぶ際の第一歩です。 101. 入門 102. エンティティのリレーションシップ 103. CRUD オペレーション 104. コンテキスト・プロバイダ 105. コンテキストにプログラムでアクセス 106. コンテキストの変更をサブスクラ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーで Apache NiFi を利用したデータ連携用プラットフォームの開発運用を担当している寺田です。 本記事では、ヤフーでの Apache NiFi の活用スタイルと OSS コミュニティとの関わり方、プロダクトの最新動向を紹介します。アドベントカレンダーらしく2021年のまとめを意識して今年の動向を中心にまとめました。 ヤフーでの Apache NiFi の活用 Apache NiFi とは Apache NiFi とは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをグラフィカルに作成・管理し、実行を自動化できるソフトウェアです。Apache Software Foundation (ASF) で O
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
Apache Flinkを使いKinesisストリームデータを処理する
FIWARE チュートリアル｜Let's FIWARE
Apache NiFi 2021年の最新動向とヤフーでの活用スタイル