ビジネスとオープンソースの狭間で 〜 Embulk の場合 (前編)
2023 年はビジネスとオープンソースの関係が難しくなった年であったように思います。 6 月には、フルタイムの Ruby コミッターとして研究開発を行っていたお二人がクックパッド社の人員削減の影響を受けたことに端を発して、オープンソースに深く関わってきた一部のソフトウェア・エンジニアを中心に、ビジネスとオープンソースの関係について議論がありました。 8 月には HashiCorp 社が自社のオープンソース製品群のライセンスを Business Source License 1.1 (BSL) に変更したことも話題になりました。 また 2023 年は、一年を通して大規模言語モデル (Large Language Models; LLM) が話題になった年でもあり、ビジネスにも大きな影響がありました。 大規模言語モデルとオープンソースの関係に焦点を絞っても、「非オープンソースのライセンスで公開
embulk v0.10 APIを利用する私的メモ
はじめに Embulkのプラグインを0.9から0.10対応にするためにのメモ。 基本的にはここJava plugins to catch up with Embulk v0.10 from v0.9に書いてあることを読めば良い。普段Javaを書かない自分用のメモ(お気づきの点があればぜひ教えてください) @dmikurubeさんに教えてもらったものをまとめただけともいう ゴール プラグインが "embulk-core" に依存しなくなること(本体のjacksonのライブラリとぶつかったり等の問題を回避して、プラグインで自由にライブラリを利用できるようにする等) 新しいAPIで書かれているプラグイン embulk-input-s3 embulk-input-mixpanel 組み込みcsvparser gradle-embulk-plugins v0.10のAPIを使ってプラグインを開発する
assume-roleでEmbulkのS3系プラグインをassume roleで使う | DevelopersIO
はじめに こんにちは、忘年会疲れが隠しきれない佐々木です。 みなさんEmbulkは使っていますか？ 僕は大量データも高速に捌いてくれてプラグインでいろいろな事ができるこのツールが大好きです。 でも、ちょっと困る事がたまにあります。 その一つがS3系のプラグイン(embulk-output-s3, embulk-input-s3) がassume roleに対応していない事です。 そんな時はassume-role そんな時はこれ、assume roleです。 ツールの詳細や使い方については前の記事を参照してください。 config.yml assume-roleと一緒に使うときの設定ファイルは下記のようになります。 in: type: s3 bucket: my-s3-bucket path_prefix: in/logs/csv- auth_method: default out: typ
S3の署名バージョン2 廃止に対応する方法を調べてみた（Embulk S3プラグイン編） - サーバーワークスエンジニアブログ
S3の「署名バージョン2」廃止と、サードパーティツールのS3プラグインへの影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 に関連して、S3を利用するサードパーティツールへの影響についても調べてみました。 S3はデータのETL処理(Extraction Transformation and Load)において、加工前データ・加工後データの保存先として利用されることが多く、サードパーティのETLツールにも、S3用のプラグインが用意されています。 これらサードパーティツールのS3プラグインの内部では、AWS SDKが利用されているため、これらのバージョンが古い場合、S3へのAPIリクエスト時の署名バージョンが「署名バージョン2」になっている可能性があり、プラグインの入れ替えやツール自体のアップデートが必要になる可能性があります。 今
『Embulk』に見るモダンJavaの実践的テクニック ～並列分散処理システムの実装手法～
1. Hiroshi Nakamura Software Engineer Treasure Data, K.K. 『Embulk』に見るモダンJavaの実践的テクニック ∼並列分散処理システムの実装手法∼ 1 #ccc_cd4 / #embulk 2. #ccc_cd4 / #embulk Today’s talk Embulkとは > バルクデータ転送の難しさ > Embulkのアプローチ > アーキテクチャ概要 Java実装技術 > Java 7ネイティブ > Guiceによるコンポーネント間の接続 > ServiceLoaderによる拡張 > Jacksonによるモデルクラス、Immutable > Nettyバッファアロケータ、Unsafe 2 3. #ccc_cd4 / #embulk Embulkとは? - http://embulk.org/ > オープンソースのバルクデー
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG
はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきたいと思います。 同じ境遇の人が「簡単そうだしEmbulk使ってみようかな」となっていただければ幸いです。 目次 目次 背景 Embulk以外にも出てきた案 実際のEmbulkの導入と使い方 1. Embulkのインストールとセットアップ 2. 必要なプラグインのインストール 3. 設定ファイルを書く 実務でcodecommitを使った例 設定ファイルの書き方 4. まずはpreviewで問題なさそうか確認 5. 問題なさそうなのでrunして実行 Embulkの運用上、よくぶつかる課題 1. 重複に気付
Embulkメモ(Hishidama's Embulk Memo)
概要 インストール [/2024-06-02] サンプル YAMLファイル [/2015-10-31] 入出力プラグイン ローカルファイル入力 [/2017-07-16] ローカルファイル出力 [/2017-07-16] MySQL入力 [/2015-10-31] MySQL出力 [/2015-10-31] PostgreSQL入力 [2017-04-11] PostgreSQL出力 [2015-10-15] Tsurugi入力 [/2024-07-11] Tsurugi出力 [/2024-07-11] Excelファイル入力 [/2024-06-02] SequenceFile入力 [/2024-06-02] フィルター [/2015-09-27] 概要 Embulkは、データを並列にバルク転送するツール。Treasure Data（のfrsyukiさん）が開発しているOSS。 ファイル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Embulk] Built-in JSON Parser plugin の新機能のご紹介 - Qiita![[Embulk] Built-in JSON Parser plugin の新機能のご紹介 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/37d94ec3f9c8360d100e36bf4d9f214a8819e02c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRW1idWxrJTVEJTIwQnVpbHQtaW4lMjBKU09OJTIwUGFyc2VyJTIwcGx1Z2luJTIwJUUzJTgxJUFFJUU2JTk2JUIwJUU2JUE5JTlGJUU4JTgzJUJEJUUzJTgxJUFFJUUzJTgxJTk0JUU3JUI0JUI5JUU0JUJCJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz00MjUwMTdmODVkNjE1MmM4YTkzMjBmNmU5OTAxZjFjNA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrYW1hdGFtYV80MSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MTgzOTQzZDUzNTExYzllYjIyODQ4YmRlOTFiN2EyMDA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D2cf8af1ec4b43f38b91ad6b828121672)