Embulkのcoreのソースコードから紐解くデータ転送のしくみ
この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者はembulk-coreにコントリビュートしているわけではないので、間違いなどがあればお気軽にご指摘ください。 今回見ていくcoreの実装自体は、比較的変更が少ないとされる各種プラグインが従うべきインターフェース部分(embulk-spi)から隠蔽されているため、今後この記事の内容が正しくなくなる可能性は容易にあります。 Embulkにはguessやpreviewやresumeといった機能も含まれていますが、今回は単純なembulk r
この本がスゴい！2023
「あとで読む」と思った本が、後で読まれた試しがない。 今度の週末・連休にと、積まれた本は崩されない。次の盆休み・年末年始に繰り越され、山脈を成し床が消える。 読書を食事になぞらえて、「血肉化」と表現するならば、私がやっていることは、メニューを眺めて片っ端から注文しているくせに、いんすた映えを気にしながら撮るくせに、まともに咀嚼して嚥下して消化してない状態だ。 そのくせ、「積読も読書のうち」と開き直ったり、溜まった本こそ私の証などと屁理屈こね回す。読まない本に「負債」のような後ろめたさを感じつつ、新刊本を探しだす。新しい本はそれだけで価値があると盲信し、かくして積読リストは延びてゆく。 もう一つ、恐ろしい予感がある。感受性の劣化だ。 あれほど楽しみに「取っておいた」本が、まるで面白くなくなっている。いや、その本の「面白さ」が何であるかは理解できる。だが、それを面白いと感じなくなっているのだ。
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
物流業界は賃上げなんかじゃどうにもならんよ
何故ならまず「空間」が足りてないから 賃上げとかで人員を増やしても、捌ける荷物の量が増えたりはしないんだ まず荷物がどう運ばれるかを滅茶苦茶に雑に記述すると 個人の荷物 各町の営業所 → 県の配送センター → 別の県の配送センター → 各町の営業所 → 個人の家 企業の荷物 企業 → 県の配送センター → 別の県の配送センター → 各町の営業所 → 個人の家 or 企業 という風になる そして配送センターはトラックから来た荷物を受け取って、配送センター内部で届け先の住所ごとに仕分けて別のトラックに積んで トラックに運んで貰う訳だが、この時期は内部が昼も夜も荷物でいっぱいの状況が続く訳だ トラックや人員を増やした所で増えた人員に荷物を捌いて貰う場所がどの時間帯も無い 次に各町の営業所はトラックをこれ以上増やしようがない。駐車スペースに限界があるからだ もちろん営業所の内部も荷物でいっぱいなの
日米ハーフの自分が思う「自己肯定感」のクソさ
生まれてから高校までアメリカで過ごし、それ以降は日本で住み就職もしている。今20代前半。 最近X(Twitter)でこんな動画が賛否両論を生んでいた。 https://x.com/sgwhn8727/status/1627815915457839104?s=20 「子どもたちの自己肯定感を上げるため、わたしのクラスでは毎朝affirmationを言います。I am loved, I am brave, I am smart, I am kind, I am a problem solverと言い合って、ポジティブな気持ちで1日過ごせるようにします。これを毎日繰り返すことでポジティブな自分になることが狙いです。」 これを見て、自分が今まで生きてきて感じたことを色々と思い出したので少し書く。 便宜上、「アメリカ」「日本」と大きな主語を使うが、もちろん家庭や土地によって差はあると思う。 アメリカ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
