サマリ local で Composer 向けの DAG 開発をしたい BigQuery Operator ぐらいはちゃんとうごいてほしい Airflow 2.1.x Python 3.8 ほんとはリポジトリつくってそれ pull してねってすれば親切なんだろうけど面倒くさいので個人のブログに書きなぐっている ファイル ディレクトリ構成 . ├── Dockerfile ├── credentials │   └── credential.json ├── dags │   └── hello.py ├── docker-compose.yaml ├── .env ├── logs └── plugins credential.json Google Cloud の Service Account のもの .env AIRFLOW_UID=503 AIRFLOW_GID=0 GOOGLE_

はじめに Airflow Summit は、Apache Airflow のユーザーと開発者のグローバルコミュニティのための年次イベントです。2022年は2回目の開催で、東京では実際に集まって講演を聴講する local event が行われました。 ここ数年、コロナ禍でイベントが一斉にオンライン化され、他の開発者とリアルで会う機会が少なかったので、いい気分転換でしたし、オフラインイベントに参加する重要さ を感じさせられました。開催は Tokyo Apache Airflow Meetup が行い、今後も Airflow に関するイベントを開催していくそうなので、少しでも Airflow に興味があればご参加ください！（僕が会いたい！） 当日の流れ エリア/施設 開催地は品川区にある大崎ブライトコアホールでした。朝から気温と日差しが厳しく、マラソンでもしてきたような汗を掻いた状態で入り口にた

version: "3.0" services: fastapi: image: "image" container_name: "container" # ビルド build: dockerfile: ./docker/fastapi/Dockerfile context: . restart: always tty: true ports: - "8000:8000" volumes: - .:/app command: /bin/bash -c "sleep 10 && uvicorn code.main:app --reload --reload-dir code --host 0.0.0.0 --port 8000"

概要 Airflowを触ったことがない人が業務にスッと入れるようにするための知識として社内のチームメンバー向けに書いてたのですが、インターネットに出せる形に調整して公開してみることにしました。 ちなみにv.1.0.0ぐらいのノリなので今後も必要に応じて更新していく予定です（ドキュメント自体も30分ぐらいで一気に書いたこともあり荒削り感は否めません） また、だいぶ前に勉強会向けに作成した資料もここに貼っておきます。 Airflowについて Airflowとは 一言で言うと「ワークフローエンジン」です。 Pythonでワークフローを実装し、その実行をスケジューリングやモニタリングを通じて管理くれるプラットフォームとなっています。 公式サイトからの引用 Airflow is a platform created by the community to programmatically autho

住まい暮らしメディアLIMIAで開発を担当している樋口です。 LIMIAではBigQueryを使ってデータ分析を行なっています。 ログデータについてはFirebase Analyticsに送信したデータをBigQueryへ書き出しています。 マスタデータについてはMySQLに格納されており、それをBigQueryへ送信する必要がありました。 embulkをfargate環境で動かすことで実現したため、それについて共有します。 embulkについて embulkはデータローダです。 fluentdのバッチ版と言われており、オープンソースで開発されています。 fluentdと同じようにプラグインを導入することで、様々なデータソースに対応しています。 LIMIAでは入力をMySQL、出力をBigQueryとしています。 そのため、プラグインとして embulk-input-mysql と emb

インフラチームの小川 (@tsubasaogawa) です。最近は枕を高くすることにはまっています。 よくある話ですが、昨年末、データベース (Aurora) に保存されているレコードを DWH の TreasureData に送信するという案件がありました。いくつか方法が考えられますが、今回は Embulk を ECS の Fargate で動かすことで対応をしてみました。 Embulk? https://github.com/embulk/embulk データ転送をバッチ的に行ってくれるツールです。プラグインで入出力先を拡張できるのが特徴で、今回は embulk-input-mysql + embulk-output-td を利用しています。 構成 下図のような構成をとりました。 CloudWatch Events cron() を記述し、スケジューラ実行されるようにしています。(誰も

もうちょっと具体的な使い分けは下記の通り。 ローカルなインストールは /usr/local/ 一般的なローカルでのインストール（ソースからコンパイル、バイナリをダウンロードなど）においては、 /usr/local/ にインストールすればよい。 /usr/local/ 以下の配置方法としては、 /usr/local/<app>/ ディレクトリを作成して配置 Golang のデフォルトインストールがこのレイアウト（ /usr/local/go/ ） PATH の通し方については、シンボリックリンクを /usr/local/bin に配置 ソースは /usr/local/src/<app> に配置 とする。 ユーザのみ利用は $HOME/bin, $HOME/.local/ システム全体の利用ではなく、自分のみ利用する予定のプログラムなら $HOME/bin や $HOME/.local/ 以下

今回は、「/bin」「/usr/bin」「/usr/local/bin」ディレクトリの使い分けについて。 これらのディレクトリには、コマンドやスクリプト、プログラムなどのバイナリファイルが置かれます。ところで、これらのディレクトリはどのように使い分けされているのでしょうか？ まず、「/bin」ディレクトリには、シングルユーザモードでも利用できるコマンドを置きます。逆の言い方をすると、「/usr/bin」や「/usr/local/bin」に置かれているコマンドなどはシングルユーザモードで利用できないということになります。シングルユーザモードは、基本的にOSが壊れて正常に起動できないなど非常時に利用するものですので、「/bin」にはごく基本的かつ非常時に利用するコマンドが置かれることになります。 「/usr/bin」には、「シングルユーザモードで利用しない」かつ「RPMやdebなどのパッケージ

巨大な/usrのディレクトリ構造 /usrには、読み出し可能かつ共有可能なファイルを配置します。一般的にいって、ここには多数のファイルが配置され、ディレクトリ構造も複雑になっています。 FHS 2.2におけるサブディレクトリは以下のように定義されています。ここでも、ディレクトリによって「必須」と「オプション」に分かれます。

この記事は、筆者が技術選定について思うところをまとめた記事です。Twitterに同じ話を何回か書いているので、文章にまとまっていたほうがよいと思い用意しました。 やや過激な思想で愚痴も含んでいるので、共感いただけると嬉しいものの、みなさんを説得しようというつもりはありません。こいつはこういう考え方なんだなという心持ちでお読みください。 積極的な技術選定と消極的な技術選定ITエンジニアの方々の中には、技術選定をする立場の方も多いでしょう。技術選定にあたってはさまざまな事情を勘案しなければならない難しいもので、それだけに多くの人が技術選定に関する各々の考えを述べています。 筆者は、技術選定における意思決定のプロセスは、積極的な技術選定と消極的な技術選定の2種類があるのではないかと思っています。 積極的な技術選定は、選定される（あるいはされない）技術そのものが原因となる意思決定です。 一方、消極

IT業界は変化が激しく、人気の言語も時代とともに移り変わっていきます。最新の情報を追い続けるのは簡単ではないので、「将来性のある言語はどれ？」「単価が高くて稼げる言語は？」と気になっている人も多いのではないのでしょうか。 本記事では、「レバテックフリーランス」に蓄積されたデータを元に、プログラミング言語別の月単価・案件数を集計しランキングを作成しました。ランキング上位の言語については、将来性や市場価値を上げるためのポイントなども紹介しています。今回のランキングデータを元に、今後の案件選びやスキルアップの参考にしてみてください。 最新版のランキングはこちら▼ 【1位はGoの87万円】プログラミング言語別単価ランキング｜2023年7月最新版 ※本記事の調査結果や画像を引用する際は【レバテックフリーランス調べ】とご記載ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェ

ちょっとバイナリ配布したいツール↓があったので、Go言語と戯れました。 zenn.dev ほぼはじめてGoを使ったので、にわかほど語りたがる法則に従って、Go言語の感想を書きます。 新しい言語にふれたときは、できることには気づきにくく、できないことに気づきやすいので、不満が多めです。主な比較対象はRuby、C言語、JS/TS、Rustあたりです。 よかったところ ひとことで言えば「便利になったC言語」という感じでした。結構低レベルなAPIも揃っていてよかった（デーモン化が素直にできなかったこと以外）。 Rustと比べたらストレスフリーです。思った通りに書くだけでとりあえず動いてくれる。すばらしい。 見た目はあきらかに長くてダサいですが、こだわりを捨てて割り切って書けると言えなくもない。 配布しやすいシングルバイナリが作れるのはやはりよい。今回Goを選んだ理由がこれ。 細かいカプセル化がむず

動かないヒット ヒットが動かない──日本の音楽シーンで奇妙な現象が起きている。とくにそれは、音楽メディアの中心となりつつあるストリーミングサービスで生じている。 それが確認できるのは、世界でもっともユーザー数の多いSpotifyだ。そこでは、73か国・地域とグローバル（全体）の200位までのチャートが公開されている（※１）。その特徴はランキング（順位）だけでなく、再生回数もオープンにされていることだ。 上位200位までに限定されたデータではあるが、そこから読み取れることも多い。とくに日本のチャートが、極めて奇妙な傾向を示していることがわかった。 一言で表せば、それは“ヒットの固着”と呼べる現象だった。 Spotifyは日本でシェア２位 データの確認の前に、Spotifyと日本の音楽状況について簡単に整理しておこう。 Spotifyは現在238の国・地域で利用できる。使えないのは、中国や北朝

概要 「マスタリング Linux シェルスクリプト第 2 版」を読みました。 感想を書きます。 マスタリングLinuxシェルスクリプト 第2版 ―Linuxコマンド、bashスクリプト、シェルプログラミング実践入門 作者:Mokhtar Ebrahim,Andrew MallettオライリージャパンAmazon 概要 前提 目的 前提知識 読了時間 感想 次に関連で勉強すること まとめ 前提 目的 CI/CD の実力を上げるための手段としてシェルスクリプトの知識を獲得したかった 出版された当初にネットで評判が良く（こちらの記事を参考にした）、おもしろそうに見えた 特に、sed、awk あたりを入門したかった 前提知識 調べることはあっても、シェルスクリプトを体系的に学ぶのは初めてでした。 一応、1 月に「シェル・ワンライナー 160 本ノック」を読んでいました。しかし、想定よりも難易度が高

技術をわかりやすく伝えるためのテクニックとしての「テクニカルライティング」を学べます。Developers Summit 2023の登壇資料。開発者・エンジニアの方向け。 https://twitter.com/naoh_nak

「若者に風呂なし物件が人気」は本当か？ 最近「若者に風呂なし物件が人気」といった趣旨の報道が物議を醸しました。 ほぼ同時期に複数のメディアが似たような記事を発信したことが直接のきっかけですが、若者の貧困問題が根っこにあるにもかかわらず、それを考慮しないで1つの文化、ファッションのように片付けていることに対する非難や疑問の声が、それこそ若者を中心に湧き起こりました。昨年末に海外メディアが、日本で「三畳一間」の狭小物件のニーズが高まっていると指摘したことなどもこれに影響しているようです。 筆者はアメリカ発のミニマリズムが日本において生存主義（サバイバリズム）の色彩を強めていることについて、これまでさまざまな媒体で語ったり、書いたりしてきました。モノを極限まで減らすことや、住空間をコンパクトにするミニマリズム、シンプルライフの流行が、先行きが不透明で転落のリスクに脅かされた過酷な時代状況と無縁で

Docker Desktopは普段使いのマシンでコンテナーでアプリケーションを実行することができるソフトウェアで、Dockerのサイトからダウンロードして使うことができます。 開発中のアプリケーションのテストとか、手元の環境でソフトウェアを動かしてみたい時に便利です。VSCodeとの連携もバッチリで、VSCodeコードでコーディングしたアプリケーションをDockerコンテナーで実行するDevContainerにも対応しています。最近のバージョンでLinux Desktop版も提供されるようになったので、もちろんパソコンは必要ですが、Linux DesktopにDocker Desktopをインストールすれば、ほぼ無料でコンテナーベースのアプリケーション開発が可能になります。 良い世の中になりました。 そんな便利なDocker Desktopですが、Dockerの方針変更で次の条件に当てはま

はじめまして。mayocornです。 先日のABC281で青コーダーになりました！ 経歴 20代の主婦。旦那は競プロやってないです。 中学卒業→高校入学→高校中退→バイトを転々とする（ITに関してはSESで半年ほど働いた経験あり）→今の住所に引越してきてからは無職 趣味はゲームで、最近やっているタイトルはファイアーエムブレムエンゲージ、Splatoon3です。音ゲーやカードゲームに熱中してた時期もありました。CHUNITHMは旧レートでベスト枠15.3くらい。でものめりこむほどお金がかかるのでやめました。競技プログラミングは何問解いても無料なので続けられてます。 学力に関して話すと、高校数学は確率、論理と集合がちょっとわかるくらいで三角関数、微分積分、行列あたりは全然分かりません。青パフォーマンスをとるのにこのへんの知識が必要になったことはなかった気がします。（私が参加した回の中では） 競

私はUdmeyに年間50万??ぐらい教材に投資して常に、Udemyに貼り付いて良い講座ができるのを監視しています。その中で、最後まで講座を受講してその講座の感想を書きたいと思います。私は、優良だと思わない講座は即返金処理を行うので、ここに紹介される講座は、とてもわかりやすいものしか基本的に載せてありません。この記事は更新されていきますので、ご興味ある方はいいねとストックをお願いします。(よかったやつ証明書とかコピペしてここに貼るの正直まじでめんどくさいので、更新するモチベーションに繋がります)。下記に書いてあるものは全部、優良のものだが、中でも個人的に良いなと思ったやつは、右バーのindexと題名に「👍」をつけておいた。下までスクロールするのがめんどくさい人は「👍」まで。 どうやら、この記事がUdemy Advent Calender 2023に参考記事になったようです。 ちょくちょく

貝柱 @kaibasirabasira モンベルの靴下を買い足した。3000メートル級の冬山に耐えうる靴下は本当に温かい。冬場はこれなしにはやっていけない。個人的にはとてもお勧めなのだが、わたしの言葉に耳を傾ける人はいままでいない。わたしは、贈物をするとき、たいてい、「五択」というのを相手にあらかじめメールする。これは、 貝柱 @kaibasirabasira オリジナルカタログギフトみたいなもので、お勧めの品物を五品、選択肢として挙げて、貰う側に選んでもらうというものだ。楽しみにしてくれる人もいる。で、冬の五択にはモンベルのアルパインソックスを二足という選択肢を入れておくのだが、選ばれたことがない。本当にあったかいんだけどな。

こんにちは、2021年もあっというまに年の瀬、師走真っ只中ですね。 今回はPython開発環境構築のお話です。 以前Windowsで最強のPython開発環境をご紹介しました。 www.true-fly.com この環境を用いれば、 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる といったメリットを得られます。 だがしかし！もっと開発環境を簡略化したくはないですか？ 今回の目標はこちら！ エディタの拡張機能機能やPythonのバージョンをコード化する コードと簡単な手順の共有のみで、チームメンバーで統一した開発環境を構築する 今回はより最強のPython開発環境を、VSCode + Dockerで構築していこうと思います。 もうすぐ2022年、よりモダンな開発環境でPythonライフをエンジョイしましょ

pyenvなんていらなかった 下記リポジトリに最低限のファイルをまとめてみましたので、ご活用いただければ幸いです。 リポジトリをcloneし、VSCodeでReopen in Containerするだけで、Pythonが開発可能なdevcontainerが起動します。 以下、蛇足ですが説明です。 前提 VSCodeや拡張機能のインストール、Dockerの導入などは済んでいることが前提となります。VSCode Remoteの導入については下記の公式記事などを適宜ご覧ください。 中身 compose.yml

昨年のとあるアドベントカレンダーでPythonのパッケージ管理ツールの一つpoetryが紹介されていました。 2020 年の Python パッケージ管理ベストプラクティス 普段業務で使っているのはpipenvなのですが、パッケージを作るのにsetup.pyとかその他諸々のファイルが必要で面倒だったり、pipfile.lockの作成に異常に時間がかかったりしていてストレスを感じていましたが、poetryだとそれらがいい具合に解決されている？とのことだったので試してみました。 poetryを使ってDockerコンテナに分析環境を構築したので、その方法をメモします。 コードはこちらにあげています。 解説 ディレクトリ構造は以下の通りです。 . ├── Dockerfile ├── README.md ├── docker-compose.yml ├── notebook # EDAで使用するn

Python開発環境構築手順（VSCode, Docker, Poetry, isort, black, flake8, pytest）Python はじめに Python開発環境を整備し直したときのメモです コードはこちらに配置しています どういう開発環境を作るか VSCode・Docker上で実行する（ローカルでの実行を想定） パッケージ管理はPoetryを利用する linter, formatterはisort, black, flake8を利用する コマンドだけでなくVSCodeからも利用する テストはpytestを利用する Jupyter Notebookも利用可能にしておく セットアップ手順 事前準備【ローカル】 VSCode・Dockerのインストール VSCode拡張機能Remote Developmentのインストール 設定ファイルの配置 （参考）フォルダ構成 . ├──

本記事は NRIネットコム Advent Calendar 2022 24日目の記事です。 🎁 23日目 ▶▶Happy Christmas Eve! ▶▶ 25日目 🎄 はじめまして、入社7年目の川畑です。 主にPHPを使ったWebアプリの開発・保守・運用を担当しております。 今日はクリスマスイブですね。私は枕元に現ナマが置かれる予定です。夢はないけど嬉しい。 はじめに ローカルに開発環境を構築する際にDockerを利用されている方も多いですよね。 作って壊してが楽、ローカルにプログラミング言語を入れなくても開発環境が構築できるなどメリットにあふれています。そんなDockerを利用して環境を構築！人気エディタVisual Studio Code(以下、VS Code)でいざソースコードを書くぞ！と勇むと、下記のようなメッセージが通知されます。（PHP環境だとお考え下さい） Canno

VS Code で Remote SSH VS Code で Remote SSH する方法を記載しておきます。 はじめに 本家のチュートリアルは以下のサイトにあります。 概要 Developing on Remote Machines using SSH and Visual Studio Code チュートリアル Connect over SSH with Visual Studio Code Remote Development with Visual Studio Code Tutorials 要約 やったこと 1. VS Code に Remote SSH の拡張機能をインストール 拡張機能のボタンをクリックし、Remoteと入力。表示された Remote-SSH をインストールする。 すると、以下のようなマークが左下に「><」が表示されることを確認する。 2. VS Code

以下のようなことができるVScodeの拡張機能です。 VScodeからDockerを制御できる Dockerの1つのコンテナ内に「VScodeサーバー」なるソフトをインストールして、そのサーバーにローカルのVScodeから接続して、あたかもローカルのVScodeを操作しているような感覚で、Docker内のVScodeを操作できる 😇😇😇？？？ ちょっと自分でも何言ってるのか分からないのですが ムリやり図解すると以下のような感じです、おそらく。。 Remote Containerから「どのコンテナを立ち上げるか？」を指定する Dockerfile、docker-compose.yml、image名を直接指定という3つの方法がある 複数のコンテナを立ち上げる場合は、どのコンテナの中に入るか（VScodeサーバーをインストールして接続するか）も指定する Remote ContainerがD

技術部データ基盤チームの @zaimy です。今回は、 Visual Studio Code（以下 VS Code）と Docker コンテナを使って開発環境を構築する方法を紹介します。 データ基盤エンジニアの開発環境として、Python を使用する単一コンテナを例に記述しますが、他の言語や Docker Compose を使う場合でも応用できます。 背景: M1 Mac (Monterey) に Python 3.8.12 をインストールできない 先日、業務で使用するマシンを Intel Mac から M1 Mac に切り替えたのですが、CPU アーキテクチャが異なることに加えて、OS のバージョンが上がったことで Apple Clang に下位互換性のない変更が入っており、業務上ある理由で必要な Python 3.8.12 のインストールが困難でした。 そこで、私の所属するチームは全員

Visual Studio Code Remote Development VSCode Remote Containerは、VSCodeの拡張機能の1つです。 Dockerのコンテナ内でVSCodeを開き、開発することを可能にします。 使ってみてかなり良さげだった&当初はよく分からない部分も多かったので、2週間くらい使ってみて分かったことをまとめます。 そもそもDockerで開発環境を作るメリット 開発環境が簡単に作って壊せる 今どういう環境で開発しているのかファイルで確認でき、バージョン管理も容易 PCにRubyやらRubocopやら各種CLIやらをいれる必要がなくなる プロジェクトごとに言語等のバージョンを切り替える必要がなくなる VSCode Remote Containerを合わせて使うメリット 開発環境をDockerで作っていても、構文チェックや補完が効く ローカルで開発すると

はじめに この記事は Visual Studio Code アドベントカレンダー 2021 の記事です。タイトル通り VSCode の拡張機能の一つ Remote Containers を使って Docker コンテナの中で VSCode を開くまでの流れと、私が実際に使っている設定を紹介します。 Remote Containers に出会うまで 私は新し物好きなので新しいプログラミング言語/フレームワーク/ライブラリで気になったものがあるととりあえずローカル PC にインストールすることが多いです。触ってみたものをそのままガッツリ使い続けることもなくはないですが、Hello World 止まりのものも多いです。 また私は整理整頓が苦手で面倒くさがりだったりもします。きちんとバージョン管理しないといけないとわかっていながら、面倒に思ってグローバル空間にライブラリをインストールしてしまうこと

春田です。 Airflowを活用したプロジェクトに携わる事になったのですが今回初めて触れる形となるため、まずはAirflowに関する概要を勉強しながらまとめてみました。 Airflowとは The Airflow Platform is a tool for describing, executing, and monitoring workflows. Airflowは、ワークフロー（例えば、A B Cという３つのタスクがあった時、これらをいつどの順番で実行するか）を記述、実行、監視するためのツールです。 このAirflowは DAG (Directed Acyclic Graph: 有向非巡回グラフ) というグラフ理論がベースになっています。私自身、グラフ理論にあまり精通していないのため、自分でも理解できるように噛み砕いた言葉で説明していきます。 DAG (Directed Acycl

Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 以下、バージョンは本記事公開時の最新 1.10.2 です。 インストール インストールが失敗するのですが？ 普通に pip install apache-airflow とすると以下のエラーで失敗します。 RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECOD

Docker社とAWSがコラボレーションするという驚きとともに、新しくdockerコマンドに組み込まれたdocker ecsの使い心地を試してみました。 「docker ecsコマンド？なにこれ？」 先日、突如、DockerのECSインテグレーションなるものが発表されました！ AWS and Docker collaborate to simplify the developer experience | Containers 従来あるdockerコマンドに、なんとdocker ecsコマンドが追加され、docker-composeファイルを利用したECSへのデプロイがAWS CLIなどのAWS製ツールを使わずに、全てdockerコマンドだけで完結するという、ちょっと想像がつかないアップデートです。 まだDocker社ではベータ版の扱いということですが、なかなかにおもしろいアプローチだった

※ 追記 結構ちょこちょこブクマしてもらっているので意外と需要あるのかな。 もし、記事見て分からないところあったら Twitterなり気軽に質問してもらって大丈夫です！！ 社内でインフラエンジニア増やしたいなと思ってECSの概念を理解してもらおうと思って書いたやつです。 問題を間に挟みつつ理解の手助けになればいいなと思ってます。 今更ですがDockerとは？ 分かってる人はもううんざりかもしれませんが、一応復習。ECSの概念を理解するのに必要なコンテナを起動すると何が起きてるのかを再確認します。 普通の仮想サーバー 普通の仮想サーバーの場合は、sshでログインして、yumみたいなパッケージ管理システムでinstall、サービスをデーモンでバックグラウンドで起動しておくという感じですね。 Dockerの場合 Dockerはコンテナという単位で何かのプロセスを起動する仕組みです。基本的には、1

美容メディアのARINEでサーバーサイドの開発を行なっているエンジニアのたばたです。 最近ARINEで使っているバッチ処理の一部をApache Airflow + AWS Fargateに移行したので、それについて紹介します。 背景 ARINEではバックエンドのフレームワークとしてRuby on Railsを採用しています。定期的に実行するバッチ処理はバッチサーバーでRakeタスクをcronに設定して処理しています。 バッチ処理はRakeタスクとして実行されることが多かったのですが、機械学習周りの処理（関連する記事の計算や、オススメのユーザーなど）を行う場合は、処理をPythonで記述しコンテナにしてECSのスケジュールタスクとして実行していました。異なる2つ環境でバッチが実行されるため、その2つの間で依存関係がある場合は実行タイミングを調整して処理を動かしてました。 依存を時間で調節して

データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。 少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatenablog.jp コード サンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。 つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン

Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi

こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 これは エムスリー Advent Calendar 2020 の19日目の記事です。 エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTubeでもご覧いただけます。公式テックチャンネルのご登録、ぜひお願いします!） www.youtube.com これに関連して私のチームでも最近「データ基盤（Digdag + Embulk）のクラウド移行」を行ったため、そのときに考えたことや移行して良かったことを共有したいと思います。 エムスリーのデータ基盤について それまでの構成 クラウド環境でのアーキテクチャ DigdagとEmbulkの分離 Digdag on AWSからBigQueryを操作する 併

こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存関係からなるワークフローを定義し、そのワークフローの実行及び管理を行います。 この説明だけですと、何が便利なのかいまいちピンとこない方が多いかと思います。 ですが、かゆいところに手が届く便利ソフトウェアです。 具体的なかゆいところの紹介は以前にDigdagを紹介した記事の前半部分に書かれています。 Digdagを使用したことのない方はこちらを読んでから本記事を読み進めると理解しやすいかと思います。 tech.starttoday-tech.com さて、前回の記事で

こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ、課題を解決！〜VASILY DEVELOPERS BLOGが公開されました〜 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database

※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい

そもそも公式Docker・Docker Compose Airflow公式が提供しているDockerイメージと、Docker Compose（と関連スクリプト）があり、Airflow（と関連コンポーネント）をコンテナで起動することが出来ます。 （後述しますが、公式以外のイメージもあります） Docker・Docker Composeにより、 Airflow本体（Webserver、Scheduler、Worker） Flower PostgreSQL（Airflowのメタデータデータベース） Redis（Airflowのキュー） が起動されます。 使ってみる インストール 公式ページに手順が記載されているので、それに従うだけです。 サービスが使うポート（WebServerが8080ポート、PostgreSQLが5437、Redisが6379）を、他のコンテナ・ローカルのプロセスが使っていな

※本稿はテックブログからの転載です。 こんにちは。JDSCエンジニアリングメンバーの秋山です。 前回の記事では、 Cloud Composer を利用していくことの辛さと、 「一旦、Cloud Composer ではなく、Aiflow そのもので開発/運用していく」 といった、フローのご紹介をいたしました。(これだと、 Cloud Composer の辛さに負けているように見える…) 今回は、そんな脱 Composer 開発の一歩として、各個人が GCP サービスにアクセスできる ローカルのAirflow コンテナの導入 のやり方についてご紹介いたします。 前提・docker-compose が利用できること ・開発者は GCP の適切なサービスが利用できる権限であること Airflow コンテナの導入まず、フォルダ構成は以下のようになっております。 |--.env |--Dockerfi

概要 サービスレベルをいかに設計し、いかに運用するか。自分なりの考えの整理です。 尋常ではない長さになりました。随時アップデートします。たぶん。 ウェブオペレーション ―サイト運用管理の実践テクニック (THEORY/IN/PRACTICE) 作者: John Allspaw,Jesse Robbins,角征典出版社/メーカー: オライリージャパン発売日: 2011/05/14メディア: 大型本購入: 10人 クリック: 923回この商品を含むブログ (50件) を見る もくじ 概要 もくじ SLAとは何か 関係者が同じ目線を持つためのもの 火の一ヶ月間を経て…… SLAは契約ではなく、目標の合意に過ぎない SLA：設計のプラクティス サービスのレベルを設計する 機能観点でのレベル分け コア機能を定義する 非機能観点でのレベル分け オペレーションのレベルを設計する 対応速度のレベル分け 3

ランサーズ Advent Calendar 2020 24日目の記事です。 昨日は まなみん さんの 「思考発話法でUXリサーチをしてみた話」 でした。 概要 社員ではなく、1人のフリーランス人材（ランサー）として、ランサーズ社を手伝っています。 「こんなことをやってきたよ！」という話を、書ける範囲で書きます。 CRM（顧客管理）x データ活用 の案件を主に担当しています。 注意 本稿は筆者個人の見解に基づく内容であり、関係組織を代表するものではありません。 不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものです。 どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 もくじ 概要 注意 もくじ きっかけ 案件1:顧客セグメント可視化 案件2:社内システム改善 案件3:オープンデータ活用 その他:データプラットフォームのメンテナンス性向上 意識している

本稿は、コンテンツの保存を目的として、2018年8月10日にR-Techブログに寄稿した記事を転記し、一部表現を修正したものです。 https://blog.recruit.co.jp/rtc/2018/08/10/developers_summit_summer2018/ 本稿の筆者は DataKitchen の記事でも紹介されており、事実上「日本におけるDataOpsの第一人者」だと自認しています。 https://medium.com/data-ops/dataops-goes-global-9d6e67dcaf30 本稿の内容は筆者の個人的な見解であり、当時の所属を代表するものではありません。 また、DataOpsという用語についてグローバルスタンダードの定義を説明したものでもありません。 本稿の内容を参考にして「DataOpsとは何か」を業務で説明する場合、一般論ではなく「この記

セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思います。 PyCon JP 2017でベストトークアワード優秀賞を受賞した発表（構築編）の続き（運用編）をチラ見せです。 データ基盤は使われてこそ意味がある 世の流れは「やってみた」から「価値創出・運用」志向に推移しています（例：DataOps、機械学習工学、MLOps） 「俺の考えた最強のダッシュボード」では1週間で誰も見なくなります データの民主化 事務スタッフ（非エンジニア）がBigQueryを叩いています！すごい浸透！ チームごとの民主化状況をモニタリングして必要なアクションを実施しています 民主化には3つの壁があることが

じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事評価の設定例 1. マイルストーン（計画） 2. QCDS（構築） 3. サービスレベル（運用） 4. 利益目標（企画） まとめ Appendix 前提1: 本稿のスコープ ＝ 査定でボーナスが上下するような状況 前提2: 被評価者がコントロールできない事象に対してはフォローする 応用編1: 「データ基盤」という固有トピックにおける技術や案件の評価について 応用編2: 「データの民主化」の目標設定をどうするか おわりに 背景 データエンジニアリング業務に伴う「人事」（採用・アサイン・育成・評価）について質問を受けることが

この記事は eureka Advent Calendar 2018 11日目の記事です。 どうも、みなさん、おはこんばんにちは。 エウレカBIチームで、データ基盤をコソコソ作っているsotaroです。 今年一番みて良かったアニメは『ヴァイオレット・エヴァーガーデン』と『ゆるキャン△』です。一番といったのに二つ選んですみません。キャンプしたいです。 私は、主にPairsのデータを分析したり、分析するためのデータを作ったり整えたりするお仕事をしています。 特に最近では、Pairsのデータ基盤を刷新するプロジェクトに注力しており、今日はそのプロジェクトの中で最近導入&試験運用を始めたGCPのマネージドAirflow、Cloud Composerについてご紹介します。 なぜCloud Composerを使うことにしたのか？本題に入る前に、まずは「なぜ？何を？」などの外堀を埋めていきたいと思います。

はじめに せっかくの連休なので新しいこと勉強してみたいと思い、reInvent2018にて色々なところで名前が出てきた「Airflow」について触れていきます！ なかなかイケてるという噂なので、「Airflowとは何か」から「EC2での導入」「簡単な操作方法 」までこの記事ではまとめてみようと思います。 最近CI/CD周りに興味があるので勉強して業務に活かせるか検討したいと思います。 -----12/19 追記------ Airflow関連の記事も増えてきたのでリンクしておきます。 Airflowでモデルの学習からデプロイまでをやってみた Airflowをここ３ヶ月触ってみた Airflow - データパイプラインのスケジュールと監視をプログラムしてみた What's Airflow ? Airflow is a platform to programmatically author,