Dataflow Indexer データ整合性担保と性能改善 - LegalOn Technologies Engineering Blog
はじめに こんにちは。LegalOn Technologies 検索・推薦チームの臼井（jusui）です。 私たちのチームは、LegalOn Technologies が提供する主要サービス—「LegalOn Cloud」、「LegalForce」、「LegalForceキャビネ」—の検索・推薦システムの開発と運用を担当しています。 2024年7月に当チームから「Dataflow 実践開発セットアップ」を公開しました。 tech.legalforce.co.jp 今回は、2024年4月から提供開始した弊社の新サービス「LegalOn Cloud」の初回リリースに向けて開発した Indexing pipeline とその後の改善についてご紹介します。具体的には、Cloud Pub/Sub と Cloud Dataflow を活用した Indexing pipeline の開発により、Elas
MarkdownベースのGo製タスクランナー「xc」のススメ
Goにおけるタスクランナーの歴史 npmならnpm run、denoならdeno taskなど言語ツールにタスクランナー機能が付属していることがありますが、Goではそのような機能は提供されていません。 そこでGoのプロジェクトではMakefileがタスクランナーとして用いられることがしばしばありますが、独自の文法、.PHONYを大量に書く必要がある、Makefile警察が飛んでくる、などの問題があります。 Makefile警察「ぐぬぬぬ…」 #taskfile - Qiita タスクランナーとしてMakefileを使うことから脱却すべく、巷ではYAMLベースの「Task」やGoベースの「Mage」が用いられている印象です。 どちらも多少試したことはありますが、主に以下の点が気になりました。 Taskfile.ymlやmagefile.goといったツール独自のファイルを置く必要がある これは
ワークフローオーケストレーション入門
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
バッチ処理 プラクティス
バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。
The problem with Git flow
The problem with Git flow Learn why Git flow complicates the lifecycle and discover an alternative to streamline development. Sometimes, you can have too much of a good thing. That’s certainly true with Git flow, a well-known software development workflow that offers several options but can bog down users. We developed GitLab Flow as the solution to eliminate messy complexity and streamline the de
KNIME Workflowによる実験データ処理について〈前編：データの読み込みについて〉 - t_kahi’s blog
こんばんは，@PKです. 今日はKNIMEを用いた実験データ処理について，紹介したいと思います． はじめに KNIME workflowの概要 データ読み込みについて 最後に はじめに 実はこれまで，自身もKNIMEを使ってデータ解析をすることは多くはありませんでした． スクリーニングのデータならともかく，毎日異なる実験（核酸実験や，タンパク質発現，ハイコンテントアナリシス等）をする場合は，どうしても慣れ親しんだEXCELを使ってしまいます． 以下に自分の例ですが，実験の流れを示しています． まず，実験の目的（仮説立案）から実験デザインを考えて，実験を行います．そして得られたデータを加工して，最終的にグラフや統計的な処理を行い，結果を解釈できるようにします． 最近KNIMEの操作に慣れてきたこともあり，実験データがcsvやexcel形式で数値として出力されるものについては，データの加工部分
Guix-HPC — Creating a reproducible workflow with CWL
Reproducible software deployment for high-performance computing. In the quest for truly reproducible workflows I set out to create an example of a reproducible workflow using GNU Guix, IPFS, and CWL. GNU Guix provides content-addressable, reproducible, and verifiable software deployment. IPFS provides content-addressable storage, and CWL describes workflows that can run on specifically supported b
Welcome to Snakemake’s documentation! — Snakemake 4.3.0 documentation
The Snakemake workflow management system is a tool to create reproducible and scalable data analyses. Workflows are described via a human readable, Python based language. They can be seamlessly scaled to server, cluster, grid and cloud environments, without the need to modify the workflow definition. Finally, Snakemake workflows can entail a description of required software, which will be automati
GitHub - pditommaso/awesome-pipeline: A curated list of awesome pipeline toolkits inspired by Awesome Sysadmin
ActionChain - A workflow system for simple linear success/failure workflows. Adage - Small package to describe workflows that are not completely known at definition time. AiiDA - workflow manager with a strong focus on provenance, performance and extensibility. Airflow - Python-based workflow system created by AirBnb. Anduril - Component-based workflow framework for scientific data analysis. Antha
Workflow Engines Meetup #1 に参加してきた #wfemeetup - 試纏
Workflow Engines Meetup #1 - connpass 2017/03/09 Workflow Engines Meetup #1 #wfemeetup - Togetterまとめ ビッグデータ基盤周りの業務に携わっている者にとって『ワークフローエンジン』は非常に重要な位置を占める"関心事"です。OSSから商用のものまでこの分野のツールやプロダクトは数多く存在し、多かれ少なかれ皆さん苦労しながらもそれぞれの利用ノウハウを蓄積している状況の様です。そんな中、そのものズバリの勉強会が企画されていたので速攻で申し込み、この日参加してきました。 イントロ セッション内容 Digdag：Digdagの特徴とQuick Start Jenkins：Jenkins 2.0 Pipeline & Blue Ocean Luigi：Luigiを使っている話 Azkaban：Azkaban
WorkFlowEngine Digdagの導入
チームの成長を促すためのスプリントレトロスペクティブの活用法 / How to use sprint retrospectives to promote team growth
初心者が先輩からもらったワークフローに関する超初級フィードバックまとめ（IP） - Qiita
プロジェクトのルールや規則はチームによって異なると思いますが、ここでは入門者がプロジェクトに関わっていく上でもらった超初級なフィードバックを備忘録としてまとめておきたいと思います。随時更新予定です。 ワークフロー全般に関するフィードバック プルリクをするときは必ずUpdate from masterをする。（2016/12/26 Mon） プルリク前にPC/SP(iphone5 , 6 , 6plus)それぞれの環境で正しく動作しているか確認すること（2016/12/26 Mon） ブランチの命名規則を覚える（2016/12/26 Mon） プルリクをするときは必ずUpdate from masterをする。 自分がコードを書いてる間に他の人もコードを書いてアップデートしているから、それを自分のソースコードにも反映してプルリクをすること。最悪の場合、そのままmasterにsyncしてdep
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/zx: A tool for writing better scripts
Slackのワークフロービルダーでコードレビュー依頼の機能を作る｜アマガミナブログ
Prefect is Open-Source! 🎉
Boolean Biotech
Robust Cross-Platform Workflows: How Technical and Scientific Communities Collaborate to Develop, Test and Share Best Practices for Data Analysis - Data Science and Engineering
2017-11-03 Scientific Workflow systems
GitHub - ga4gh/workflow-execution-service-schemas: The WES API is a standard way to run and manage portable workflows.
Triglav - Data Driven Workflow Tool
