GitHub - iczelia/bzip3: A better and stronger spiritual successor to BZip2.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
パイプラインツールgokartのキャッシュ競合を解消した話 - エムスリーテックブログ
はじめに エムスリーエンジニアリンググループ AIチームの池嶋です。はじめてのテックブログ投稿です。 AIチームでは機械学習プロジェクトのデータパイプライン構築にgokartというツールを使用しています。今回はこのgokartで発生していたキャッシュ競合を解消した話について紹介します。 gokart gokartとは gokartというのはAIチームが中心に開発しているデータパイプライン構築のためのツールで、Spotify社の開発するパイプラインツールluigiのwrapperです。S3やGCSといったクラウドストレージとのデータ入出力をサポートしたり、中間ファイルをキャッシュとして保存することで実験を再現をしやすくしたりします。当ブログでは過去にも機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ などで紹介されています。 Git
GitHub - m3dev/gokart: Gokart solves reproducibility, task dependencies, constraints of good code, and ease of use for Machine Learning Pipeline.
Here are some good things about gokart. The following meta data for each Task is stored separately in a pkl file with hash value task output data imported all module versions task processing time random seed in task displayed log all parameters set as class variables in the task Automatically rerun the pipeline if parameters of Tasks are changed. Support GCS and S3 as a data store for intermediate
GitHub - CatchTheTornado/askql: AskQL is a query language that can express any data request
AskQL is the next step after GraphQL and Serverless. With AskQL developers can attach scripts to queries that are executed serverside. The AskQL parser accepts the GraphQL query format so there's no learning curve. Because the scripts are executed serverside and the results can be cached it's great for Web Vitals and app performance. Think of it as a programmable GraphQL. Read a great articly on A
Improving GitHub for science
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - CondensationDS/Condensation: Condensation is an open-source data system for building cloud applications while keeping the ownership of data.
