scikit-learnで機械学習パイプラインをインタラクティブに描画、HTML保存する方法 - Qiita
本記事では、scikit-learnのv0.23から搭載された、インタラクティブなパイプライン確認の実装、そしてそれをHTML化して保存、活用する方法を解説します。 環境 scikit-learn==0.23.2 Google Colaboratory 本記事の実装コードはこちらに置いています https://github.com/YutaroOgawa/Qiita/tree/master/sklearn 実装 [1] バージョン更新 まず、Google Colaboratoryのscikit-learnのバージョンが2020年9月ではv0.22なので、v0.23へと更新します。 !pip install scikit-learn==0.23.2 pipで更新したあとは、Google Colaboratoryの「ランタイム」→「ランタイムを再起動」を実行し、 ランタイムを再起動します。 （
パイプライン演算子の歴史 - まめめも
(You can read this article in English.) Ruby の開発版にパイプライン演算子（pipeline operator）が試験的に導入されましたが、いろいろあってプチ炎上になっています（チケット）。 せっかくの機会なので、パイプライン演算子の歴史を調べてみました。付け焼き刃の調査なので、間違ってたら教えてください。 パイプライン演算子とは こんな感じのものです。 x |> f |> g |> h # h(g(f(x))) と同じ意味 h(g(f(x))) という関数適用の式は、関数が呼ばれる順序（f→g→h）と、プログラムの字面上の順序（h→g→f）が逆でわかりにくいとされます。この問題は、特に、関数が大きくなったときに顕著になります。 wonderful_process_h( marvelous_process_g( fantastic_process
MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita
表1(翻訳者により追加) MLOpsにおいて、DevOpsから追加された項目 以下では，予測サービスとして機能するMLモデルのトレーニングと評価の代表的な手順を説明します． MLのためのデータサイエンスの手順 どのMLプロジェクトでも、ビジネスユースケースを定義して成功基準を確立した後、 MLモデルを本番環境にデリバリする過程には次の手順が含まれます。 これらの手順は手動で完了することも、自動パイプラインで完了することもできます。 データ抽出： MLタスクのさまざまなデータソースから関連データを選択して統合します。 データ分析： 探索的データ分析 （EDA） を 実行して、MLモデルの構築に使用可能なデータを把握します。 このプロセスにより、次のことが起こります。 モデルが期待するデータスキーマと特性を理解します。 モデルに必要なデータの準備と特徴量エンジニアリングを特定します。 データの
データパイプラインに関する知見をカジュアルに語る！ Data Pipeline Casual Talkに参加してきた #DPCT | DevelopersIO
昨日(2019年02月13日(水))、下記のイベント(勉強会)に参加してきました。データ分析基盤、また機械学習基盤にとって、要望を満たすデータを整形、準備する『パイプライン』の存在は必要不可欠です。そんな題材をテーマにした勉強会の内容をレポートしたいと思います。 Data Pipeline Casual Talk - connpass 目次 参加レポート 開会の挨拶＆会場説明 Talk1: 機械学習におけるデータ管理 Talk2: 丘サーファーへ水を届けよ！〜みんながデータを使えるようにするまでの日々の挑戦(苦悩)〜 Talk3: データ基盤の3分類と進化的データモデリング Talk4: データ基盤を「育てる」という考え方とそれを支える技術 Talk5: リブセンスのデータ分析基盤を支えるAirflow まとめ 参加レポート 開会の挨拶＆会場説明 Data Pipeline Talkの趣旨
Scientific Data Analysis Pipelines and Reproducibility
Photo by Campaign Creators on UnsplashWhat do pipelines do? Why do we need them?Pipelines are computational tools of convenience. Data analysis usually requires data acquisition, quality check, clean up, exploratory analysis and hypothesis driven analysis. Pipelines can automate these steps. They process raw data to a suitable format and analyze it with statistical tools or machine learning models
MLストリームパイプライン・プラットフォーム - dely engineering blog
こんにちは、機械学習エンジニアの辻です。 先日、SageMakerの活用事例で登壇させて頂きました。 machinelearningnighttokyo20181.splashthat.com 機械学習で一番時間の掛かる作業といえば、やはり前処理ですよね。データレイクからデータを取得して、必要に応じて様々なデータストアからデータをかき集めて、加工して、また別のデータストアに入れてと。。。 大量のデータをあっちにやったりこっちにやったりして、もう一体最初は何がしたかったのかさっぱりわからなくなってしまうことがあります。 それに加えて、機械学習では、学習したモデルに対して推論しなければなりませんが、またこの推論結果が必ずしも決定的ではないという課題も含んでいます。 この、決定的ではないとはどういうことでしょうか？ 動作が予測可能なもの、つまり、入力したものに対して、常に同じ経路で計算を行い、同
OpenShiftのPipelineビルドで利用するイメージをカスタマイズする - nekop's blog
OpenShift 全部俺 Advent Calendar 2017 Google Home買いました。日本語設定でいろいろやってみて、3歳児が「おーけーぐるぐる、てべりをちゅけてください、おねがいします！」と話しかけてるのを一通り楽しんでから英語設定にスイッチして使ってます。これで子供が英語覚えたりするかな。まぁしないだろうな。 前回Jenkins PipelineジョブをSlaveとなる別のPodで実行しました。今回はこのslave podをカスタマイズしてみましょう。ドキュメントは以下のURLです。 https://docs.openshift.org/3.11/using_images/other_images/jenkins.html https://github.com/jenkinsci/kubernetes-plugin config.xmlにデフォルトの定義mavenとn
Pipeline Operatorがstage-1へ - 技術探し
github.com 先月のTC39のMTGでstage-1になりました。 F#, OCaml, Elixir, Elm, Julia, Hack, LiveScriptなどと似たような機能を提供します。 function doubleSay (str) { return str + ", " + str; } function capitalize (str) { return str[0].toUpperCase() + str.substring(1); } function exclaim (str) { return str + '!'; } let result = exclaim(capitalize(doubleSay("hello"))); // "Hello, hello!" let result = "hello" |> doubleSay // ここの引数が `he
GitHub - pditommaso/awesome-pipeline: A curated list of awesome pipeline toolkits inspired by Awesome Sysadmin
ActionChain - A workflow system for simple linear success/failure workflows. Adage - Small package to describe workflows that are not completely known at definition time. AiiDA - workflow manager with a strong focus on provenance, performance and extensibility. Airflow - Python-based workflow system created by AirBnb. Anduril - Component-based workflow framework for scientific data analysis. Antha
Jenkins PipelineでYamlを設定ファイルとして使う方法 - Qiita
Jenkins PipelineのJenkinsfileを作っていて、設定ファイル(Gradleでいう、gradle.propertiesのような感じ)が欲しいと思う時があります。今回はYamlファイルをJnekinsfileから読み込んで設定ファイルとして使う方法をご紹介します。 1. Pipeline Utility Steps Pluginをインストール Jenkinsで様々な形式のファイルが簡単に読み込めるようになるプラグインです。Yamlファイルの読み込みに使います。Jenkins初期設定時のSuggested Pluginには入っていないので、自分でインストールしましょう。 2. config.ymlを作成 プロジェクト直下（Jenkinsfileと同じ場所）にconfig.ymlを作ります。
Jenkins Pipeline メモ - Qiita
def allocateNode（） { node { echo env.WORKSPACE } } parallel a: { allocateNode() }, b: { allocateNode() } [Pipeline] parallel [Pipeline] [a] { (Branch: a) [Pipeline] [b] { (Branch: b) [Pipeline] [a] node [Pipeline] [b] node [a] Running on master in /var/lib/jenkins/jobs/pipeline-test/workspace [Pipeline] [a] { [b] Running on master in /var/lib/jenkins/jobs/pipeline-test/workspace@2 [Pipeline] [a] e
Declarative PipelineでJenkinsfileを書いてみた(Checkstyle,Findbugs,PMD,CPDとか) - Qiita
のように書くDeclarative Pipelineという記法が導入されて、 そっちのほうがシンプルでわかりやすく書けるよ!ということだったので書き直してみました。 確かにすっきりしたし（特に最後のメールおくるとことか、デプロイするとことか）、 いざとなったら従来のScripted Pipelinesもミックスできるのでいい感じです。 追加したプラグイン Jenkins初期設定時のSuggested Pluginに入っていないもの Checkstyle Plugin（v3.47） - Checkstyeの結果収集用 FindBugs Plugin（v4.69） - Findbugsのレポート生成用 PMD Plugin（v3.46） - PMDのレポート生成用 DRY Plugin（v2.46） - CPD(重複コードチェック)のレポート生成用 Step Counter Plugin（v2
Jenkinsfileによるジョブ管理のメリットと実例 - GeekFactory
ジョブの設定をJenkinsfileで管理し始めてから3か月ぐらい経ったので、知見をまとめてみます。 Jenkinsfileを使うメリット Jenkinsの画面でジョブを管理していると以下のような問題が起きることが多いと思います。 誰かが勝手にJenkinsの設定を変更して動かなくなった ジョブ設定を別リポジトリに横展開したいけど、ポチポチ設定するのが面倒 JenkinsfileをGitで管理することで、以下のメリットがあります。 いつ、誰が、なぜジョブ設定を変更したのか後から調べられる Pull Requestでジョブ設定の変更をレビューできる ブランチを使ってジョブ設定を試行錯誤しやすい Jenkinsの運用ポリシー 前項のメリットを実現するには、Jenkinsを以下のポリシーで運用することが望ましいでしょう。 Jenkinsの設定は最小限に抑える なるべく画面からジョブ設定を変更せず
最新の技術はこれだ！Technology Radarによる技術トレンド調査 - オールアバウトTech Blog
@takkyです。 前回の記事で@yamatoが社内勉強会についての記事を執筆していました。 allabout-tech.hatenablog.com 今回は勉強会の1つであるTeam TechRaderで、TECHNOLOGY RADAR NOV'16の共有会を行ったので、 結果を報告したいと思います。 TECHNOLOGY RADARとは www.thoughtworks.com TECHNOLOGY RADERとはThoughtWorks社が発表している技術トレンド分析の調査結果になります。 年1-2回発表しており、2016年は4月と11月に発表されました。 ユニークな点は、技術トレンドの分析を Techniques(開発手法) / Tools(ツール) / Platforms (プラットフォーム) / Languages & Frameworks(言語とフレームワーク) の4分野に
Jenkins Pipeline の１１個のベスト・プラクティス - Qiita
1.公式のJenkins Pipeline Pluginを使用する 類似のもの（Build Pipeline plugin or Buildflow plugin）ではなく、公式のものを使用する。 公式のPipelline Pluginは日々改善している Jenkinsのマスターノードが再起動したとしても継続する機能を提供済みで、他のプラグインの機能を代替する機能を提供する予定。 2.Pipeline as Codeにする JenkinsFileをバージョン管理システムに登録することで、他のソフトウェアと同様のバージョン管理とテストができる。 Pipelineスクリプトのデフォルト名はJenkinsFile。 IDE,GitHubにgroovyと認識され、コード補完、コードハイライトなどが効くように、スクリプトの始めに以下を追加する。
Jenkins pipelineコマンドメモ - Qiita
Jenkinsのパイプラインを試してみた。 結果、下記の点がクリアできなかったため、実際の採用は見送ることにしたが、新たに追加されたpipelineビューはタスクの中のステージごとに進捗状況や要した時間が見れるため、魅力的な点もある。また、freestyleでかかれた他のタスクを呼び出すこともできるので、freestyleとpipelineを組み合わせて使うことも可能であることが分かった。 ここでは、調査の際にわかった使えそうなコマンドを備忘録として残しておく。 ちなみに、採用を見送ったのは下記の理由から。（これらが解決すれば、再度採用を検討したい） workspaceがタスクから見えなくなる。 gitの更新内容が、gitツール(gitlabを利用）から見える設定ができない。 Jenkinsに作成済みのJOBを順次実行する Jenkinsに登録済みの他のJobを呼び出すコマンド。この書き方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Home
PiGx: reproducible genomics analysis pipelines with GNU Guix
GitHub - NCBI-Hackathons/SPeW: Automatic Packaging and Distribution of Bioinformatics Pipelines
Deployment Pipeline in the Real World - DevOps.com