2019年7月22日のJAWS-UG アーキテクチャ専門支部での発表資料です。 引き続き、議論・更新していきたいと思います。 (運用設計ラボ合同会社 波田野裕一)
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
CI/CDの原則とデザインパターン (整理会)/20190722-jaws-ug-arch-pipeline-principle
2019年7月22日のJAWS-UG アーキテクチャ専門支部での発表資料です。 引き続き、議論・更新していきたいと思います。 (運用設計ラボ合同会社 波田野裕一)
【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します
―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang：私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私
【CICD2021】デプロイメントパイプラインの原理原則を再確認する / Confirm Deployment Pipeline Principle
【CICD2021】デプロイメントパイプラインの原理原則を再確認する / Confirm Deployment Pipeline Principle
GitHub - adobe/frontend-regression-validator: Visual regression tool used to compare baseline and updated instances of a website in a deployment pipeline.
FRED is an opensource visual regression tool used to compare two instances of a website. FRED is responsible for automatic visual regression testing, with the purpose of ensuring that functionality is not broken by comparing a current(baseline) and an updated version of a website. FRED compares the following: Console and network logs Visual: screenshot analysis Visual AI: screenshot analysis using
IoT と時系列データと Elasticsearch | Data Pipeline Casual Talk Vol.4
IoT と時系列データと Elasticsearch Data Pipeline Casual Talk Vol.4 株式会社ソラコム ソリューションアーキテクト 今井 雄太Read less
TypeScriptで関数型プログラミングしたい勢に推したいPipeline operatorの良さ - タオルケット体操
前置き Rubyで一瞬だけ湧いて出てきて消えたPipeline風演算子については忘れてください。あれはメソッド呼び出しの演算子であって今回取り上げるPipeline operatorとは似て非なるものです。 JavaScripterでも、Ramda.jsやRxJSを普段から使っている人には既知の内容だと思うのでこの記事は読まなくて大丈夫です。 ちなみに僕のステータスは関数型にわか勢なので認識に間違いがあったらなんらかの訂正もらえるとうれしいです。 Pipeline operatorとは 古くはML系の言語で定義されてF#やElixirの流行で一般に有名になった演算子こと |> です。 f a を a |> f と書けるようになります。 詳しくはこちらで: https://mametter.hatenablog.com/entry/2019/06/15/192311 覚えた方がいい理由 Ty
Hugging Face Pipelineを使ったお手軽AIプログラミング | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 Hugging Faceってご存じですか？ AIを使用したプログラム・スクリプトを作る際、ゼロから起こす場合は以下のような部分を作り込んだり、Githubなどのリポジトリサイトからソースを入手したりする必要があったりします。 AIモデル トレーニングのためのロジック 評価・テストのためのロジック データローダ トレーニング・評価データを読み込むためのフォーマット、読み込み処理・変換処理など チェックポイントの書き出し Hugging Faceというサイトは、学習済みモデルやデータセッ
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineXPythonワークフローデータサイエンスPipelineETL この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード（独立したPythonモジュール）でDAGを定義します。 （オプションとして、非公式の dag-factory 等を使用して、YAML
こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その周辺ライブラリとなる「cookiecutter-gokart」「thunderbolt」「redshells」について紹介したいと思います。よろしくお願いします。 はじめに Pipeline化のメリット・デメリット Pipeline化のメリット Pipeline化のデメリット gokart 共通化のための出力ファイル形式の制約と拡張 強力かつ簡易な再現性のためのデータ保持 クラウドサービスやSlack通知のサポート gokartのメリット、デメリ
GitHub - cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub | Amazon Web Services
AWS Security Blog How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub In this post, I’ll show you how to build a continuous integration and continuous delivery (CI/CD) pipeline using AWS Developer Tools, as well as Aqua Security‘s open source container vulnerability scanner, Trivy. You’ll build two Docker images, one with vulnerabilities and one witho
ATT&CK-like Threat Matrix for CI/CD Pipeline on GitHub: https://github.com/rung/threat-matrix-cicd -------- Place: CODE BLUE 2021 OpenTalks at Tokyo Presenter: Hiroki SUEZAWA (https://www.suezawa.net) Abstract: With the popularization of Dev(Sec)Ops, the CI/CD (Continuous Integration and Delivery) environment is becoming more and more common in modern application development and infrastructure man
KARTEにおけるフロントエンドと連携させたKubeflow Pipelineの活用方法について解説します
レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例｜Mercari Analytics Blog
Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業
はじめに Bengali.AI Handwritten Grapheme ClassificationというKaggleの画像コンペに参加しました． ベンガル語の書記素(grapheme)が1つ描かれた画像から，その書記素がどのようなクラスに属するかを分類する問題設定で，簡単に言えば少し難しいmnistです． 順位が察し*1だったので解法については差し控えますが，円滑にモデルを生成するためにPipelineを組みました． 「せっかくだから次回以降のコンペでも使えるように抽象的に書こう！！」というモチベーションのもと生まれたスパゲッティ🍝は以下の通りです． github.com この記事では，自戒を込めて，Kaggle用途にPipelineを作成して得られた知見をまとめます． また使用FrameworkがPyTorchなので，一部PyTorchにしか当てはまらないことがあります． あくまで
The Legends of Runeterra CI/CD Pipeline Hi, I’m Guy Kisel, and I’m a software engineer on Legends of Runeterra’s Production Engineering: Shared Tools, Automation, and Build team (PE:STAB for short). My team is responsible for solving cross-team shared client technology issues and increasing development efficiency. We focus on the areas that empower other teams to do more and protect the team from
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
Unity の Universal Render Pipeline のレンダリング周りについて勉強してみた - 凹みTips
はじめに 以前、Lightweight Render Pipeline（LWRP）と呼ばれていたパイプラインが 2019.3（SRP 7.0.0）から、Universal Render Pipeline（UniversalRP / URP）と改名されました。 blogs.unity3d.com 私は LWRP 含む SRP をあまり調べていなかったのですが、配布しているライブラリの LWRP 対応要望もちらほら聞こえてきましたので、詳しく調べてみることにしました。が、いきなり体系的にまとめるのは自分も分かっていない点が多くかなり大変...なので、プロジェクトを作成し、以前のビルトインのパイプラインから変わったところ等を適当な順番で色々見ていくことにしました。本記事ではレンダリング回り（パイプラインやシェーダの変更点）について調べます（シェーダグラフは本記事では触れません）。URP そのもの
Flinkによるデータプラットフォーム構築の裏話。Ingestion Pipelineの再設計とオートスケーリング
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社およびヤフー株式会社は、2022年11月17日・18日の2日間にわたり、技術カンファレンス「Tech-Verse 2022」をオンライン（ライブストリーミング形式）にて開催しました。特別連載企画「Tech-Verse 2022 アフターインタビュー」では、発表内容をさらに深掘りし、発表で触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「Flink@Data Platform - Ingestion Pipelineの再設計とオートスケーリング」です。 LINEのData Platform室では、Apache Flinkによるストリーミング処理パイプラインを開発・運用してい
sbt 1.4からのpipeline機能を試したら3割compile時間短縮された - xuwei-k's blog
3割というのは、もちろんprojectの構成だったり、計測方法やその他色々によるわけですが、とにかく自分が計測した場合には3割短縮されました。114秒が80秒になりました。 pipeline機能自体の説明は最後に書きます。先に、測定方法や具体的な結果。 測定方法 travis-ci上で、他の条件を同じにして clean update test:compile を(50分制約でtimeoutするまで)ひたすら繰り返して test:compile にかかった時間(sbtが [success] 表示する)を計測、集計する JVMの暖まりを考慮して 上記のサイクルを繰り返すにあたって、sbtは起動させたまま 最初は遅くなるので、ある程度遅かった最初の8つは除いて、それ以外で平均や中央値を計算 測定に使ったのは、このblog書いてる時点でのscalazの最新master branch(7.4.x用)
GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to p
Dify Cloud · Self-hosting · Documentation · Enterprise inquiry Dify is an open-source LLM app development platform. Its intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production. Here's a list of the core features: 1. Workflow: Build and test powerful AI workflows on a visual ca
Building a Modern CI/CD Pipeline in the Serverless Era with GitOps | Amazon Web Services
AWS News Blog Building a Modern CI/CD Pipeline in the Serverless Era with GitOps Guest post by AWS Community Hero Shimon Tolts, CTO and co-founder at Datree.io. He specializes in developer tools and infrastructure, running a company that is 100% serverless. In recent years, there was a major transition in the way you build and ship software. This was mainly around microservices, splitting code int
U.S. had intelligence of detailed Ukrainian plan to attack Nord Stream pipeline
U.S. had intelligence of detailed Ukrainian plan to attack Nord Stream pipeline THE DISCORD LEAKS | The CIA learned last June, via a European spy agency, that a six-person team of Ukrainian special operations forces intended to sabotage the Russia-to-Germany natural gas project
GitHub - radames/Real-Time-Latent-Consistency-Model: Demo showcasing ~real-time Latent Consistency Model pipeline with Diffusers and a MJPEG stream server
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
【インターンレポート】LINEの大規模ETL batch pipelineにおけるdbtの導入によるデータ分析での課題解決の検証
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、早稲田大学政治経済学経済学科 学部3年の滝田愛澄と申します。2023年8月7日から6週間、LINE株式会社のIU Data Connectチームにて、就業型インターンシップに参加させていただきました。本インターンでは、LINEの大規模ETL batch pipelineであるVinitusが現在抱えている課題を解決することを目的に、data build tool (dbt) の調査とdbtを用いた新たなworkflowのプロトタイプの設計・実装に取り組みました。このレポートでは、現在のVinitusが抱えている課題を確認し、dbtの導入によってどのようにそれらの課題を解決できるか、具体的にこのプロトタイプでは何をど
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
社内の勉強会等で発表した内容を改変したものです。 MOVの「お客様探索ナビ」にOptunaを用いたハイパーパラメータチューニングを組み込んだ経緯、実際のチューニングフロー、コードベースでの解説、実験評価について、Optunaのチュートリアルを交えつつまとめました。 タイトルに分散とありますがKFP上の話なので厳密には並列です。Read less
The U.S. Navy’s Diving and Salvage Center can be found in a location as obscure as its name—down what was once a country lane in rural Panama City, a now-booming resort city in the southwestern panhandle of Florida, 70 miles south of the Alabama border. The center’s complex is as nondescript as its location—a drab concrete post-World War II structure th…
Our focus in this post is to leverage Google Cloud Platform’s Big Data Services to build an end to end Data Engineering pipeline for streaming processes. So what is Data Engineering? Data Engineering is associated with data specifically around data delivery, storage and processing. The main goal is to provide a reliable infrastructure for data which includes operations such as collect, move, store
GitHub - PKSHATechnology-Research/camphr: Camphr - NLP libary for creating pipeline components
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models
NVIDIA today announced Nemotron-4 340B, a family of open models that developers can use to generate synthetic data for training large language models (LLMs) for commercial applications across healthcare, finance, manufacturing, retail and every other industry. High-quality training data plays a critical role in the performance, accuracy and quality of responses from a custom LLM — but robust datas
DVC を活用した機械学習パイプライン開発の高速化 / Using DVC to accelerate machine learning pipeline development
第8回 MLOps 勉強会 Tokyo (Online) https://mlops.connpass.com/event/211953/
GitHub - st-tech/zr-obp: Open Bandit Pipeline: a python library for bandit algorithms and off-policy evaluation
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
sklearn.pipeline.Pipeline sklearn.pipeline.Pipeline を上手く使うとfit, transform, predict を一つの Python オブジェクトにまとめられコードが簡潔になったり, 手続き型的なコードと比較してミスが減りやすくなる利点がある。 前処理に関する変換を scikit-learn ぽいクラスにして, これらを繋いだ変換パイプラインを作ってみる。パイプラインで使うには最後のステップ以外は次のステップで使う表現を生成する transform() をクラスメソッドに実装する必要がある。 また, 今回はパラメータに渡す値は設定ファイルから読み出す仕組みにする。 # -*- coding: utf-8 -*- import re import numpy as np import pandas as pd from sklearn.
Early Access Program for Qodana, a New Product That Brings the “Smarts” of JetBrains IDEs Into Your CI Pipeline | The IntelliJ IDEA Blog
Early Access Program IntelliJ IDEA Java News Tools Early Access Program for Qodana, a New Product That Brings the “Smarts” of JetBrains IDEs Into Your CI Pipeline JetBrains IDEs are well known for their ability to understand code. They can track declarations, check references and types, and collect possible execution paths. Thanks to all this static analysis, you are able to rename and move things
CI / CD してますか？ 2019年初頭、Tekton プロジェクトが公開されました。本投稿では、Tekton の基本的な概念と、簡単な使い方をご紹介します。 Tekton ?Tekton は、Kubernetes-native pipeline resource と表現される通り、k8s 上で CI/CD パイプラインを構築するためのフレームワークです。元々は、Knative プロジェクトの中で始まったプロジェクトで、現在は、Continuous Delivery Foundation でホストされています。 Tekton は “k8s-native” が表す通り、GKE は勿論、ローカルの k8s クラスターを含む、様々な k8s 環境で動作します。また、パイプラインをYAML形式で宣言的に記述でき、後述する Tekton の概念により、組み合わせ可能かつ再利用性が高いという特徴が
The families of four people killed at a mass shooting in a Buffalo, New York, supermarket have filed a sweeping lawsuit against a slew of major internet companies, weapon vendors, the family of the perpetrator, and a Japanese toy company. In a lawsuit filed Friday, the families name internet giants Meta, Amazon, and Alphabet, including social media they own; smaller platforms like Reddit and Snapc
ElasticsearchのIngest Pipelineでtext embeddingを埋め込む & サクッとKNN+BM25のHybrid Searchを試せるリポジトリを作った - ときどき起きる
本記事は情報検索・検索技術 Advent Calendar 2022の4日目の記事です。 こんにちは、pakioです。 先日のElasticON Tokyoに参加した際、とても興味深いセッションがありました。 The search for relevance with Vector Search 内容としては以下のブログと同じかと思います。 www.elastic.co ざっくり説明するとElasticsearch + Ingest Pipelineを使えば自前でMLモデルから特徴量を抽出するようなサービスを立ち上げる必要なく、ドキュメントにembeddingを埋め込めるよと言った内容の講演でした。 かつ、Ingest Pipelineを利用することで、リアルタイム更新にも対応しているという優れものです。これは試してみるしかと思い、今回はその検証を行ったリポジトリを公開・及び主要なポイント
EngineeringEnterprise6 strategic ways to level up your CI/CD pipelineFrom incorporating accessibility testing to implementing blue-green deployment models, here are six practical and strategic ways to improve your CI/CD pipeline. In today’s world, a well-tuned CI/CD pipeline is a critical component for any development team looking to build and ship high-quality software fast. But here’s the thing:
TEKTON Trigger + PipeLine で git push から デプロイまでの自動化 - Qiita
この記事は、TektonパイプラインでコンテナをビルドしてK8sクラスタへデプロイする方法の続きで、次図の左上のデベロッパーが git push するだけで、右端のKubernetesクラスタの環境にデプロイされるまでの途中工程を Tekton Trigger と Pipeline を組み合わせて実現する。前回の記事は、図後半のパイプラインの構築したものであった。今回は前半のGitリポジトリのWebhookを受けて、パイプラインを実行する部分を重点に書いていく。 環境設定 どのクラウド上でもTektonは動作するので、下記 kubectl get node でワーカーノードがリストされた状態から、記事の内容は始める。GitHubからのWebHookを受ける部分で、イングレスコントローラに割り当てられたドメインとシークレットを参照するために、IBM Cloud 固有のコマンドを実行する部分が
https://k8sjp.connpass.com/event/175030/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ
Attacking and Securing CI/CD Pipeline
KARTEにおけるKubeflow Pipelineの活用 | PLAID engineer blog
ML Pipeline for Kaggleのススメ - 重み元帥によるねこにっき
The Legends of Runeterra CI/CD Pipeline
How America Took Out The Nord Stream Pipeline
Real Time Data Engineering Pipeline for Machine Learning -
【Python】scikit-learn Pipeline と前処理の設定ファイル化 |
Tekton ~ Kubernetes native pipeline resource ~
A New Lawsuit Puts the Online White Supremacy Pipeline on Trial
6 strategic ways to level up your CI/CD pipeline
Helmfile: Supercharge your deployment pipeline
gazfootball.com
japan-anime-song.com
b.hatena.ne.jp
akiko.ue.bulog.jp
news.yahoo.co.jp
www.nli-research.co.jp