検索対象

並び順

ブックマーク数

セーフサーチ

期間指定

  • から
  • まで

batchの検索結果(絞り込み: 3 users 以上)654 件中 1 - 40 件目

  • Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ

    はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソース...

    Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
    • hagino3000's blog: Data validation for machine learning 読んだ

      Breck, Eric, et al. "Data validation for machine learning." Conference on Systems and Machine Learning (SysML). https://mlsys.org/Conferences/2019/doc/2019/167.pdf . 2019. 読み手のコンテ...

      hagino3000's blog: Data validation for machine learning 読んだ
      • Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ

        はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感...

        Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
        • 広告配信を支えるバッチ基盤をサーバーレス移行した話(ECS Fargate, Step Functions)@ Serverless Meetup Tokyo #16 - Speaker Deck

          Transcript ޿ࠂ഑৴Λࢧ͑Δόονج൫Λ αʔόʔϨεҠߦͨ͠࿩ ECS Fargate, Step Functions Serverless Meetup Tokyo #16 2020/02/27 ۙ৿३ฏ pei0804 Zucks(VOYAGE GROUP)ΤϯδχΞ 2018೥ʹ৽ଔೖࣾ͠ɺӡ༻͔Β։ൃΛͯ͠·͢ɻ ࠷ۙ͸νʔϜΛԣஅͨ͠ηΩϡϦςΟؔ࿈ͷ ੔උ΍DSP։ൃΛ΍ͬͯ·͢ɻ ޷͖ͳα...

          広告配信を支えるバッチ基盤をサーバーレス移行した話(ECS Fargate, Step Functions)@ Serverless Meetup Tokyo #16 - Speaker Deck
          • Spotifyの「まとめ」提供、Google Dataflow史上最大のジョブの舞台裏 | TechCrunch Japan

            ウォンテッドリー、従業員が様々なサービスを割引価格で使える「Wantedly Perk」のベータ版を公開

            Spotifyの「まとめ」提供、Google Dataflow史上最大のジョブの舞台裏 | TechCrunch Japan
            • バッチ処理について考える - Qiita

              Help us understand the problem. What is going on with this article? TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twit...

              バッチ処理について考える - Qiita
              • バッチ処理のスケジューリングパターン - google-cloud-jp - Medium

                この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについて...

                バッチ処理のスケジューリングパターン - google-cloud-jp - Medium
                • https://pages.awscloud.com/rs/112-TZM-766/images/G-5.pdf

                  • AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service - Speaker Deck

                    AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service

                    AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service - Speaker Deck
                    • Spring Boot + Spring Batchで簡単なバッチサービスを作ってみる - Reasonable Code

                      Springのチュートリアルページをもとに、Spring Boot + Spring Batchで簡単なバッチサービスを作ってみました。具体的には、CSVファイルを読み込み、ファイル内の文字列を加工してデータベースに格納す...

                      Spring Boot + Spring Batchで簡単なバッチサービスを作ってみる - Reasonable Code
                      • AWS Batch および Amazon SageMaker を使用したマルチリージョンサーバーレス分散型トレーニング | Amazon Web Services ブログ

                        Amazon Web Services ブログ AWS Batch および Amazon SageMaker を使用したマルチリージョンサーバーレス分散型トレーニング AWS でグローバル展開を築き、スケールにアクセスすることは、数多くのベ...

                        AWS Batch および Amazon SageMaker を使用したマルチリージョンサーバーレス分散型トレーニング | Amazon Web Services ブログ
                        • Kubernetes (EKS) で構築する
スケーラブルなジョブ実行基盤 - Speaker Deck

                          All slide content and descriptions are owned by their creators.

                          Kubernetes (EKS) で構築する
スケーラブルなジョブ実行基盤 - Speaker Deck
                          • Batsh - Bash/Batchのスクリプトを生成するプログラミング言語 MOONGIFT

                            システムの自動化を行う際によく使われるのがBashスクリプトになるでしょう。また、WindowsであればBatchファイルが使われます。macOSとLinuxは同じBashスクリプトでも良さそうですが、Windows向けに別...

                            Batsh - Bash/Batchのスクリプトを生成するプログラミング言語 MOONGIFT
                            • AWS Batch, Lambda, ECS Task 比較:バッチやジョブにはどれを使う? - Timers Tech Blog

                              CTOの椎名です。最近弊社では家族アプリFammの印刷・配送・通知など様々な処理を使うために AWS Lambda と AWS Batch を使う量が増えてきて、ECS Fargate も徐々に導入をはじめてきました。 Lambda も ...

                              AWS Batch, Lambda, ECS Task 比較:バッチやジョブにはどれを使う? - Timers Tech Blog
                              • 冪等なデータ処理ジョブを書く - クックパッド開発者ブログ

                                こんにちは、マーケティングサポート事業部データインテリジェンスグループの井上寛之(@inohiro)です。普段はマーケティングに使われるプライベートDMP(データマネジメントプラットフォーム)の開発...

                                冪等なデータ処理ジョブを書く - クックパッド開発者ブログ
                                • レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話 - クックパッド開発者ブログ

                                  こんにちは、会員事業部の新井です。余暇を全て Auto Chess に喰われています。 過去このブログにはサービス開発に関する記事*1を投稿させていただいているのですが、今回はシステム改修についての記事...

                                  レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話 - クックパッド開発者ブログ
                                  • メルペイにおける大規模バッチ処理 - Mercari Engineering Blog

                                    この記事は MERPAY TECH OPENNESS MONTH の 13日目の記事です。 こんにちは、メルペイ ソフトウェアエンジニアの laughngman7743 です。 メルペイではマイクロサービスにおけるデータストアのデータや...

                                    メルペイにおける大規模バッチ処理 - Mercari Engineering Blog
                                    • 機械学習関連の開発を 効率化した話 - Speaker Deck

                                      All slide content and descriptions are owned by their creators.

                                      機械学習関連の開発を 効率化した話 - Speaker Deck
                                      • 2019年のワークフローエンジンまとめ - Qiita

                                        概要 データパイプラインの管理にワークフローエンジンを導入したいのですが、今の要件に対してどれが合っているのか判断しきれない部分があるので整理してみました 最近の導入事例や発表をみるかぎりA...

                                        2019年のワークフローエンジンまとめ - Qiita
                                        • GitHub - faastjs/faast.js: Serverless batch computing made simple.

                                          Dismiss Join GitHub today GitHub is home to over 40 million developers working together to host and review code, manage projects, and build software together. Sign up

                                          GitHub - faastjs/faast.js: Serverless batch computing made simple.
                                          • faast.js · Serverless batch computing made simple

                                            Serverless function architectures are optimized for event-driven systems. Faast.js simplifies serverless batch applications by automating infrastructure, code packaging, invocation, and c...

                                            • AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る - フリーランチ食べたい

                                              AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要が...

                                              AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る - フリーランチ食べたい
                                              • バッチプログラムの運用と監視について検討しよう - Mercari Engineering Blog

                                                こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われて...

                                                バッチプログラムの運用と監視について検討しよう - Mercari Engineering Blog
                                                • MicroBatchFramework – クラウドネイティブ時代のC#バッチフレームワーク | Cygames Engineers' Blog

                                                  Cy#の河合です。昨年12月に、『MagicOnion』というライブラリのリリースを告知しました。今回、再びオープンソースライブラリとして、C#のためのCLI/Batchライブラリをリリースしました。 [GitHub – Cy...

                                                  MicroBatchFramework – クラウドネイティブ時代のC#バッチフレームワーク | Cygames Engineers' Blog
                                                  • EC2上のPythonバッチをECSのDigdagに置き換えた話 - Gunosy Tech Blog

                                                    広告技術部のUT@mocyutoです。 ついに桜が開花し、やっと春の訪れを感じはじめましたね。 外で気持ちよく飲みたい季節になってきました。 はじめに システム概要 なぜ移行するのか Celeryをやめたい Le...

                                                    EC2上のPythonバッチをECSのDigdagに置き換えた話 - Gunosy Tech Blog
                                                    • お急ぎ振込の締め処理バッチの事例で見ていく バッチ処理の設計結果 - Mercari Engineering Blog

                                                      こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 今回は、前回の記事でお話したことを踏まえ、私が開発を担当して実際に動いているバッチプログラム「お急ぎ振込...

                                                      お急ぎ振込の締め処理バッチの事例で見ていく バッチ処理の設計結果 - Mercari Engineering Blog
                                                      • Oisixが19年運用してきたモノリシックなサービスのマイクロサービス化を進め、Kubernetesを本番運用できる理由 - ITmedia エンタープライズ

                                                        Oisixが19年運用してきたモノリシックなサービスのマイクロサービス化を進め、Kubernetesを本番運用できる理由 2000年に生鮮食品のネットショップとして創業したサービス「Oisix」。創業以来19年間連続...

                                                        Oisixが19年運用してきたモノリシックなサービスのマイクロサービス化を進め、Kubernetesを本番運用できる理由 - ITmedia エンタープライズ
                                                        • 【Windows 10対応】コマンドラインからクリップボードへデータを受け渡しする:Tech TIPS - @IT

                                                          対象OS:Windows 7/Windows 8.1/Windows 10/Windows Server 2008 R2/Windows Server 2012/Windows Server 2012 R2/Windows Server 2016 コマンドラインでもクリップボードとデータをやりとりした...

                                                          【Windows 10対応】コマンドラインからクリップボードへデータを受け渡しする:Tech TIPS - @IT
                                                          • バッチ処理をAWS Batchを利用して本番運用してみた | CyberAgent Developers Blog

                                                            こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います...

                                                            バッチ処理をAWS Batchを利用して本番運用してみた | CyberAgent Developers Blog
                                                            • バッチ処理の採用と設計を考えてみよう - Mercari Engineering Blog

                                                              こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思いま...

                                                              バッチ処理の採用と設計を考えてみよう - Mercari Engineering Blog
                                                              • GitHub - Cysharp/ConsoleAppFramework: Micro-framework for console applications to building CLI tools/Daemon/Batch for .NET Core, C#.

                                                                Dismiss Join GitHub today GitHub is home to over 50 million developers working together to host and review code, manage projects, and build software together. Sign up Micro-framework for ...

                                                                GitHub - Cysharp/ConsoleAppFramework: Micro-framework for console applications to building CLI tools/Daemon/Batch for .NET Core, C#.
                                                                • AWS BatchをTerraformでつくる | MMMブログ

                                                                  resource "aws_batch_job_definition" "default" { name = "${var.name}" type = "container" container_properties = <<CONTAINER_PROPERTIES { "command": ["ls", "-la"], "image": "busybox", "memo...

                                                                  • AWS BatchでEFSをいい感じに扱う – サーバーワークスエンジニアブログ

                                                                    AWS Batchを利用しているとEFSを使いたくなりますよね。 AWS BatchがLaunchTemplateに対応したことでものすごく使いやすくなったので、今回はその方法を紹介します。 忙しい人向け この記事のポイント...

                                                                    AWS BatchでEFSをいい感じに扱う – サーバーワークスエンジニアブログ
                                                                    • [Windows] バッチファイル(.bat)を非表示・最小化した状態で起動する

                                                                      バッチファイルを実行すると、コマンドプロンプトの黒い画面が表示されます。 タスクスケジューラなどで自動実行している場合、コマンドプロンプトのウインドウが最前面に出てくるため他の作業の邪魔に...

                                                                      • AsakusaとOLTP(RDB)とバッチ処理  - 急がば回れ、選ぶなら近道

                                                                        Asakusa Advend Calnderの最終として 現状 2018/12月の現在の自分のタスクは、DBのMVCCでのTX制御の理論・アルゴリズムの設計になっている。要するにDBを作りましょうということで、そのコア部分をどう...

                                                                        AsakusaとOLTP(RDB)とバッチ処理  - 急がば回れ、選ぶなら近道
                                                                        • バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記

                                                                          Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が...

                                                                          バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記
                                                                          • Rundeck | Modern IT Operations Management Platform | Get a Free Trial

                                                                            Rundeck is runbook automation. Give anyone self-service access to the operations capabilities that previously only your subject matter experts could perform. Popular use cases include inc...

                                                                            • Kubernetes Jobによるバッチシステムのリソース最適化 / AbemaTV DevCon 2018 TrackB Session…

                                                                              accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc o...

                                                                              Kubernetes Jobによるバッチシステムのリソース最適化 / AbemaTV DevCon 2018 TrackB Session…
                                                                              • Digdagを使ったジョブ管理 - MicroAd Developers Blog

                                                                                はじめまして。アプリケーションエンジニアの中野です。 以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採...

                                                                                Digdagを使ったジョブ管理 - MicroAd Developers Blog
                                                                                • App Engine と Cloud Tasks で単発のバッチジョブを実行する - addsict's blog

                                                                                  App Engine でアプリケーションを運用していると、たまに単発のバッチジョブを実行したいことがあります。例えば Datastore の Entity のマイグレーションを行ったり、環境セットアップの一環として Da...

                                                                                  App Engine と Cloud Tasks で単発のバッチジョブを実行する - addsict's blog