検索対象

並び順

ブックマーク数

セーフサーチ

期間指定

  • から
  • まで

batchの検索結果(絞り込み: 3 users 以上)530 件中 1 - 40 件目

  • builderscon2018 airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう - Speaker Deck

    builderscon2018 airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう

    builderscon2018 airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう - Speaker Deck
    • Fargateがタスクスケジュールをサポートし定期実行処理の幅が超広がりました! | DevelopersIO

      「せっかく、EC2インスタンスを気にしなくてよいFargateなんだから、もっとバッチ処理で気軽に使いたいよね」 そんなハマコーの一日千秋の想いが届いたのか突如として、Fargateにごついアップデートが...

      Fargateがタスクスケジュールをサポートし定期実行処理の幅が超広がりました! | DevelopersIO
      • AWS Batchで速く/安くやるデータセットの前処理 - Qiita

        OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近(実際は結構前から)次のような問題に当たり始めました。 データセットが大きくなってきてHDDが厳し...

        AWS Batchで速く/安くやるデータセットの前処理 - Qiita
        • AWS Batchとそのモニタリング方法について - yasuhisa's blog

          最近、仕事や趣味でAWS Batchをよく使っています。仕事と趣味のそれぞれの用途は以下の通りです。 仕事: 機械学習を用いた異常検知システムのパラメータ学習 PyCon mini Osakaで異常検知システム構築の...

          AWS Batchとそのモニタリング方法について - yasuhisa's blog
          • Google Kubernetes Engine におけるバッチ処理のパターン - Speaker Deck

            All slide content and descriptions are owned by their creators.

            Google Kubernetes Engine におけるバッチ処理のパターン - Speaker Deck
            • Blog | 酒と涙とRubyとRailsと

              『Rancher』を個人開発で使って、便利なのでその紹介をしたくって「Rails Developers Meetup 2017」で発表をしてきました。Rancher初見の方がちょっと触ってみたいなって思ってもらえるようなスライド...

              Blog | 酒と涙とRubyとRailsと
              • Rails/ActiveRecord バッチ処理の最適化 - Hack Your Design!

                検証環境 前提条件 オリジナルコード ベンチマーク 最適化1: 簡単な最適化 ベンチマーク 最適化2: where & each を使う ベンチマーク 最適化3: find_each を使う ベンチマーク 最適化4: in_batches & u...

                Rails/ActiveRecord バッチ処理の最適化 - Hack Your Design!
                • [アップデート]AWS BatchがCloudWatch Eventsに対応しました!時間起動も可能に | DevelopersIO

                  [アップデート]AWS BatchがCloudWatch Eventsに対応しました!時間起動も可能に | DevelopersIO
                  • AWS Batch + Golangでサーバレスなバッチ処理をしてみる | DevelopersIO

                    はじめに サーバレスなバッチ処理を行うことを考えると候補としてAWS Lambdaが上がってくるかと思います。ですがLambdaには執筆時現在、5分でタイムアウトするという制限があります。 そこで今回、AWS ...

                    AWS Batch + Golangでサーバレスなバッチ処理をしてみる | DevelopersIO
                    • メドレー開発部TechLunch AWSでのバッチ処理 - Speaker Deck

                      メドレー開発部TechLunchで発表した内容を掲載しました。 メドレーで開発部では、隔週で社内勉強会が開かれています。 今回は、「AWSでのバッチ処理」というタイトルで発表し、社内のエンジニアのバッ...

                      メドレー開発部TechLunch AWSでのバッチ処理 - Speaker Deck
                      • 25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING

                        みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベ...

                        25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING
                        • RobocopyのTips - Qiita

                          Robocopyに、少し慣れた人向けのTipsです。 3つのカテゴリーに分けて記述します。 1. 安全にコピー 2. 正確にコピー 3. 短い時間でコピー なお、初めて使う人には、先にTechNetや@ITの記事をお勧めしま...

                          RobocopyのTips - Qiita
                          • Hangfire – Background jobs and workers for .NET and .NET Core

                            Hangfire An easy way to perform background processing in .NET and .NET Core applications. No Windows Service or separate process required. Backed by persistent storage. Open and free for ...

                            • switchworks blog: Bash on Ubuntu on WindowsならぬC# on PowerShell on bat

                              この記事はPowerShell Advent Calendar 2017の23日目です。 そして明日が私の誕生日です。(?) 前置きたまたまググッて出てきた幾つかの技術を組み合わせたら大変便利過ぎて危険だった みんな知ってたの...

                              • 国内Cloud spanner初事例!「迎車料金無し!新感覚タクシーアプリ「フルクル」」

                                国内Cloud spanner初事例!「迎車料金無し!新感覚タクシーアプリ「フルクル」」 1. 国内Cloud Spanner初事例! 迎車料金無し!新感覚タクシーアプリ 2017-12-14 ExistMikan 酒とゲームとインフラとG...

                                国内Cloud spanner初事例!「迎車料金無し!新感覚タクシーアプリ「フルクル」」
                                • AWS Batchを本番導入するにあたって考えたことアレコレ - nisshieeのブログ

                                  この記事は Speeeアドベントカレンダー2017の1日目です!よければ購読してやってください。 qiita.com Speee DEVELOPER BLOGもよろしくね! TL; DR AWS Batchを本番導入したよ 結構クセはあるが、それ...

                                  AWS Batchを本番導入するにあたって考えたことアレコレ - nisshieeのブログ
                                  • 日々の覚書: MySQLから大量のレコードをちまちま削除するメモ

                                    「ちまちま削除する」なので、トランザクションでAll or Nothingを保証したい場合は使えない。 id をプライマリーキー(ただしサロゲートキーかどうかは問わない)、 hoge, last_update が本来消し込み...

                                    • AWS Batchでシェルスクリプトを実行する典型的パターンのご紹介 | Developers.IO

                                      去年のre:Invent 2016で発表された、AWS Batch。みなさん、お使いでしょうか? え、名前はシンプルなのに、案外むずかしい? であれば、自分とまったく同じ印象です。 今回は、AWS Batchを利用して、...

                                      AWS Batchでシェルスクリプトを実行する典型的パターンのご紹介 | Developers.IO
                                      • serverlessconf tokyoに登壇しました - Tech Blog - Recruit Lifestyle Engineer

                                        こんにちは。データ基盤の構築、運用をしている山田(@nii_yan)です。 先日開催されたserverlessconf tokyoに参加させていただき、登壇もしてきました。 登壇内容 弊社は来春トリップAIコンシェルジュ...

                                        serverlessconf tokyoに登壇しました - Tech Blog - Recruit Lifestyle Engineer
                                        • 大規模解析サービスのためのデータベース構成 ~BigTable/BigQueryの弱点をどう補うか? (1/3):CodeZine(コードジン)

                                          大規模なデータを扱う解析サービスにおいて、データベースの性質の理解や選定、配置、活用方法などはクリティカルな問題であり、サービスとして大きく差をつくる要素にもなります。本稿では考慮すべき...

                                          大規模解析サービスのためのデータベース構成 ~BigTable/BigQueryの弱点をどう補うか? (1/3):CodeZine(コードジン)
                                          • AWS Batchがジョブステータスの変更をCloudWatch Eventsに流すようになったので設定した。 - Qiita

                                            { "version": "0", "id": "7266ead5-3f9e-aee4-6abd-7908713f9a16", "detail-type": "Batch Job State Change", "source": "aws.batch", "account": "************", "time": "2017-10-27T04:28:14Z", ...

                                            AWS Batchがジョブステータスの変更をCloudWatch Eventsに流すようになったので設定した。 - Qiita
                                            • AWS Batchでキューの数を監視するCloudWatchカスタムメトリクスを作成してputしてみた | DevelopersIO

                                              この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。 こんにちは、臼田です。 皆さん、Lambdaしてますか? AWS BatchはLambdaより長い時間を要する処理...

                                              AWS Batchでキューの数を監視するCloudWatchカスタムメトリクスを作成してputしてみた | DevelopersIO
                                              • データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ

                                                はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション(以下、バッチ)を開発・運用しているかしているのかを紹介します...

                                                データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ
                                                • exeファイル(実行ファイル)をバッチファイルから実行する

                                                  こんなことを知りたい人へ向けて書いています Windowsバッチファイル内で実行ファイル(拡張子が「.exe」のファイル)を実行する方法を知りたい バッチファイル内で実行ファイルを実行しているが、処理...

                                                  exeファイル(実行ファイル)をバッチファイルから実行する
                                                  • AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO

                                                    この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。 どうも!西村祐二@大阪です。 Lambdaは現在(2017/8/17)実行時間が最長5分までという制限があり...

                                                    AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO
                                                    • AWS CodeBuildを使って5分以上かかる処理を実行してみる | DevelopersIO

                                                      この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。 どうも!西村祐二@大阪です。 以前にAWS Batchを使って下記のようなブログをかきました。 AWS Ba...

                                                      AWS CodeBuildを使って5分以上かかる処理を実行してみる | DevelopersIO
                                                      • Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

                                                        こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定...

                                                        Amazon ECS ScheduleTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
                                                        • ここがつらいよAws batch

                                                          ここがつらいよAws batch 1. ここがつらいよ AWSBatch Serverless Meetup Tokyo 2017 09/06/2017 山田 雄 ネットビジネス本部 データ基盤チーム 2. ■山田 雄(ヤマダ ユウ) 株式会社 リクルートライ...

                                                          ここがつらいよAws batch
                                                          • AWS Batchで非同期ジョブシステムが簡単に構築出来た話 | MMMブログ

                                                            前田です。 受託開発でAPIをGolangで開発中ですが、機能要件の中で時間がかかる処理をさばく必要があり、非同期処理をどう実装しようか検討した結果、AWS Batchを使って実装しようということになりまし...

                                                            AWS Batchで非同期ジョブシステムが簡単に構築出来た話 | MMMブログ
                                                            • GraphQL::Batchのサンプルコードを読む & 使ってみる - blog.kymmt.com

                                                              単純にGraphQLクエリを投げると、サーバサイドでの関連を含むレコード取得時にN+1問題が発生することがあります。こういうケースでは、複数のデータ取得リクエストをひとまとめにして、単一のリクエス...

                                                              GraphQL::Batchのサンプルコードを読む & 使ってみる - blog.kymmt.com
                                                              • AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO

                                                                この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。 どうも!西村祐二@大阪です。 Lambdaは現在(2017/8/17)実行時間が最長5分までという制限があり...

                                                                AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO
                                                                • GitHub - exAspArk/batch-loader: Powerful tool to avoid N+1 DB or HTTP queries

                                                                  Dismiss Join GitHub today GitHub is home to over 28 million developers working together to host and review code, manage projects, and build software together. Sign up

                                                                  GitHub - exAspArk/batch-loader: Powerful tool to avoid N+1 DB or HTTP queries
                                                                  • React 16で導入されたError Boundaryについて - dackdive's blog

                                                                    React 16 Beta がリリースされました。 Error Boundary という概念が導入されたそうなので公式ブログをざっくり読んでみます。 はじめに:React 15 までの問題 React 15 まではコンポーネントで発生し...

                                                                    React 16で導入されたError Boundaryについて - dackdive's blog
                                                                    • 初心者のための本格的なrubyバッチの書き方(slackボット) - Qiita

                                                                      概要 みんなー、雑にバッチ書いて遊んでるー!? (ゝω・)v ところでそういったバッチやスクリプトはみんなの好意によって公開してもらっているけど、その大半は走り書きで実際に業務で書くような書き方...

                                                                      初心者のための本格的なrubyバッチの書き方(slackボット) - Qiita
                                                                      • GCPからAWSへ移行しKuroko2はAWS Batchにした - hatappi.blog

                                                                        2017/07/15にGCPからAWSへ移行した理由を記載しました 数週間かけて少しづつやってきた自宅サービスのGCPからのAWS移行がすべて完了した まずGCPからAWSへ移行した理由としてはいくつかあるのですが、...

                                                                        GCPからAWSへ移行しKuroko2はAWS Batchにした - hatappi.blog
                                                                        • Digdag 入門 | GMOインターネット 次世代システム研究室

                                                                          D. M. です。レガシーの crontab が肥大化して困っています。今日はそのリプレイス候補である Digdag を使ってみた話です。 やりたいこと crontab は Linux のスケジューラの仕組みで定期バッチの実行...

                                                                          Digdag 入門 | GMOインターネット 次世代システム研究室
                                                                          • AWS Batch is Now Available in Tokyo

                                                                            AWS Batch enables developers, scientists, and engineers to easily and efficiently run hundreds of thousands of batch computing jobs on AWS. AWS Batch dynamically provisions the optimal qu...

                                                                            AWS Batch is Now Available in Tokyo
                                                                            • すごいDOSバッチ (コピペで)たのしく逃げよう! - Qiita

                                                                              「DOSバッチファイル」、嫌な響きですね...。 DOSバッチの作成依頼は、心の準備をしていないときに突然降って湧くもので、毎回毎回、for文の書き方をググってはハマり、環境変数の即時展開でハマり、「...

                                                                              すごいDOSバッチ (コピペで)たのしく逃げよう! - Qiita
                                                                              • Python: データパイプライン構築用フレームワーク Luigi を使ってみる - CUBE SUGAR CONTAINER

                                                                                最近になって、バッチ処理においてデータパイプラインを組むためのフレームワークとして Luigi というものがあることを知った。 これは、Spotify という音楽のストリーミングサービスを提供する会社が...

                                                                                Python: データパイプライン構築用フレームワーク Luigi を使ってみる - CUBE SUGAR CONTAINER
                                                                                • Azure Batch Rendering – Flexible Cloud Rendering | Microsoft Azure

                                                                                  Search My account Portal Sign in Close

                                                                                  Azure Batch Rendering – Flexible Cloud Rendering | Microsoft Azure