並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 224件

新着順 人気順

rundeckの検索結果81 - 120 件 / 224件

  • 作業を抽象化するRundeck 〜もはや幸せしか生まない〜【cloudpack 大阪 BLOG】 | iret.media

    まぁ、別にJenkinsでも似たようなツールであれば何でも良いんですが、 RundeckのUIがイケてる感じがしたので選んでみました。 Rundeck の機能 Rundeckは主に以下のような機能を備えています。色々出来る万能ツールです。 ですので、色々な用途で使えるかと思います。 コマンドの分散実行 拡張可能な実行システム(デフォルトでは SSH) マルチステップワークフロー ジョブの定義と実行(即時 or スケジュール) コマンドとジョブを実行するための GUI ロールベースの ACL(LDAP/ActiveDirectory 連携可能) 履歴とログ監査 外部のホスト管理ツールとの統合(open integration) CUI インタフェース Web API 考えてみた用途 障害時の調査・復旧手順をRundeckに入れる。 何が良いか。 1. 今までの複雑な手順書ベースの作業がボタン

      作業を抽象化するRundeck 〜もはや幸せしか生まない〜【cloudpack 大阪 BLOG】 | iret.media
    • Running Lisp in Production

      At Grammarly, the foundation of our business, our core grammar engine, is written in Common Lisp. It currently processes more than a thousand sentences per second, is horizontally scalable, and has reliably served in production for almost three years. We noticed that there are very few, if any, accounts of how to deploy Lisp software to modern cloud infrastructure, so we thought that it would be a

      • Cronicleというツールを作ってみた - so what

        Cronicleというツールを作りました。 http://cronicle.codenize.tools/ これは何? なんでしょうね…ジョブオンデマンド実行・定期実行管理ツール? 名前から分かるとおりcronの管理ツールなんですが、オンデマンド実行も普通にできます。 目指したのは簡易版Rundeckです。 使い方 まず、以下のようなDSLでジョブを定義します。 $ cat Jobfile # -fオプションで任意のファイル名 on servers: 'server1' do job :my_job, user: "ec2-user", schedule: "* * * * *" do puts "hello" end end それからコマンドラインでcronicleコマンドを実行します。 execサブコマンドでオンデマンド実行。 $ cronicle exec my_job my_job

          Cronicleというツールを作ってみた - so what
        • Rundeck こういうことってできるの?集

          こんにちは。斎藤です。 過日、本ブログにて Rundeck というジョブスケジューラを紹介しました(参考: 「Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう」)。それを通じて、主に社内で「こういったことってできるの?」という話がいくつかあがってきました。 今回は Rundeck ができること、できないことを逆引き的にまとめてみました。 ※Rundeck は 2.4.0 を基に説明しています。 ※増えるようでしたら随時追記します。 1回限りのスケジュール実行はできるの? はい、できます。 スケジュールに、年・月・日・時・分・秒を設定します。 Rundeck の時刻設定方法はcronと近いのですが、最小の単位は分から秒、最大の単位も年にまで広がっています。そのため、年まで設定することで1回だけのスケジューリングが可能になっています。 使い終わったら、誤って手動実行

            Rundeck こういうことってできるの?集
          • インフラ構築とテストについて(ITインフラ業務自動化現状確認会)

            グリー開発本部 Meetup #2 ゲーム x 強化学習エンジニアリングで発表させていただいた際の資料です. 当日の発表では一部,こちら (https://www.slideshare.net/yukono1/ss-102843951) の内容は使っているので,合わせてご覧になっていただければと思います.

              インフラ構築とテストについて(ITインフラ業務自動化現状確認会)
            • 方向

              NUROにもかかわらず今まで問題なく耐えていた自宅サーバー仲間の友人宅がついにダメになったということで、みんなでモニタリングしてクソ回線を可視化してバトって遊ぶことになった こういう場合監視ツール何にするかが問題となるのだが、全員Mackerelを使っていたのでそれを利用することに。雑にGitHubで "mackerel speedtest" で検索したところそれっぽいGolangのスクリプトが発見されたのでちょっといじって使えるようにした。 github.com 結果 見事にピークタイムになるとDownload速度が低下し、pingとjitterが暴れる様子が観測できた。今回の回線ではパケロスは検出せずでしたがこのjitterだとゲームにも向かなそう こういう時に難しいのは観測先サーバーがボトルネックになっていないかという点なのですが、自分もNTTのIPoEでXpassなプロバイダから同

                方向
              • ジョブ管理ツール「Rundeck」を導入した話 - WILLGATE TECH BLOG

                はじめに What is Rundeck? これまでの問題 Rundeck の導入を進めるために行ったこと Rundeck を実際のプロダクトに導入! おわりに はじめに こんにちは!インフラチームの高畑です! 梅雨で空気がジメッとしていて気持ちも落ち込んでくるそんな季節ですが、これからやってくる夏に思いを馳せて気持ちを切り替えていきたいと思っています。 さて、今回はジョブ管理ツールである「Rundeck」を導入してみたお話をします! What is Rundeck? Rundeck とは、OSS のジョブ管理ツールで、エージェントを別途用意する必要がなく手軽に利用ができるツールです。 LDAPと連携することにより、細かいアクセス制御やログイン連携を行うことも可能です。 また、ジョブ管理ツールを使う上で欠かせないものである Slack 通知もできる優れものです。 github.com これ

                  ジョブ管理ツール「Rundeck」を導入した話 - WILLGATE TECH BLOG
                • Amazon RDSとELBでRundeckをクラスタ構成にして履歴をS3とElasticsearchに入れて可視化する | DevelopersIO

                  Rundeckをクラスタ構成にする DevIOでは既に複数回に渡ってRundeckのご紹介をしていましたが、今回は、クラスタ構成にして高可用性を確保したいと思います。 以下は完成イメージです。 まずは基本セットアップ まずはじめにRundeckの単体起動を確認したいと思います。今回は、Amazon Linuxを用いています。また、インスタンス起動時にIAM RoleでPowerUserを指定しました。後でS3コマンドなどを実行するときにキーをベタ書きしないためです。 $ sudo yum update -y $ sudo rpm -Uvh http://repo.rundeck.org/latest.rpm $ sudo yum install rundeck -y $ sudo service rundeckd start Starting rundeckd: [ OK ] $ sudo

                    Amazon RDSとELBでRundeckをクラスタ構成にして履歴をS3とElasticsearchに入れて可視化する | DevelopersIO
                  • 定期的に実行する処理の基盤について考えてみる - LIVESENSE ENGINEER BLOG

                    こんにちは、技術開発グループの松原です。 定期的に実行する処理というと一般的にはWindows環境以外ではcronが思い浮かぶかと思います。 cronは手軽に設定、実行できる反面、サーバに入らないとログが確認できない、スケジュールが確認できない、cronの実行サーバがSPOFになりやすいなどの側面があるかと思います。 そこでcronと同じように定期的に処理を実行することができる出来るソフトウェアについて軽く調査をしてみました。 調査対象の選定の観点は以下の通りです。 冗長化構成が取れそうなこと cron同様にスケジューリングが可能なこと Webから実行結果が見られること Rundeck 各所で言われている、すごいcronです。 RundeckはWebアプリ上で操作できるJava製のスケジューラです。 ただし一部の操作については、Webアプリ上だけでは完結できないことがあります。 構成 構築

                      定期的に実行する処理の基盤について考えてみる - LIVESENSE ENGINEER BLOG
                    • シンプルな分散ジョブスケジューラを作ってみた #appkoyomi - weblog of key_amb

                      github.com 掲題の通り、軽量動作する分散ジョブスケジューラを作ってみました。 名前は Koyomi としました。 Perl で書きました。CPAN にもアップしています。*1 Motivation 出発点となった課題感としては、だいたい cron の冗長化法について調べてみた #cron - weblog of key_amb という記事に書いた通りです: バッチサーバの冗長化は割と見過ごされやすい やろうとするとちょっと面倒 上の記事では cron を冗長化するやり方をいくつか紹介したのですが、NFS は SPOF になりやすいし、keepalived を使ったやり方もなんだかトリッキーで少し複雑な気がしないでもないです。 そこで、もっとシンプルに高可用性を達成するやり方はないかなと考えて、実装してみました。 動作原理 仕掛けは割と単純で、スケジュールのデータストアをスケジュー

                        シンプルな分散ジョブスケジューラを作ってみた #appkoyomi - weblog of key_amb
                      • DockerをWindows7にインストールして触ってみる - abcdefg.....

                        Window7上でDockerをインストールしていじってみたメモです。 今更ながらDockerいじってみました。 Windows7上でやってみます。 インストール DockerはLinux上で動作するので、Windows上で動かすためには仮想環境を用意します。 Docker Toolboxを利用すると、VirtualBoxという仮想化ソフトウェアもインストールしてくれます。 Docker Toolboxを利用して環境構築してみます。 BIOS設定 Windowsで仮想化ソフトを利用するには仮想化機能を有効にする必要があります。 仮想化機能を有効にするにはBIOS設定が必要です。 PCを起動してBIOS設定を表示します。 (BIOS設定はPCによって異なるので、「メーカー名 BIOS」で検索すれば設定方法が出てきます) 自分のPCではこんな感じでした。 Overclockingのタブに移動し

                          DockerをWindows7にインストールして触ってみる - abcdefg.....
                        • ドリコムのインフラCI - Tech Inside Drecom

                          (*1) : roleの種類 web : nginxをインストールしてユーザからのリクエストを受けるrole。弊社ではこのwebサーバでRailsアプリが動いています db : MySQLでデータを永続化するrole cache : memcachedなどキャッシュ用途のrole kvs : redisを動かすrole job : Sidekiq のジョブを動かすrole。nginxが動いていない以外はwebと構成は同じ all : web + job + db + kvs + cache のオールインワン(全部入り環境)です。ステージング用のアプリや小さい社内アプリなどでよく使われる consul_server : consul serverを起動するrole build : stretcherでデプロイする時に bundle install や assets:precompile を実

                            ドリコムのインフラCI - Tech Inside Drecom
                          • Running Ansible Playbooks using EC2 Systems Manager Run Command and State Manager | Amazon Web Services

                            AWS Cloud Operations & Migrations Blog Running Ansible Playbooks using EC2 Systems Manager Run Command and State Manager If you are running complex workloads on AWS and managing large groups of instances, chances are you are using some form of configuration management. Configuration management tools are effective in automating the deployment and configuration of applications on hybrid instances. H

                              Running Ansible Playbooks using EC2 Systems Manager Run Command and State Manager | Amazon Web Services
                            • ワークフローエンジンRukawaと実装のサボり方

                              @joker1007 self.inspect @joker1007 Repro inc. (newbie) CTO 時間が無いので会社の説明とか 面倒なことはしません Requirements of Complicated Batch Define, visualize dependency of jobs Fork and merge job route DAG Concurrent execution Control concurrency Retry any jobs Re-usable jobnet Rake is sometimes painful Hard to control concurrent execution Hard to understand complicated job dependencies Cannot Resume jobs freely Hard

                                ワークフローエンジンRukawaと実装のサボり方
                              • Rundeck はじめました - ゆるふわカウンターアタック

                                うちのワンコ初めてカットしました。スッキリです。 cronやJenkinsでがんばってたジョブスケジューリング機能を一元管理する為"Rundeck"を構築しました。 cronはアレなんでやめたいし、Jenkinsは気が付けばあだ名が付くくらいたくさん居るし、執事やとい過ぎだわ まぁとは言えプラットフォームごとに出来てしまうのは仕方ないとこもあるので、事前にオンプレもAWSも繋がる便利なVPCを作っておきました。 そこにJenkinsでもいいのですが、「おれの仕事CIだし」って聞こえて来そうなのでやめときます。 最近は、AzkabanやらAirflowやらOozieやらジョブスケジューラー界隈が活況ですが、GUIがある程度充実してて必要最低限のスケジュール機能でいいのと冗長化ができるもので、誰でも使えそうって基準でRundeckに決めました。 今の最新は2.6.2がGAとして出ています。 J

                                  Rundeck はじめました - ゆるふわカウンターアタック
                                • そのジョブのチャット通知 Rundeckでもできますよ!

                                  こんにちは。斎藤です。 以前、「Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう」というエントリを起こしました。ご覧になった方もいらっしゃるかと思います。その際に「通知はチャットに流して欲しいよな」とか「チャット通知ができるのが今の主流だよね」と思った方がいらっしゃるはずです。 そこで、今日はRundeckのプラグインと、その1つであるHipChatプラグインをご紹介します。 ※CentOSは6.6、Rundeckは2.6.0のSnapshot(Vagrant VM), Rundeck HipChat Pluginは1.5.0とします。 ※最後にお知らせがあります いろいろあるあるプラグイン Rundeckはそれそのもの自体はジョブスケジューラとして完成度が高い製品であると、私は考えています。しかし、本体だけだと物足りなかったり、作り込みが必要な部分が少なからず

                                    そのジョブのチャット通知 Rundeckでもできますよ!
                                  • Rundeck の基本

                                    この章では Rundeck を使う上での基本をカバーします。まず Rundeck の GUI と CUI 両方のインターフェイスについて説明します。次にプロジェクトの準備からコマンド実行までの操作方法を説明します。そして実行制御に用いているコマンドディスパッチャについて理解を深め、最後に実行履歴の見方と利用方法を学びます。 Rundeck のインターフェイスRundeck には 2 つの主要なインターフェイスがあります。GUI: HTML ベースのグラフィカルなコンソールCUI: Shell ツールどちらのインターフェイスからも、リソースの閲覧・ディスパッチ(コマンドの発信)・ジョブの保存と実行が可能です。さらに Rundeck にはサーバーのプログラムとやり取りできる WebAPI も用意されています。Rundeck API を参照して下さい。 グラフィカルコンソールRundeck の使

                                    • Auto Scaling(lifecyclehook)を使ってみる - notebook

                                      いまさらながらEC2でAutoScalingをやってみました そのときのメモ 要件 VPC内のバッチ処理をするサーバのスケーリング 忙しい時間帯が決まっているのでその時間帯のみスケールアウト スケジューリング lifecyclehookを使ってスケールイン時に処理の正常終了を待つ 手順 LaunchConfigurationの作成 AutoScalingGroupの作成 SNSの作成 SQSの作成 lifecyclehookの登録 lifecyclehookをコントロールするためのスクリプト作成 Launch Configuration AutoScaling時に立ち上げるインスタンスの設定をしていく 設定項目 AutoScalingで使用するインスタンスタイプ AdvancedDetails User data: 立ち上げ時に実行するスクリプト スクリプト実行でサービスインできるように作

                                        Auto Scaling(lifecyclehook)を使ってみる - notebook
                                      • 表参道.rb #10 で PHP + Capybara ネタの LT をしてきた - kakakakakku blog

                                        久し振りに「表参道.rb」に参加してきた. 会場の東京糸井重里事務所には初潜入だったけど,宇宙鳥の乱入があったり,豪華な手料理の提供があったり,とにかく最高だった. omotesandorb.connpass.com LT した 今回は「PHP + Capybara を試してみた」というタイトルで LT した. 去年10月に異動してから Ruby を書く機会が完全に無くなっているんだけど,先月 Capybara を導入する機会があって,約2週間で取り組んだ話をまとめた.内容的には基本的なレベルだけど,PHP アプリケーションでも Capybara で E2E テストが書けるんだ!っていう事例をうまく話せたかなと思う. 発表練習のときには言うのを控えてた「ツライ」なんだけど,LT 中は無意識に「ツライツライ」と連発してしまって,ハッシュタグを見たら「ツライ祭」になっててワロタwww LT の

                                          表参道.rb #10 で PHP + Capybara ネタの LT をしてきた - kakakakakku blog
                                        • 無料資料ダウンロード | OSSのデージーネット

                                          リモートワーク Apache Guacamole調査報告書 1.04版 Apache Guacamoleとは、リモートアクセスのゲートウェイとして動作するソフトウェアです。動画の閲覧機能やシングルサインオン連携について追記しました。本書はApache Guacamoleの調査報告書です。 Jitsi調査報告書_2023年版 Jitsiはオープンソースのビデオ会議システムです。リモートワークなどで、離れた場所にいるメンバーとの会議などに活用できます。Jibriという録画ができるコンポーネントと連携して会議の録画も行うことができます。本書は、Jitsiについて調査した内容をまとめたものです。 Etherpad調査報告書 Etherpadとは、オープンソースのオンラインエディタです。リアルタイムにテキストの共同編集を行うことができます。本書は、Etherpadについて調査した内容をまとめたもので

                                            無料資料ダウンロード | OSSのデージーネット
                                          • GitHub - rundeck/rundeck: Enable Self-Service Operations: Give specific users access to your existing tools, services, and scripts

                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                              GitHub - rundeck/rundeck: Enable Self-Service Operations: Give specific users access to your existing tools, services, and scripts
                                            • Kubernetes の CronJob/Job の仕組みをひもとく - Qiita

                                              これは リクルートライフスタイル Advent Calendar 2018 の5日目の記事です。 前日 に引き続き CET チーム から、本日は @tmshn がお送りします。 はじめに データベースのバックアップを定期的に取る npm audit を定期的に実行する 放置されている issue/pull request を定期的に Slack に通知する などなど、日常の中で何かを定期実行したくなることはよくあります。 そんなとき、素朴なソリューションとして真っ先に思いつくのは、ジョブ用のサーバーを用意してその中で cron を実行するというやり方でしょうか。 でも、Kubernetes(以下 k8s)をお使いなら、CronJob というリソースを使うことができます。 1 K8s CronJob ではコントローラーがスケジュールを管理し、実行ごとに Pod を作成して、終了したらそれを破

                                                Kubernetes の CronJob/Job の仕組みをひもとく - Qiita
                                              • なるほどわかった!botframework

                                                なるほどわかった!botframework 1. なるほどわかった! Botframeworkによるbot ops 不破 崇行 2. こんにちは! 不破 崇行(ふわ たかゆき) こだまリサーチ株式会社所属 テクニカル・エヴァンジェリスト • 開発から保守を担当しつつ、各種セミナー講演などを担当 • 社内ではAWS/Azure案件を担当しています • ごく普通の独身男性やってます • いろいろやってます。 3. 本日のおはなし • Botframeworkのお話し • Botの仕事での使い方 • 実運用で得た経験より • 撮影OKです。 • 私含めてスライドも撮影自由です。 • 私は歩くフリー素材です。ご自由にどうぞ。 4. Botってなんですか? • (省略) • もういいでしょう・・・ 5. Botframework? • マイクロソフトが提供している bot作成サービス • 無料で使え

                                                  なるほどわかった!botframework
                                                • WEB+DB PRESS Vol.87

                                                  2015年6月24日紙版発売 2015年6月24日電子版発売 B5判/168ページ 定価1,628円(本体1,480円+税10%) ISBN 978-4-7741-7370-2 ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com Fujisan(定期購読のみ) 電子版 Gihyo Digital Publishing honto 本書のサポートページサンプルファイルのダウンロードや正誤表など 特集1 今すぐ活かす! 最新JavaScript 進化した仕様ECMAScript 6をまるごと解説 Web開発において避けては通れないJavaScriptですが,この標準的な仕様を定めているのがECMAScriptです。本特集では,ついに標準化を迎えた5年ぶりの最新仕様「ECMAScript 6」をテーマに,モダンになった言語機能や非同期処理のしくみ,モジュール管理システ

                                                    WEB+DB PRESS Vol.87
                                                  • 週刊Railsウォッチ(20181217)Railsのafter_*系フックは要注意、早すぎるDRYとYAGNI、mruby 2.0リリースほか

                                                    2018.12.17 週刊Railsウォッチ(20181217)Railsのafter_*系フックは要注意、早すぎるDRYとYAGNI、mruby 2.0リリースほか こんにちは、hachi8833です。先日のRailsdm Day 4ではルームAで終日配信担当だったのでルームBの出し物がわからずじまいです。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを社内有志でつっついたときの会話です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください ⚓Rails: 先週の改修(Rails公式ニュースより) ⚓コレクションプロキシのdelete_allがcountを返すようになった PR: Ensure that `delete_all` on collection pr

                                                      週刊Railsウォッチ(20181217)Railsのafter_*系フックは要注意、早すぎるDRYとYAGNI、mruby 2.0リリースほか
                                                    • Rundeck in practice [導入編] - 一休.com Developers Blog

                                                      この記事は一休.comアドベントカレンダー2018の6日目です。 qiita.com 一休では、2016年の10月からRundeckを使ってバッチジョブの実行管理を行なっています。 導入からおおよそ2年たちました。 その間にデータセンターからAWSへの移行やいくつかの運用トラブルなどを経験しました。知見が溜まってきたので導入編と運用編の2つの記事に分けて紹介したいと思います。 今回はまず、導入編として、導入の背景と実際の導入作業で工夫した点、苦労した点を紹介します。また、Rundeckを導入したことで得られた改善についても紹介します。 Rundeckとは Rundeck社が提供するOSSのジョブ管理ソフトウェア。有償版もある。 ジョブフロー構築、失敗の自動リトライ、開始終了に対する通知フックなど、 一般的なジョブエンジンの機能を持つ。 Java + Groovy + Grailsで実装され

                                                      • YAPC::Kyoto 2023に参加した

                                                        YAPC::Kyoto 2023 に参加した。こういったエンジニア向けの Conference が初めてだったが楽しかった。 見たセッションやトーク 以下見たセッションの感想 小さく始め、長く続ける OSS 開発と貢献 ソフトウェアエンジニアはエモいという言葉がグッときた。楽しむことを意識していきたい。 日常業務のカイゼンで図る開発チームへの貢献 イラっとしたらメモるはすごい大事そう。Rundeck 便利そうなので使ってみたい 入門 障害対応 「サービス運用は Try::Catch の繰り返しだよ、ワトソン君」 過去の障害をテスト環境で再現して訓練しているという取り組みぶりがすごかった。 熟練者の思考と打ったコマンドは確かに知りたい。 あの日ハッカーに憧れた自分が、「ハッカーの呪縛」から解き放たれるまで 「組織が求める自分の役割を理解し、そこに自分のありたい姿を重ねる」というのはうっすら最

                                                          YAPC::Kyoto 2023に参加した
                                                        • 名刺データ化システムをECSに移行した - Sansan Tech Blog

                                                          DSOC Infrastructure Groupの藤田です。 最近は汚い牧場物語をやりながらCyberpunk 2077を待つ日々を過ごしております。 私は昨年の11月頃からDSOCで運用している名刺データ化システムをコンテナ化、ECSへ移行するというプロジェクトに携わっていました。今回はその中で躓いたいこと、工夫したことを皆様に共有できればと思っております。 背景、ゴール 名刺データ化システム SansanやEightで取り込んだ名刺は名刺データ化システム(GEES)へ送られてきます。GEESで名刺画像をデータ化、Sansan/Eightへ結果を返して最終的にエンドユーザへたどり着きます。いわばSansan/Eightの屋台骨のような役割を担っています。データ化には様々なプロセスが含まれています。具体的にどんな処理を行っているかはDSOCのウェブサイトでわかりやすく説明されています。こ

                                                            名刺データ化システムをECSに移行した - Sansan Tech Blog
                                                          • ジョブ管理でcronは限界があったので”Rundeck”を使ってハッピーになりました

                                                            12. Cronの辛み1 - ログが出ない 対策1 : cronのジョブ指定時にリダイレクト 0 3 * * * /home/ope/bin/get_db_backup.sh >> /var/log/job.log 対策2 : 実行されるスクリプトの中でログ出力を実装 #!/bin/bash # This is get_db_backup.sh log="/var/log/job.log date >> ${log} echo "Start db dump" >> ${log} ... ‐> 統一されたルールが無いと両方のパターンが混ざってカオスに なっていく

                                                              ジョブ管理でcronは限界があったので”Rundeck”を使ってハッピーになりました
                                                            • DevOps Cafe Podcast & Videos - Show Notes

                                                              Kubernetes or Serverless? Yes. Triggered by Google Next 2018, John and Damon chat with Joseph Jacks (stealth startup) and Ben Kehoe (iRobot) about their public disagreements — and agreements — about Kubernetes and Serverless. Direct download Follow John Willis on Twitter: @botchagalupe Follow Damon Edwards on Twitter: @damonedwards Follow Joseph Jacks on Twitter: @asynchio Follow Ben Kehoe on Twit

                                                              • Rundeck との闘争 - 日々是ウケ狙い

                                                                ウチの社では、Rundeck をジョブ管理サーバーとして使用している。 各バッチサーバー上のバッチプログラムを、定周期で起動させるのが仕事なのだが 何故かRundeckを運用するサーバーの負荷が右肩上がりで、しかも定期的にCPUが高止まりする、という困った状態に。 これが何とか解消できた、という話。 そもそもRundeckとは ジョブスケジューラ WebのGUIを持っていて管理が楽 オープンソースプロダクト(Java) https://github.com/rundeck/rundeck 最新バージョンは 2.6.2 (ウチらが導入したのが2015/10くらいで2.5.2なのでメンテ頻度はまあまあ) rundeck.org ウチらが取ってる構成(現状) 以下のような感じ。 バックエンドDBをデフォルトのH2 DatabaseからMySQLに変更 これやらないと、WebのGUIがとても表示が

                                                                  Rundeck との闘争 - 日々是ウケ狙い
                                                                • Rundeckをクラスターモードで構築する - インティメート・マージャー エンジニアブログ

                                                                  こんにちはmatsです。 最近、更新サボってましたが久しぶりの投稿です。 今回は前に下の記事でご紹介していたジョブスケジューラー「Rundeck」について書こうかと思います。 http://tech.im-dmp.net/archives/1681 最近、2.6.0がリリースされたのでアップデートを行ったのですが、改めてドキュメントを見なおしてみるとクラスター構成が組めるみたいだったのでチャレンジしてみました。 そんなに難しくはないのですが、ドキュメントがあまり綺麗にまとまっていなかったりするので、参考になれば幸いです。 Rundeckとは オープンソースで開発されているJava製のジョブスケジューラーです。 SSHで対象サーバに接続し、決められた処理を行えるのが基本機能になるのですが、EC2連携のプラグインを使うことでEC2側のタグやインスタンスタイプ、AZなどで対象サーバをフィルタリン

                                                                    Rundeckをクラスターモードで構築する - インティメート・マージャー エンジニアブログ
                                                                  • 4000以上のチャンネルを支えるデータ解析基盤をBigQuery, Go, embulk等で整備した話 - UUUMエンジニアブログ

                                                                    nazoです。 UUUMでは2017年3月時点で4000チャンネルを抱えており、日本最大のマルチチャンネルネットワーク(MCN)となっております。 これだけのチャンネル数があり、さらに多くのチャンネルは毎日のように動画を投稿しており、1日に増える動画の数だけでも相当な数になっています。 以前はこれらのデータの取得をPHPで行っていたのですが、最近Goによる新システムの運用を少しずつ始めており、大きな変化が生まれています。 今回はそのあたりについて解説したいと思います。 現在の構成 それまで動いていたPHPによる解析システム(こちらは今回は話しません)があるのですが、これはUIとデータ取得部分が、そもそも他のシステムと同居しており、改修が難しくなっていました。また、PHPは並列処理が苦手で、やろうと思えばいくつか手段はありますが、並列化に対して大きくリソースを割いていませんでした。そのため、

                                                                      4000以上のチャンネルを支えるデータ解析基盤をBigQuery, Go, embulk等で整備した話 - UUUMエンジニアブログ
                                                                    • 「JAWS-UG おコンテナ支部 #5」に参加して ECS の運用事例を聞いてきた - kakakakakku blog

                                                                      月曜日に「JAWS-UG おコンテナ支部 #5」に参加してきた.全体的に実践的な Ops の話で,凄く勉強になったのと同時に,未だに本番環境での運用経験がない僕にとっては難しい話も多かった.もう既に1年以上の運用ノウハウを持ってるプロダクトも多いし,ECS をまだ使ったことがないことに焦りさえ感じた.7月に絶対 ECS 試すぞ!という気持ち. jawsug-container.connpass.com Amazon ECSアップデート / @riywo 2015/12 - 2016/06 に発表されたアップデート Amazon EC2 Container Registry(Docker レジストリ) | AWS Minimum healthy percent と Maximum percent Creating a Service - Amazon EC2 Container Servic

                                                                        「JAWS-UG おコンテナ支部 #5」に参加して ECS の運用事例を聞いてきた - kakakakakku blog
                                                                      • All Projects | HashiCorp Releases

                                                                        athena-cli atlas-upload-cli boundary boundary-desktop boundary-worker consul consul-api-gateway consul-aws consul-cni consul-dataplane consul-ecs consul-esm consul-k8s consul-k8s-control-plane consul-lambda-extension consul-lambda-registrator consul-replicate consul-telemetry-collector consul-template consul-terraform-sync crt-core-helloworld docker-base docker-basetool envconsul envoy hc-install

                                                                        • Amazon Aurora を使用して WordPress データベースバックエンドの容量をシームレスに増やす | Amazon Web Services

                                                                          Amazon Web Services ブログ Amazon Aurora を使用して WordPress データベースバックエンドの容量をシームレスに増やす 今回は、Pagely の Arman Zakaryan (ホスティングオペレーション部門ディレクター) と Michael Martin (ソフトウェアエンジニア) によるゲスト投稿です。Pagely は、同社自身の言葉では、「WordPress のための非常にスケーラブルなマネージド型ホスティングソリューションを提供しています。世界で最大かつ最も革新的なブランドと協力して、オーダーメイドの WordPress ホスティングソリューションを作成しています。クライアントは、何よりもクライアントの幸せを最優先する、ベテランの DevOps エンジニアのオールスターチームによるサービスとサポートを享受できます。Pagely は、最高の状態

                                                                            Amazon Aurora を使用して WordPress データベースバックエンドの容量をシームレスに増やす | Amazon Web Services
                                                                          • Rundeckを使ってリッチに定期ジョブを作った - のんびりしているエンジニアの日記

                                                                            皆さんこんにちは お元気ですか。昨日食べた中華そばおいしかったです。 定期的に実行するJobを作成・実行する場合何を使っているでしょうか? メジャーなツールであれば、cronがあります。 しかし、このツールはCUI、かつ、 他に色々追加したいこと(リトライ、通知)などを 設定したい場合に大変で、面倒です。 そこで、Rundeckです。RCO&RLSさんの勉強会に触発されて使ってみました。 Rundeckとは? 一言で表すとジョブスケジューラです。 ジョブを作成し、実行間隔の管理、通知、実行方式などを管理できます。 GUIで実行コマンドを管理できるので、非常に管理しやすく 過去のログも確認しやすい、成功失敗で通知ができるなど、様々なメリットがあります。 個人的に思いつく使い道は機械学習バッチ処理ですね! Rundeckの起動 早速、実行用のjarファイルをダウンロードしましょう。 runde

                                                                              Rundeckを使ってリッチに定期ジョブを作った - のんびりしているエンジニアの日記
                                                                            • RunDeckを使ってみる - think-t の晴耕雨読

                                                                              今回はRunDeckというツールを試してみる事にしました。 RunDeckとは? RunDeckとは 「データセンターやクラウド環境において、決まった手順を自動化する助けとなるソフトウェア」ということです。 ジョブ管理ツールですね。 今回はまずインストールして簡単に触るところまで。 インストールする インストールはyumを使えば簡単です。 # rpm -Uvh http://rundeck.org/latest.rpm http://rundeck.org/latest.rpm を取得中 準備中... ########################################### [100%] 1:rundeck-repo ########################################### [100%] # yum install rundeck Loaded

                                                                                RunDeckを使ってみる - think-t の晴耕雨読
                                                                              • oauth2_proxyでRundeckにGitHub認証でログインする - Qiita

                                                                                はじめに Rundeck便利なんだけど、ユーザ管理が貧弱すぎて、デフォルトだとWeb画面からユーザの追加すらできない。 じゃあどうやってユーザを追加するかというと設定ファイルにユーザ名とパスワードのハッシュを書くらしい。えっ、まじで? 最近新しく作ってるサーバは基本Docker化しているので、ユーザ追加するたびに設定ファイルとかいじりたくないんだけど。。。 ほらイメージ更新したら、Dockerコンテナ再起動しないといけないし、それだけのためにジョブ止めたくないし。 なんかよい方法はないかと思って公式ドキュメント読んだらLDAP認証とかActiveDirectory認証とかのは出てくるんだけど、そーゆーのはあんまり好きじゃないんだ。Google認証とかGitHub認証とかOAuth2使えないの?って思って、Issue/PullRequestを眺めてたらこんなのを見つけた。 rundeck/r

                                                                                  oauth2_proxyでRundeckにGitHub認証でログインする - Qiita
                                                                                • ヨドバシ・ドット・コムの入荷通知を自動化してPS4 Proを買おう - Qiita

                                                                                  三行で PS4 Proが品薄で買えない。たまに商品入荷するがすぐ売り切れる。 ヨドバシ・ドット・コムの商品ページを監視して入荷したら通知するスクリプトを書いた。 ついでに購入もワンボタンでできるようにした。 背景:PS4 Proがネットショップで品薄だった PS4 Proという家庭用ゲーム機が2016年11月10日に発売されました。2016年12月15日現在になっても、各種ネットショップでは品薄です。 PS4の後継とはいえ基本的にはグラフィック性能を強化しただけのモデルであり、そこまで買い替え需要はないかなと素人予想していたのですが完全に外れました(ソフトによってはPSVRの画質が向上するという需要はあるとはいえ)。 生産が少ないのか、国内ゲームハードの売れ行きがよくない(付録参照)ので、ハードウェア生産の日本割当が少ないのかはわかりませんが、とりあえず入荷通知が来たらすぐ返る体制をつくる

                                                                                    ヨドバシ・ドット・コムの入荷通知を自動化してPS4 Proを買おう - Qiita