エンジニア組織を強くするための本を出版しました Qiitaでエンジニアリングをめぐる様々なコミュニケーションの問題とその解決策や考え方を書いてきた。それらの背後にあるエッセンスをこの度書籍として出版するに至りました。 エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング この書籍は、エンジニアリングを「不確実性を削減する」という第一原理で捉え直し、様々なエンジニアリングとその間のコミュニケーションをめぐる現象を説明していくものです。 はじめに この記事は数百万行の動的型付き言語のWebアプリケーションのリファクタリング、アプリケーションアーキテクチャの再設計の経験を基に、有効だと思われる考え方やアプローチを抜粋して紹介するものです。言うまでもなくあらゆるコードベース、アーキテクチャにおいて有効なものとは限りませんので、各々の環境や状況から適切に判断してください。
こちらの記事で見かけた内容。 Do You Really Need Redis? How to Get Away with Just PostgreSQL Job Queuing管理をPostgreSQLでというのが面白そうだったので試してみます。 jobsテーブルの作成 jobを登録するテーブルはこんな感じになるかと思います。 create table jobs ( id serial not null primary key, status char(10) not null default 'pending', payload text); idは連番。 statusは、jobの状態。 初期状態はpendingで、running(処理中)、done(処理済)と変化していきます。 payloadはjobに与えるパラメーター格納用です。 job取得のプログラム 記事に記
はじめに タイトルの通り、SRE歴だと6年 + 5社目ですが、株式会社チカクのSREからバックエンドに転向して2ヶ月経ちました。 この2ヶ月、フェーズが変わったプロダクトに追従出来ていなかったチームの開発プロセスを刷新することにメンバーと注力していました。 それについてお話しします。 SREを無くした 「SREはバックエンドが分かってないと信頼性を担保することは出来ない」 「バックエンドはインフラが分かってないとインフラを意識した設計、冪等性の担保、柔軟でベストな設計が出来ない」 と私は考えており、少人数で複雑なアーキテクチャでなければSREとバックエンドを分離する必要はないと思ってます。 またSREとバックエンド双方に課題があったことから、 ようやくこのタイミングでSREとバックエンドを統合することを、会社的にも良いと判断しそのような体制にすることができました。 SREの課題 弊社SRE
エラー・メッセージ
ORA-02100: PCC: メモリー不足のためメモリーが割当てできません。 ORA-02101: PCC: 無効なカーソル・キャッシュです。(uce/cucが一致しません) ORA-02102: PCC: 無効なカーソル・キャッシュです。(このuceのcucがありません) ORA-02103: PCC: 無効なカーソル・キャッシュです。(cuc refの範囲を超えています) ORA-02104: PCC: 無効なホスト・キャッシュです。(使用可能なcucがありません) ORA-02105: PCC: 無効なカーソル・キャッシュです。(キャッシュにcucがありません) ORA-02106: PCC: 無効なカーソル・キャッシュです。(OraCursor nrが無効です) ORA-02107: PCC: 実行時ライブラリに対してプログラムが古すぎます: プログラムを再度プリコンパイルしてく
【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe
はじめに 一人アドベントカレンダーとしスタートしていました。 本記事は API シナリオテストツールでもある runn のチュートリアルをステップバイステップで理解して貰おう！というのが趣旨です。 25 日間のチュートリアルを経て、 runn を使っての API シナリオテストや、 API と連動させる自動化処理を一人で行えるようになることを目標にしています。 runn is 何？という方は、以下に紹介記事を書いていますのでよろしくお願いします。 チュートリアルを実際に試し、もし躓いた箇所があれば、記事のコメント欄にお知らせいただけると幸いです。 前日の記事は「Hello world!」でした。 curlコマンドをreplayさせる 昨日の記事 で初めて runbook を書いてみました。 今回は手軽に runn を始める際に便利な使い方を紹介します。 curl コマンドを叩いて API
strongSwanとFRRでオンプレとGCPをVPN接続 - MicroAd Developers Blog
はじめに こんにちは。マイクロアドでインフラエンジニアをしているハダです。 3回目のブログ投稿です。 今回のブログは、オンプレの環境とGCPの接続にVPNを使用し、 オンプレ側で使用するVPNゲートウェイをstrongSwan とFRRで構築した内容です。 www.strongswan.org frrouting.org 一般的に、オンプレ側ではVPN対応RouterやVyOSなどのネットワークOSを使ってVPN接続することが多いです。 今回OSはUbuntu20.04を使いstrongSwanとFRRでGCPとVPN接続しました。 GCP側はHA VPN Gatewayを使うため、動的ルーティング（BGP）が必須となっています。1 そのため、オンプレ側ではFRRを使いBGP接続できるようにします。 なお、この記事の中ではGCP側のVPN設定の方法及びオンプレ側でのNAT設定等については書
目的 AWS Fargate 上の AWS Batch job を Lambda から実行します。 便利なので Lambda から Batch を実行したかったんです。 概要図 準備 AWS Batch コンピューティング環境の作成 AWS Batch のトップページから「コンピューティング環境」->「作成」と選択します。 Fargate を選択して、名前を入力します。 環境名は「takahara-fargate-batch」としました。 次にスポットインスタンスとvCPU数を設定します。 ここは料金と処理速度性能に関わります。 スポットインスタンスは料金が安くなる代わりに、処理を中断する可能性がごく僅かにあります。 ネットワーク設定はデフォルトVPC・パブリックサブネット・セキュリティグループを選択しました。 ECRやS3などのサービスのエンドポイントのドメイン名解決にはインターネットア
このようなジョブを1から順番にキューに登録、実行した場合、1会社に行く->2会社から帰る->3お風呂に入る->4料理をつくる->寝るの順で実行される。 ActiveJobはこれらの処理をバックグラウンドで実行することができる機能のことをいう。 ActiveJobを使う場面 先述したようにActiveJobはバックグラウンドで実行ができるため、処理をアプリケーションの裏側で実行させることができる。 なので、ActiveJobは基本的にリアルタイム性を伴わない場合や重たい処理に使われることが多い。 メールの配信 画像の処理 データを集計後にCSVファイルに変換 このような時間がかかる処理の場合には、先にレスポンスをクライアントへ返しておき、バックグラウンドで処理を別途実行する。 Rails自身が提供するのは、ジョブをメモリに保持するインプロセスのキューイングシステムだけで、 プロセスがクラッシ
概要 つい最近Laravel6がリリースされました。 その中でも、Laravel6で新規追加されたJob Middlewareについて、かなり単純ですがサンプルコードを書きました。 1から作成している記事がまだ見当たらなかったので、もしさっと1から試してみたい！という方はぜひ読んでみてください。 ソースコード 試してみたい方はGitHubにあげているのでこちらからどうぞ。 solt9029/LaravelJobMiddlewareTutorial そもそもJob/Queueとは？ 知っている方は読み飛ばしてください。 例えばユーザがアカウント登録を行ったときに、そのアカウント登録内容をメール送信したいような場合があります。 そういったときに、メール送信処理の間ユーザを待たせるのはよろしくありません。 Job/Queueを使えば、そういった処理を非同期に行うことができ、ユーザを待たせずにメー
この記事に関して Qiitaの3000文字Tips企画の投稿記事になります。 DynamoDBLocal起動時エラー AWS公式ページ のDockerタブにあるdocker-comose.ymlを使用する手順通りに実行すると以下のようなエラーが出るケースがあると思います（2021年6月7日時点）。遠くない未来に、コンテナ本体か手順のどちらかが修正されるとは思います。 Starting dynamodb-local ... done Starting app-test ... done Attaching to dynamodb-local dynamodb-local | Initializing DynamoDB Local with the following configuration: dynamodb-local | Port: 8000 dynamodb-local | InM
![[小ネタ] DockerでlocalDynamoDB起動する時の注意点 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d3cb55408953e4c1df360c83c73d56d671e9b466/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU1JUIwJThGJUUzJTgzJThEJUUzJTgyJUJGJTVEJTIwRG9ja2VyJUUzJTgxJUE3bG9jYWxEeW5hbW9EQiVFOCVCNSVCNyVFNSU4QiU5NSVFMyU4MSU5OSVFMyU4MiU4QiVFNiU5OSU4MiVFMyU4MSVBRSVFNiVCMyVBOCVFNiU4NCU4RiVFNyU4MiVCOSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NGI2ZTlmNDkzZDMzNzE4MDYyMzE4ZGNkNjMwYzU0ZTQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwZXRuayUyMGluJTIwJUU2JUEwJUFBJUU1JUJDJThGJUU0JUJDJTlBJUU3JUE0JUJFV29ya3MlMjBIdW1hbiUyMEludGVsbGlnZW5jZSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Yzc0ZGU0YzllOTEzYTViNmUzYmFiZmJkZGM4ZDljNGY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D3bc031c0d849bb700d7e7d0e8c3be2f9)
[AWS Q&A 365][Batch]Daily Five Common Questions #58 - Qiita
1. What is a job queue in AWS Batch? A job queue in AWS Batch is a collection of jobs that are submitted to the same compute environment and are scheduled to run based on priority and the order in which they were submitted. 2. How do you create a job queue in AWS Batch? To create a job queue in AWS Batch, you need to specify the name of the job queue, the priority of the jobs in the queue, the com
![[AWS Q&A 365][Batch]Daily Five Common Questions #58 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cc499b8dcc9c43638d92607427921e62c37b9c3d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQVdTJTIwUSUyNkElMjAzNjUlNUQlNUJCYXRjaCU1RERhaWx5JTIwRml2ZSUyMENvbW1vbiUyMFF1ZXN0aW9ucyUyMCUyMzU4JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wOTE3YzU1M2ZjNWUxNzU3Nzk2MmI0ODdhNWZhYTg5Yg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc2hpbm9ub21lX3Rha3UmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTcyM2U0ZTQ1Y2RlZGFmNDk1OTIzZjc2ODA5YmJkNDBm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D4abaaeb27cd4b99f06fd8848f1222c42)
なぜ記事を書こうと思ったか Railsのproduction.rbでどのような設定をしているか及びどのような設定ができるかを確認する為に調べたので、備忘録として残します。 production.rbのコマンド説明 config.cache_classes = true ソースコードをリロードしない。キャッシュが適用される。 config.eager_load Railsのapp以下にあるクラス(ModelやController)を起動時に全て読み込むかどうか設定 config.consider_all_requests_local すべてのエラーをブラウザに表示をするかの設定 例：Routing Errorなど詳細なエラー情報が表示される。 config.action_controller.perform_caching アプリケーションのキャッシュの有無 config.require_m
山田祥寛（やまだよしひろ） 千葉県鎌ヶ谷市在住のフリーライター。Microsoft MVPfor ASP/ASP.NET。執筆コミュニティ「WINGS プロジェクト」代表。書籍執筆を中心に，雑誌/ サイト記事，取材，講演までを手がける。 『JavaScript 本格入門』（技術評論社）ほか著書多数 はじめに 本書の使い方 Chapter 1 Ruby on Railsの基本 Ruby on Railsとは？ Railsを利用するための環境設定 基本コマンド Railsアプリケーションを新規作成する―rails newコマンド 必要なgemファイルを管理する―gemメソッド 必要なgemをインストールする―bundle installコマンド HTTPサーバを起動する―rails serverコマンド モデル／テンプレート／コントローラをまとめて作成する―rails generate sca
Amazon Web Services ブログ 週刊AWS – 2024/6/3週 みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も週刊AWSをお届けします。 いよいよAWS Summit Japanが来週に迫ってきました。2024年6月20日、21日、会場は幕張メッセになります。ご都合つく方は是非会場にいらしてください。 私も会場に行く予定なので、見かけたら遠慮なくお声がけください！ それでは、先週の主なアップデートについて振り返っていきましょう。 2024年6月3日週の主要なアップデート 6/3(月) AWS Batch introduces the Job Queue Snapshot to view jobs at the front of the job queues AWS BatchにJob Queue Snapshot機能が追加されました。この機能により
Download Mkvtoolnix For WindowsMKVToolNix for Windows 25.0.0 Crack & Key Free Download MKVToolNix is a small collection of tools (mkvmerge, mkvinfo, mkvextract, mkvpropedit and mg) that allows you to manipulate Matroska (MKV) files in several ways. You can use MKVToolNix to create, split, edit, mux, demux, merge, extractor inspect Matroska files. The program will also work with other video formats
前提条件 EC2への権限 EC2、ECS、AWS Batch などに対してフル権限があること。 0. 準備 0.1. より実践的な使い方の完了 AWS Batch #3 より実践的な使い方 が終わっていること 0.2. 変数の確認 #1, #2, #3 から引き続き利用する変数を確認します cat << ETX CFN_STACK_NAME: ${CFN_STACK_NAME} COMPUTE_ENV_NAME: ${COMPUTE_ENV_NAME} JOB_QUEUE_NAME: ${JOB_QUEUE_NAME} JOB_DEFINITION_NAME: ${JOB_DEFINITION_NAME} CONRAINER_PROPS_FILE: ${CONRAINER_PROPS_FILE} DOCKER_ENTRYPOINT_FILE: ${DOCKER_ENTRYPOINT_FIL
![[JAWS-UG CLI] AWS Batch #4 環境の破棄 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f255672f89efa5a954bdba5ee7d4b6359d9ec919/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCSkFXUy1VRyUyMENMSSU1RCUyMEFXUyUyMEJhdGNoJTIwJTIzNCUyMCVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MSVBRSVFNyVBMCVCNCVFNiVBMyU4NCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NGZmMTA0MGU1NzRjYjBlMDg1MDUwNjg4MDY2NDlmZjM%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcG90dGF2YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODBhMmJkMDdjOGMyMTBkMzY0ZDBmOWY2YmEzNjMyYjA%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D56fa5ed8b86e776cf6ff7bc58db0fb07)
先日AWSのニュースサイトでDynamoDB Localの公式Dockerイメージが公開されていた。 新しいドッカーイメージで Amazon DynamoDB ローカルをさらに容易に 試しにdocker pullしてみたら、イメージのサイズが思ったより大きかったので、より軽量なイメージを作成することにした。 [作成したDockerfileと使い方] github.com というわけで作成したDockerfileがこちら。 軽いと噂のAlpineにJava 8がインストールされているイメージをベースとした。 FROM anapsix/alpine-java:8 ADD https://s3-us-west-2.amazonaws.com/dynamodb-local/dynamodb_local_latest.tar.gz / RUN gunzip -c dynamodb_local_lat
やりたい事 毎日、スクレイピング処理を実行 スクレイピングした結果をGoogleスプレッドシートに書き込む 大量の処理が走るので、PHPメモリエラーになる可能性が高い スプレッドシートの結果を毎日、バックアップする スプレッドシートの結果を毎日、メールで送る やった事 ①スケジューラの設定 ②バッチコマンドクラスの作成 ③ジョブキューの仕組みを実装 ④GASでスプレッドシート書き込みの処理を実装 ⑤supervisorの設定 0.各キーワード説明 Job Queueとは？ ジョブキューとはジョブをキューで管理するものです。 キューとはFIFO(First In First Out)を実現するデータ構造です。 キューに登録されたモノは、キューに登録した順に処理されます。 参考：http://tech.voyagegroup.com/archives/495474.html 全体構成 ①スケジ
おはようございます。 @shutooike です！ 業務上であるジョブのキューを条件によって動的に変えたい場面に遭遇し、ActiveJobのソースを読んだのでメモを残しておきます。 前提条件 Rails version: 5.2 queue_adapter: Sidekiq 対象のジョブクラスはこんな感じ class SampleJob < ApplicationJob queue_as 'default' rescue_from(StandardError) do retry_job(wait: 5.minutes) end def perform(args) do_something end end 方法1 ActiveJob::Core.set か ActiveJob::Enqueuing#enqueue に queue を渡す ジョブの呼び出し元で制御するという思いつく限り一番簡単
【まとめ】CloudWatchとAWS Batchを使ってRDSに定期的にクエリを実行&失敗時はSlack通知するCFテンプレート - Qiita
【まとめ】CloudWatchとAWS Batchを使ってRDSに定期的にクエリを実行&失敗時はSlack通知するCFテンプレートAWSRDSCloudWatchCloudFormationAWSBatch 概要 以下の構成で実装しました。 CloudWatchEventsをトリガーとしてAWS Batchを起動し、登録しておいたプロシージャでRDSに対してクエリを実行する AWS Batchのジョブ実行結果が失敗した場合は、Lambda関数によってSlackに通知する 上記をCloudFormationで実装したので紹介します。 AWS Batchは初めて触るリソースだったのと、なかなか上記構成に該当の記事が見つからず苦戦したところもあったので、備忘も兼ねて丁寧に整理して記載しました。 実施手順 CloudFormationを実行するにあたり、事前準備も含め手順は以下の通りです。 ①AW
railsのactivejobアダプターのAsyncAdapterって何？実装は？本番に使える？実用性は？調べてみました。 - Hard work by INTERNET
はじめに AsyncAdapterってのは、activejobアダプターの1つでオンメモリで完結するジョブキューワーカー。 config.active_job.queue_adapter = :async 「即時実行」と「指定した時間の経過後に実行」が選べる。 ミドルウェアなしで非同期ジョブを実現できて開発環境やテスト環境での使用が推奨されている。本番で向かない理由は後述する。 実装は？ このオンメモリでのジョブキューは、concurrent-rubyのScheduledTaskで実装されている。 github.com 実装シンプルで、AsyncAdapter内にSchedulerとJobWrapperクラス内でScheduledTaskのメソッドで構成している。 本番で使えるの？実用性は？ 結論は本番では使ってはいけない。 メール送信とかログ的な記録が向いている、とAsyncAdapte
クライアントJavaScriptの非同期処理の裏側の完全理解のために、まずは実行環境がどのようになっているかを見ていきます。 クライアントJavaScriptの実行環境は、ざっくり分けると下記4つのものから成り立っているようです。 JavaScript Engine Web APIs Task QueueとJob Queue Event Loop これらの関係性を鳥瞰図で雑にまとめてみました。 これだけだと意味がわからないので1つ1つ見ていきましょう！ JavaScript Engine JavaScript Engineとは、JavaScriptのコードを実行するプログラムのことです。 2021年5月現在、Google Chromeで使用されているものは、V8 と呼ばれるもので、C++で書かれています。 github.com JavaScript Engineの役割は、メモリの割り当てと
ActiveJobの仕組みを読み解く
ActiveJobの仕組みをざっくり読み解いてみました。Railsのバージョンは 5.1.2です。 ActiveJobの使い方をざっくり configに使うバックエンドキューシステムのアダプタを指定して config.active_job.queue_adapter = :sidekiq ActiveJob::Baseを継承したクラスを書いて（Rails5系だとApplicationJobを継承） class HogeJob < ActiveJob::Base queue_as :default def perform(*args) puts args end end perform_laterすると良い感じにキューイングしてくれます。 HogeJob.perform_later "hoge", 1, true あとは各アダプタのワーカーをデーモンなりで常駐させて処理させればOKです。 コ
JestでDynamoDBのテストする方法を調べると、Jest公式のドキュメントの Using with DynamoDB が見つかります。「めっちゃ便利！」と思って進めたのですが、M1 Macの場合はちょっと一工夫必要だったので、その問題と解決策を書こうと思います。 問題 ドキュメント通りに進めて、jestを実行すると以下のようなエラーが発生します。 重大: [sqlite] SQLiteQueue[]: error running job queue com.almworks.sqlite4java.SQLiteException: [-91] cannot load library: java.lang.UnsatisfiedLinkError: Can't load library: /private/var/folders/5c/h19nr7xj51l7rgbj889mc1y00
やりたいこと AWS RDS for Oracleでは初期化パラメータを変更することができますが、すべてを変更できるわけではありません。 AWS CLIで変更できない（あるいはできる）パラメータの一覧の取得しました。 Amazon RDS(Oracle) Oracle Database 12.1インスタンスのデフォルトのパラメータグループ「default.oracle-ee-12.1」で確認。 --fileterがdescribe-db-parametersでサポートされていないようなので結果出力後grep(JSONの場合はjq)でフィルタしています。 変更できないパラメータ一覧（IsModifiable=false） コマンド aws rds describe-db-parameters --db-parameter-group-name default.oracle-ee-12.1 -
AWSでバイオインフォマティクス入門してみませんか？CloudFormationの展開で簡単にゲノミクスのワークフローが構築できます。 こんにちは。AWS事業本部のKyoです。 生命科学と情報科学の融合領域であるバイオインフォマティクスにAWSの力を使って入門してみました。 これは何？ GitHubはこちら。 本ブログではAWS Step Functions For Genomics Workflowsのサンプルを元にゲノミクスワークフローの構築と実行を行います。 CloudFormationを展開するので、AWSアカウントがあればすぐに試すことができます。 ゲノミクスで扱うデータが大きくストレージを気にされている方、 サーバーの管理を最小限にしたい方、データ量に応じてスケーラブルなワークフローを構築したい方などの参考になると思います。 今回構築するのはゲノミクスのワークフローですが、 ワ
(日本語はこちらから) Introduction: While using Alteryx designer, users may not be familiar with how to manage its assets, because all the assets (files, data connections etc) are all locally available on the machine they are working on. However, when sharing or scaling up their workflows, on server or gallery etc, they should make sure their workflows work independently without any errors. What are Workflo
GitHub Actionsを試してみました コード管理 / CI / CDまでGitHubで管理でできちゃうんですね〜 AWSを使っているプロジェクトだとCode pipeline等を使用してCI / CDをするのが今どきは主流な様ですが、 web開発するにほぼ確実にgithub絶対使うのと、 GCP等を使用するprojectでも汎用性があると思ったのでGitHub Actionsを試してみました。 今どきはAWS / Firebase / GCP / Azure等プロジェクトによって使用するクラウドが異なっているので、 ベンダーロックされるならGAFAクラウド側よりGitHubにベンダーロックされたほうが安心感があるような気がしてます！ 今回のゴールgithub actionを使ってmasterにpush(merge)されたことをトリガーにdeployする👍 使うもの ・Fireba
注釈 MQTT As a Service: sangoをリリースしました 2014年8月に、GitHubアカウントで簡単に登録できてMQTTを使い始められる sango を 時雨堂 がリリースしました。 無料プランもありますので、MQTTを一度使ってみたいという方はsangoを使うことをお勧めします。 最近voluntasさんが 活動 してお り、にわかにMQTT関連が熱くなってきました。たぶん観測範囲が狭いからだと は思いますが。 とはいえ、M2M (Machine to Machine)やIoT(Internet of Things)というバズワー ドもあり、モノがインターネットにつながる時代になってきて、MQTTの価値が 高くなってきている気もします。また、モバイル時代に適したプロトコルとい う意味でも注目されているのかもしれません。 ということ、MQTTについて一旦ここでまとめてみ
AWS Batch ジョブが RUNNABLE 状態でスタックしたときにジョブの自動キャンセル設定をできるようになりました | DevelopersIO
AWS Batch ジョブが RUNNABLE 状態でスタックしたときにジョブの自動キャンセル設定をできるようになりました AWS Batch でジョブが RUNNABLE 状態でスタックしたときの対処方法に、今回のアップデートで新しい機能が追加されました。RUNNABLE 状態でスタックしたジョブを EventBridge で検知でき、一部の原因に対してはジョブを自動的にキャンセルできるようになりました。 背景 AWS Batch でジョブをサブミットした後、設定ミスなどの理由で RUNNABLE 状態のままで止まってしまい、後続のスターテスに遷移しないことがあります。 参考: Job states - AWS Batch よくある原因としては、コンピューティング環境の 最大 vCPU 数設定とジョブの要求 vCPU 数の不一致や IAM ロールの権限不足などが挙げられます。 参考: T
【OSS探訪記】hq - Prelude
背景・モチベーション Goで並行処理について公式ドキュメントや書籍を読んだが、実際にどのように使われているのか、そしてどのようなプロダクトがあるのか気になった。そこで、awesome-goを見て並行処理をしていそうなOSSを読んでみようと思う。 ざっくり気ままに読んでいきたいので誤読していたり大事なところを読んでいなかったりするかもしれない。OSSの紹介ではなく自己満足でただ読んでいくだけなので、解説についてはそこまで期待しないで頂ければと思う。気になった方が自分も読んでみようかなと思ってもらえると嬉しい。 対象OSS 今回はhqを読む。（さっそくawesome-goに含まれていないOSSなのだが、以前に作者の記事を読んでいて非常に面白かったのでコードも読んでみた） github.com これは何をするソフトウェア？ hqはジョブキューのライブラリ。詳細は作者が解説した記事があるのでそれを
golang で処理の高速化をするために goroutine/channel を使って並行処理にし、待ち時間を無駄にしないようにするのは言葉で表すのは簡単ですが、実際にパターンとして落としこむためには経験が必要だなと思うので、今回 Dispatcher-Worker として Job Queue を golang で実装する方法を紹介したいと思います。 この記事は mattn さんの Big Sky :: golang の channel を使ったテクニックあれこれ の次のステップとして読むことをオススメします。 mattn.kaoriya.net golang で作成したアプリケーションで多くのリクエストをアプリケーションが送受信する必要がある場合、高速に捌くために並行処理にして非同期化を図る場合を想定しています。 今回は get という関数でHTTPリクエストを実行して取得したデータのサ
RubyonRails: ActiveJobのperform_laterが実行されてadapterがenqueueするまでの挙動を追ってみた。 - Madogiwa Blog
最近Sidekiqを扱うことが割とあり、ActiveJob経由で使ったときの挙動をいまいち把握出来てなかったのでコードを読んでみて、内容とかをざっくりメモしておきます📝 ちなみに読んだのはrailsの6-stableブランチのコードです。 rails/activejob at 6-0-stable · rails/rails · GitHub perform_laterの実行 adapterによるenqueueの実行 引数のシリアライズ おわりに perform_laterの実行 まずperform_laterの定義されているところを見ていきます。job_or_instantiateで引数を元に自分自身(Job)をオブジェクト化して、enqueueを呼び出している。 module ActiveJob module Enqueuing extend ActiveSupport::Conce
[AWS Q&A 365][Batch]Daily Five Common Questions #59 - Qiita
1. What is job scheduling in AWS Batch? Answer: Job scheduling in AWS Batch is the process of managing and prioritizing the execution of jobs submitted to a job queue. The scheduling policy determines how jobs are selected for execution based on factors such as job priority, job dependencies, and available compute resources. 2. How do I create a job queue in AWS Batch? Answer: To create a job queu
![[AWS Q&A 365][Batch]Daily Five Common Questions #59 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b8bf86cc7bd32c0e1aca066b401fcbab56f0ba75/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQVdTJTIwUSUyNkElMjAzNjUlNUQlNUJCYXRjaCU1RERhaWx5JTIwRml2ZSUyMENvbW1vbiUyMFF1ZXN0aW9ucyUyMCUyMzU5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iNWYxM2ZhZmU3ZDZjZmVmMGU0MThkYmU4NGEzZmMzNQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc2hpbm9ub21lX3Rha3UmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTcyM2U0ZTQ1Y2RlZGFmNDk1OTIzZjc2ODA5YmJkNDBm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D5ccb4f39e0d185589e5cd1eaf721f132)
AWS Batchとは何か？特徴や利用までの手順もあわせて解説 | ITエンジニア派遣ならオープンアップITエンジニア
開発者や科学者、エンジニアなどが膨大な量のコンピューティングリソースにアクセスする方法で、一般的なものをBatchコンピューティングといいます。 AWS BatchはCPUやメモリに最適化されたコンピューティングリソースの中から必要なものにアクセスし、数十万件におよぶバッチコンピューティングジョブを実施します。 一連のバッチ管理機能が含まれているため、バッチコンピューティングソフトウェアやサーバークラスターをパソコンにインストールしなくていいという点が特徴です。 バッチ処理の定義付けとは何か？ バッチ処理の定義とは、パソコンにあらかじめ構成されている処理を自動的に行うことです。バッチ（Batch）は一束、ひとまとめという意味であり、起動時間は短いものの、処理時間が長いのが特徴です。 業務中にバッチ処理をすると他の作業が停止してしまう可能性があります。そのため、業務後にパソコンを起動して自動
概要 前回作成したLambdaから実行する処理を流用してクライアントアプリから起動するように設定します。 準備 AWS Batchは前々回のものをそのまま使います。AWS BatchのジョブさえできていればいいのでCodeCommitなどはこのためだけに準備しなくても大丈夫です。 バッチを実行できるIAMユーザを作成します。 AWS CLIをインストールして aws_access_key_id aws_secret_access_key Default region を設定します。 このあたりの手順は公式 などを参考にしてください。 クライアントアプリを作成する場合は pyinstaller を以下のコマンドでインストールします。 pip install pyinstaller クライアントアプリの用意 tkinterを使用して作成します。 JOB_NAME はジョブ定義の名称 JOB_D
package sample; import java.util.HashMap; import java.util.Map; import com.amazonaws.regions.Regions; import com.amazonaws.services.batch.AWSBatch; import com.amazonaws.services.batch.AWSBatchClientBuilder; import com.amazonaws.services.batch.model.SubmitJobRequest; import com.amazonaws.services.batch.model.SubmitJobResult; public class AwsBatchSample { public static void main(String[] args) { Aws
AWS Batchを触ってみたメモです。今回の内容はAWS Batchの概念を理解するため、単純に1つのジョブを実行してみた内容となっています。 AWS Batchとは AWS Batchについてざっくりと説明すると、作成したコンテナイメージを、AWS側にて管理されたECS Contaner Instace上で実行してくれる機能となっています。 以下より、実際にAWS Batchを実行するために必要な作業を記載していきます。 コンテナタスク用IAM Roleの作成 ECS Container Instance上でdocker runされたコンテナで利用するIAM Roleを作成する処理です。考え方は、ECSやFargateと同じですね。 必要なIAM Roleは、以下にて記載されているので、その内容に沿って作成。 AmazonECSTaskExecutionRolePolicy というポリ
去年のre:Invent 2016で発表された、AWS Batch。みなさん、お使いでしょうか？ え、名前はシンプルなのに、案外むずかしい？ であれば、自分とまったく同じ印象です。 今回は、AWS Batchを利用して、シェルスクリプトを実行するための典型的パターンをご紹介。シェルスクリプトからは、任意のスクリプト（Pythonとか、Node.js）も呼び出すことができ汎用性が高いので、AWS Batchにおけるアプリケーション処理の実装方式として、参考にしていただければと思います。 ほな、いってみよ！ 構成図 今回構築する環境の概要は以下の通り。シェルは大きく２つに別れます。AWSの構成要素は非常にシンプルです。 myjob.sh ユーザーが作成するシェル。アプリケーション処理の本体はこちらに記述し、事前に任意のS3バケットにアップロードしておく。 fetch_and_run.sh my
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あきらめるにはまだ早い！ソースコードの品質向上に効果的なアプローチ - Qiita
PostgreSQLでJob Queuing管理テーブルの定義と、Job取得クエリー
SREとバックエンドを統合してバックエンドに転向しました
GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ
【Day3】curlコマンドをreplayさせる / runnチュートリアル
AWS Fargate 上の Batch job を Lambda から実行する - Qiita
Rails + Redis + Sidekiq の非同期処理について - Qiita
Laravel6で新規追加されたJob Middlewareを使ってみる - Qiita
[小ネタ] DockerでlocalDynamoDB起動する時の注意点 - Qiita
Railsのproduction.rbはどういう事が設定できるの？全ての設定を調べてみた！ - Qiita
Ruby on Rails 7 ポケットリファレンス
週刊AWS – 2024/6/3週 | Amazon Web Services
Mkvtoolnix Download For Mac
[JAWS-UG CLI] AWS Batch #4 環境の破棄 - Qiita
DynamoDB Localの軽量Dockerイメージを自作した話とか - kdnakt blog
Laravel Job Queueで バッチ運用した話 - Qiita
ActiveJob で queue を動的に指定する3つの方法 - インゲージ開発者ブログ
JavaScriptの非同期処理を完全理解する - エンジニアリング雑記
M1 Macのローカルでjest-dynamodbを使ってテストする - Qiita
AWS RDS for Oracleで変更できない(あるいはできる)初期化パラメータ一覧の取得 - Qiita
BatchとStep Functionsでゲノミクスのワークフローに入門してみた | DevelopersIO
Managing Assets in Alteryx | DevelopersIO
GitHub ActionsとFirebaseを使ってVue.jsのコードをdeployしてみる｜emono
MQTTについてのまとめ — そこはかとなく書くよん。 ドキュメント
golang の channel を使って Dispatcher-Worker を作り goroutine 爆発させないようにする - at kaneshin
pythonのクライアントアプリから AWS Batch起動方法 - Qiita
Java(Eclipse)でAWSBatchにジョブ送信 - Qiita
AWS Batchの概念を理解する - goodbyegangsterのブログ
AWS Batchでシェルスクリプトを実行する典型的パターンのご紹介 | DevelopersIO