GitLab-CIで複数のJobを異なるスケジュールで実行したい - notebook
GitLab-CIで複数のJobをスケジューリングして実行したい場合のメモ 単純にスケジュールで実行させるには次のような設定になる .gitlab-ci.yml job1: stage: test script: echo 'hello! job1' only: - schedules job2: stage: test script: echo 'hello! job2' only: - schedules Web UIからスケジュールを登録するとそのスケジュールに対してjob1,job2が実行される job1は毎日実行でjob2は週ごと実行したい場合、CI/CD -> Schedule からスケジュールを2つ作成する必要があるが上記設定だと日ごとと週ごとと両方job1,job2が実行されてしまう 公式のドキュメントを読んでもonly.schedulesを指定するとしか載っていなかったの
GitHubActionsのrepository_dispatchを試す - Qiita
curl -X POST -H "Authorization: token トークン" -H "Accept: application/vnd.github.everest-preview+json" -d '{"event_type": "イベントタイプ(自分で決める)"}' -i https://api.github.com/repos/オーガナイゼーション名/リポジトリ名/dispatches 詳しくはこちら: https://developer.github.com/v3/repos/#create-a-repository-dispatch-event トークンはGitHubでSettings > Developer settings > Personal access tokensで作成できます。作成するときにはrepoスコープについての権限を付与することを忘れないでください。
microcmsの投稿をgithub actionsでビルドする
制作を始めた当初は、Micsrocmsの投稿内容をNetlifyで静的ページへビルドを行なっていました。 Netlifyの無料プランでは、ビルド時間が無料で300分利用できます。よほど規模の大きなサイトにならない限り、この制限を考慮しなければならない状態にはならないと思います。 ただ開発が手探りだったこともあり、300分を使い切りそうになってしまうことがありました。そこで、代替手段とGithub Actiosnで静的ページへとビルドを行い、Netlifyへデプロイする方法に変更しました。 name: deploy on: repository_dispatch: # github actionsを呼び出すイベントを指定 types: [ update_post ] # 呼び出すイベントのタイプ。microcmsで設定します。 branches: [ master ] # 実行するブランチ
他のリポジトリのイベントで GitHub Actions をトリガーする
別のリポジトリのイベントをきっかけとして GitHub Actions の workflow をトリガーするというのをこのブログで設定したのでまとめておく． このブログのソースコードは以下の２つに分かれている． Markdown の文章データを管理するリポジトリ（yaeda/blog-posts）サイトのソースコードを管理するリポジトリ（yaeda/yaeda.github.com）今回，yaeda/blog-posts の方に記事を上げたら，yaeda/yaeda.github.com の方で Build & Deploy を行うようにした． yaeda/blog-posts 側の設定以下の yml コードが 「main ブランチの posts ディレクトリの Markdown ファイルに変更があったら yaeda/yaeda.github.com にdeployというイベントを投げる」
mkdocsでTechサイトを作ろう(2)
年末年始に mkdocs のページの構造をリニューアルして、Notebook とサンプルコードを 別リポジトリに分離したので、修正した内容をまとめておこうと思います。 submodule 化 今回やったのは、SampleCode ページの別リポジトリ化。 この２つのページは、指定のフォルダ以下にある Python ファイルや Notebook(ipynb)を自動で Markdown に変換して ページに載せています。 私はコードをテストするときに JupyterNotebook を多用しているのですが 今までは別のフォルダでテストして、公開してよさそうなものを Tech ページのリポジトリにコピーしてから Push していました。 なのですが、性質上サンプルコードも Notebook も単独のリポジトリに分離したかったので この２つをサブモジュールにして サブモジュール側に Push した
エンジニアのための「DevOpsを学ぶ。」書籍３選！｜たけ｜復活のITエンジニア
「DevOps」とは？説明できますか？ 「DevOpsってなんか良さそうだけど、何が嬉しいの？」「結局、どんなことに取組めばいいの？」そんな疑問に答えるのは、なかなか難しいのではないでしょうか？ 私も「DevOpsやるぜ！」という意気込んだものの、何から手を付けていいかわかりませんでした。 そこで、「DevOps 書籍」でググってヒットした書籍を片っ端から読んでみることにしました。 難解な書籍を解読するのはなかなか大変だったものの、なんとか「DevOps」に対して一定の理解を得ることができました。例えば、以下のような感じです。 アジャイル開発はDevOpsの入口 ツール導入はDevOpsの手段の１つ カイゼン活動はDevOpsの前提 今回は、読み漁った書籍の中からDevOpsを理解するために「この書籍は外せないよね」という推しの３冊を紹介します。 ではいってみましょう。 １. The De
5 Minute DevOps: 2022 Reading List
I’m frequently asked what resources I’ve found most useful on my learning journey. Here are my recommendations for both technical and non-technical people who want to improve organizational outcomes. These are in no particular order. Engineering the Digital Transformation: (Everyone) The hardest part of organizational improvement is getting alignment on goals. Gary Gruver’s book and related traini
API Gateway+Lambdaで稼働中のアプリケーションをApp Runnerに置き換え可能かどうか検証してみた
同時実行を超えたとき、瞬時にアクティブインスタンスが増えてリクエストが処理されることを期待していたのですが、実際には受けきれなかった時点でスロットリングされ、その後アクティブインスタンスを増やすという動きになるようです。 最小サイズ（プロビジョニングされたコンテナ数）を上げることでアクティブインスタンスが増えるまでの時間は短くなるようですが、それでもリクエスト量によってはスロットリングの発生を防ぐことは難しそうです。 コスト App Runner のコストは、コンテナに対する課金のみです。プロビジョニングされたコンテナ（Provisioned container instances）はメモリだけのコストがかかり、アクティブなコンテナ（Active container instances）はメモリと vCPU のコストがかかります。 プロビジョニングされたコンテナは、サービス提供中のときは最
AWS入門 - App Runner 使ってみる
AWSを使う必要が出てきたので、色々と試してみる。 ここでは、App Runner を試す。 AWS App Runner App Runner は CaaS と PaaS をミックスしたようなもの。 Dockerイメージを元にアプリケーションをデプロイできるし、PaaSのように指定された形式のソースコードを元にアプリケーションをデプロイできる。 ECSにデプロイする環境を抽象化したようなイメージ。 Elastic Beanstalkの方がイメージとしては近いのかもしれない。 サービス 1つのイメージorソースコードを元に、1つのサービスが作成される。 パイプラインとかロードバランサーとか実行環境とかを1つにまとめたもの。 App Runnerを使ってみる サービス作成 まずは、サービスを作成する。 ここでは、ECRにあるイメージを元に作ってみる。 DockerイメージはCodePipel
App Runnerの特徴9つまとめてみた - Qiita
はじめに 今回は、今年5月くらいにローンチされたAWSの新サービス、APP Runnerについて特徴的な部分をピックアップしまとめていきます。(ハンズオン系の記事はいっぱいあるので、、) また、内容はHello AWS App Runnerから抜粋し、まとめているので詳細を知りたい人はこちらがオススメです。 App Runner 特徴その１ ECRにコンテナイメージをpushするか、GitHubにソースコードをpushすると、それを検知し、App Runnerがいい感じにコンテナをデプロイしてくれる。(code buildなどがいらないし、VPCとかセキュリティグループの設定もいらない) 特徴その2 コンテナがデプロイされるとApp RunnerがマネージドのLBを設定してくれる。 特徴その3 今までは、Webアプリを仕様に合わせデプロイするときに、コンテナ管理とかVPC周り、ALB,NL
新サービスAWS App Runnerがローンチされたので試してみた | DevelopersIO
はい、どーも！CX事業本部の吉田です。 新サービスApp Runner 新サービスApp Runnerがローンチされましたね。 App Runner は Web アプリや API サーバの実行に必要なネットワークやロードバランサなどをフルマネージドに提供します！ パイプラインやオーケストレータについても一切考えずにお手元のコードを AWS 上で実行できて最高です✨✨ / "Introducing AWS App Runner ..." https://t.co/o7Vke20gFm 2/n — Tori Hara (@toricls) May 18, 2021 App Runnerはざっくり言うと、コンテナ化したWebアプリを簡単にデプロイできるサービス。ロードバランサやAuto Scaling、果てはソースコードリポジトリと連携したパイプラインの仕組みまで、フルマネージドで提供するサービ
AWS App Runner と ECS それぞれで同じアプリをデプロイして比較してみる - Qiita
こんにちは、Masuyama です。 別な記事では、AWS App Runner を使って手軽にコンテナ式アプリをデプロイできることを学びました。 その時は確かに少ないステップでデプロイできることは分かっていただけたと思うのですが、別なサービス (ECSとか) でデプロイする時との違いが分かりにくかったかもしれません。 そこで、App Runner と ECS のそれぞれで同じコンテナアプリをデプロイし、App Runner がどれだけ簡単かを分かっていただこうかと思います。 前回は Workshop に従いましたが、今回はPython の軽量 Web フレームワークの一つである Flask を App Runner でデプロイしてみましょう。 0. 前準備 (共通手順) App Runner 版、ECS 版のどちらでも共通となる コンテナイメージの準備 だけは共通手順として実施します。
Argo Workflowsの設定や文法
というような感じになっていて、目的や供与可能なコスト分を考えながらここらへんをうまいこと組み合わせてデータ基盤というのは構築される。 最近では多くの企業でデータエンジニアというポジションが募集されており、データエンジニアは何をしているかというとここらへんの構築・整備を行う。 正直なところデータエンジニアの仕事というのはエンジニアリング的に難しいことは何もなくて、基本的に社内政治に振り回されながら泥臭い作業を行うだけの妖怪になるという悲しい役割に終始するのだけれど、ひとまず業務としてはワークフローエンジンの整備を行う。 ワークフローエンジンに何を使うかについては結構トレンドがあり、少し前(だいたい5年前とか？)はDigdagを使うのが主流だったのだけれど最近はユーザーも離れてしまいあまり開発も活発ではなくなってしまっており(DigdagはJavaで作られているのだが最近のLog4jの問題が発
起動に失敗するAmazon ECSタスクのデバッグにはtracerを使おう
Amazon ECSタスクが正常に起動しなかった時、ECSイベントログやらCloudWatch LogsなどAWSコンソールをあちこち巡回するはめになります。 そんなときは、GitHub - fujiwara/tracer: ECS task event/log tracer CLI の出番です。 ECS タスクの 関連ログをまるっと取得できます。 $ tracer クラスターID タスクID と実行します。 クラスターID だけを取得すると、タスクIDの一覧を取得できます。 $ tracer demo-test-Cluster-XCK99q2PJPe8 1671014b153943b4aa29e5ed50c837f7 demo-test:1 RUNNING RUNNING 2021-12-30T12:46:32+01:00 service:demo-test-Service-XCB1Q6
COTOHA API を (あらためて) 使ってみる - Qiita
COTOHA API を Python で利用する for Developers プランに対する COTOHA API Client クラスを Python で作成しました。2 おおよその雛形は中の人が書いたこちらの記事を引用しています。 若干修正が必要だった箇所に手を加えたり, リファクタリングしたり, この記事以降に追加された機能も使用できるようにしました。 イニシャライザに渡す情報はマイページに表示されているものをそのまま指定してください。 cotoha_api_client.py import urllib.request import json class CotohaAPIClient: """ COTOHA API クライアントクラス """ def __init__(self, client_id, client_secret, developer_api_base_url
Future社員が使っているWindows便利ツール（新人さん向け） | フューチャー技術ブログ
はじめにこんにちは。2020年4月入社の青柳です。タイトルにある通り便利ツールをまとめてみました。 今回は、新入社員や入社前の大学生をターゲットに、誰でもすぐに使えるツールを紹介しているので、まだ使っていないツールがあればぜひ使ってみて下さい。 ※前提としてwindowsの方向けなので、Macの方はごめんなさい🙇🏼 everything https://forest.watch.impress.co.jp/library/software/everything/ ファイルやフォルダを超高速で検索できるツール。 あのファイルどこにあったっけ？？の問題が一瞬で解消できます。私も初めて使った際は、検索のスピードの早さに驚きました。 しかも設定すればファイルサーバーの中も検索できます。 もはや必須ツールですね。 cribor https://forest.watch.impress.co.jp
Amazon EKS が Internet Protocol version 6 (IPv6) をサポート
Amazon Elastic Kubernetes Service (EKS) が IPv6 をサポートしたことにより、お客様は Kubernetes 上のコンテナ型アプリケーションをプライベート IPv4 アドレス空間の限界をはるかに超えてスケールし、最小限の複雑さで高いネットワーク帯域幅を実現することが可能になりました。 Kubernetes はフラットなネットワークモデルを採用しており、各ポッドは IP アドレスを受け取る必要があります。この簡略化されたアプローチは、仮想マシンからコンテナへのアプリケーションの低摩擦移植を有効にしますが、多くのプライベート IPv4 ネットワークが備えていない大量の IP アドレスが必要となります。さらに、IPv4 ベースのネットワークで動作するクラスターでは、インターネットサービスとのポッド通信を有効にするために、複雑なネットワークルーティング設定
NEC、交通状況測定やインシデント検知の実証実験、5G、AI、4K映像を活用 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 市場動向 ＞ NEC、交通状況測定やインシデント検知の実証実験、5G、AI、4K映像を活用 AI AI記事一覧へ [市場動向] NEC、交通状況測定やインシデント検知の実証実験、5G、AI、4K映像を活用 2022年1月7日(金)IT Leaders編集部 リスト NECは2022年1月6日、交差点における交通状況の測定やインシデントの検知に5G/AI/4Kカメラ映像を活用する実証実験を行うと発表した。実証実験の対象は「車および歩行者の交通状況測定の技術検証」「人物の倒れ込み・害獣の進入等のインシデント検知の技術検証」「撮影映像に対するプライバシー保護対応の技術検証」の3つ。秋田県秋田市・大町4丁目地内の交差点ｘ、東京都新宿区・新宿副都心四号線入口交差点ｘで実施する。 NECは、交差点における交通状況の測定やインシデントの検
ブラウザで動作＆TwitterやYouTubeも購読可能なRSSリーダー「Feedbro」を使って情報収集を爆速化してみた
GIGAZINE編集部では、世界中の情報を収集しまくるためにRSSリーダーを用いて数多くのウェブサイトの更新をチェックしています。しかし、独立型のRSSリーダーを使う中で「ブラウザとRSSリーダーを往復するのが面倒」「TwitterやYouTubeチャンネルの更新もチェックしたい」といった不満＆要望が生じたので、ブラウザ上で動作＆RSSだけでなくTwitter・YouTube・Instagram・Facebook・Redditといったウェブサービスの更新通知も可能なRSSリーダー「Feedbro」の使い勝手を試して乗り換え候補になり得るのか確かめてみました。 Feedbro - RSS Feed Reader with built-in Rule Engine https://nodetics.com/feedbro/ ・目次 ◆1：Feedbroのインストール手順 ◆2：Thunderb
[アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO
またまたドキュメントをながめていたところ、待望のアップデートを見つけたのでシェアします。 AWS WAFのWebACLトラフィックログをCloudwatch LogsまたはS3に直接出力することが可能になりました！ AWS WAFのWebACLトラフィックログ 従来は以下記事のようにKinesis Data Firehoseを介してCloudWatch LogsまたはS3に出力する必要がありました。 今回のアップデートでAWS WAFから直接CloudWatch Logs、S3に出力可能となりましたので控えめに言って最高のアップデートですね！ 注意点 CloudWatch Logsロググループ名およびS3バケット名はaws-waf-logs-から始まる名前であること Kinesis Data Firehoseも配信ストリーム名でも同じ制約がありましたが、CloudWatch Logs、S3
![[アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a40565a486672c7039cb5c926f432f33218cbc0e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-waf.png)
オブジェクトのメソッド一覧的なものを取得するーdir・callable・getattr関数:Python
Pythonで未知のライブラリ等を利用する場合に、dir関数等の利用が必須です。 ただdir関数では、すべての識別子が出力されてしまう難点もあります。 例えば、openpyxlの場合以下のような結果となります。 >>> import openpyxl >>> dir(openpyxl) ['DEFUSEDXML', 'LXML', 'NUMPY', 'PANDAS', 'Workbook', '__author__', '__author_email__', '__builtins__', '__cached__', '__doc__', '__file__', '__license__', '__loader__', '__maintainer_email__', '__name__', '__package__', '__path__', '__spec__', '__url__',
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
APIを使用したパイプラインのトリガー | GitLab
How to trigger a specific job in gitlab
How to install Docker using ansible - Alex Hernández
GitHub - fujiwara/tracer: ECS task event/log tracer CLI
Want to Create REST APIs Without Any Server? Go Serverless