GitHub上にあるリポジトリに対してAPIを通じてgit grepライクに走査できるツール gh-grep (gh grep) を作った - Copy/Cut/Paste/Hatena
git grep 便利ですよね。 私は git grep と git gsub は本当によく使います。 ところで git grep はローカルリポジトリがないと実行できません。 ローカルにリポジトリがなければ git clone して、 git grep すればいいのですが、もう少し簡単にgrepするために gh-grep を作りました。 github.com gh-grep gh-grepはGitHub APIを使ってGitHub上のリポジトリに対してgrepをするツールです。 特徴は、全てGitHub APIを通じて実行するためローカルに git clone することなくgrepできることです。 また、APIを使っている特徴を活用して複数リポジトリに対してgrepすることなども可能になっています。 あと実行が遅いです。ひたすらGitHub APIを叩いているので...*1。 インストー
GoはいつGCするのか?
TL;DR Go(のランタイム)は以下のタイミングで自動的にGCを実行する 前回のGC後に占有していたメモリと同量を新たに確保したとき 前回のGCから2分後 cgroupなどでメモリ制限しているときは、メモリ使用量が制限の50%以上になったらruntime.GC()を呼び手動でGCすべきである 前置き: GoとOOMのこれまで 以下はGo 1.16での調査結果です。Goのバージョンが異なった場合は事情が異なる可能性があります。 Goでプログラムを書く際に、使用メモリ量を気にしなければならないシーンはGCのおかげでそう多くはありません。実際それは間違いではないのですが、運用まで視野に入れるとそうは言ってられないことがあるのもまた現実です。昨今はコンテナの利用が当たり前になったことに伴い、OOMによりプロセスが強制的に終了させられることもあり、それを避けるために一定量以下のメモリで動くことが重
Kubernetesをとりまくコンテナランタイムの栄枯盛衰 / The rise and fall of the container runtimes surrounding Kubernetes
A talk at Kubernetes Novice Tokyo #10
セキュリティの不十分なKubernetesインスタンスに悪用のおそれ
概要 Unit 42のリサーチャーは2020年10月から2021年2月までインターネット上のセキュアではないKubernetes（k8sとも）クラスタを定期的にスキャンして分析してきました。Kubernetesクラスタの構成上のセキュリティは強化が可能で、また必要でもあります。そのように構成されていない場合、IPやポート、APIを知っていれば誰でも匿名でこれらのクラスタにアクセスできてしまいます。私たちのチームのリサーチャーが特定したセキュアではないKubernetesクラスタは2,100個あり、それらは5,300個のノード、31,340個のCPU、75,270個のポッドで構成されていました。これらセキュアではないクラスタは、Eコマース、金融、ヘルスケアなどのセクタの組織によって運用されており、さまざまなアプリケーションが実行されています。APIトークンやデータベースの認証情報、ソースコー
Spring BootのREST APIをAWS Fargateにデプロイしてみた | DevelopersIO
はじめに おはようございます、もきゅりんです。 皆さん、フレームワーク使ってますか？ 自分は特にジャバーではないのですが、本稿ではお勉強も兼ねて Spring Boot を使って Fargate に APIをデプロイしてみました。 なお、Spring Boot に詳しいわけでは全然ないので、淡々と公式ドキュメントに沿ってAPIを作り、Dockerイメージに仕上げます。 Fargate はちゃんと動くかだけを確認しておきます。 そのため、Spring Boot および Fargate がどんなものでどんな特徴があるのか、といったコンテンツはございません。あしからず。 そういった方には下記 Fargate ブログは適切です。 基礎から応用までじっくり学ぶECS Fargateを利用したコンテナ環境構築 #Fargate | Developers.IO やること Spring Boot でRES
API Gateway + Lambda + Rust で開発する (2021-01) - eagletmt's blog
まとめ netlify_lambda を使う Lambda の Docker イメージサポートを利用する aws-lambda-rie-gateway を使う この構成で Slack の interactive message や block kit で遊んだサンプルがこれ https://github.com/eagletmt/misc/tree/master/rust/slack-slash-command-sample Rust 向けの Lambda Runtime lambda-runtime という準(?)公式の crate がある https://github.com/awslabs/aws-lambda-rust-runtime が、リリースが滞っている。 現在リリースされている中での最新版では async/await の対応すら入っておらず、現在の Rust では正直使い物
Dockershimを非推奨とした「Kubernetes 1.20」が正式リリース。Graceful node Shutdown機能がアルファ版で登場など
Dockershimを非推奨とした「Kubernetes 1.20」が正式リリース。Graceful node Shutdown機能がアルファ版で登場など オープンソースとして開発されているコンテナオーケストレーションツール「Kubernetes」の最新版「Kubernetes 1.20」正式版がリリースされました。 We just released #Kubernetes 1.20, our third and final release of 2020! This release consists of 42 enhancements: 11 enhancements have graduated to stable, 15 enhancements are moving to beta, and 16 enhancements are entering alpha. https://
KubernetesのDockershim廃止における開発者の対応 - inductor's blog
はじめに 今朝に書いたブログが思ったより反響が大きくて、「Dockerが死んだ」という勘違いをされている方も多かったので追加でエントリーを書きました。 blog.inductor.me 決してそんなことはないので、対応が必要なケースを見ていこうと思います。 はじめに 対応が必要ではないケース Kubernetesを使わない人たち 本番はKubernetesでも、開発にDocker Composeを使っているデベロッパーの開発環境 対応が必要なケース 開発環境でも手元でKubernetesを利用する人たち NVIDIA DockerをKubernetesで使っている人たち Kubernetesワークロードの中で「Docker in Docker」や「Docker APIに依存した処理」を動かしている場合 Dockerの機能を使ってこれまでやっていたことについて 対応が必要ではないケース Ku
Dockerハンドブック - 教会エンジニアの開発日記
Dockerの概念や仕組みまではなんとなく理解できるもののDockerfileを書こうとするとスムーズに書けなかったり、そもそものDockerの基礎、あるいはコンテナ技術というものの基礎が抜け落ちていてDocker環境に移行できていないところも多いのではと思い、この記事を翻訳しました。 Source：The Docker Handbook by Farhan Hasin Chowdhury（@Twitter） 本記事は、原著者の許諾のもとに翻訳・掲載しております。 コンテナ化の概念自体はかなり古いですが、2013年にDocker Engineが登場したことで、アプリケーションのコンテナ化がはるかに簡単になりました。 Stack Overflow Developer Survey-2020によると、 Dockerは#1 最も望まれるプラットフォーム、#2 最も愛されるプラットフォーム、および
次世代デジタル保険を支える監視・通知の技術
こんにちは、今年の8月から Finatext で保険事業のプロダクト開発に携わっている孝橋( @toshipon ) です。 まだ入社1ヶ月も経っていませんが、入社間もなくして私も少し関わった、保険事業として待望の第一弾のサービス「母子保険はぐ」がリリースされましたので、サービスのご紹介をしつつ、保険事業で取り組んでいる「金融を“サービス”として再発明」するためのインフラ構築での取り組みについてお話しできればと思います。 「母子保険はぐ」と保険事業の紹介最初に、弊社の保険事業について簡単にご紹介できればと思います。2020年8月24日に、産前産後のお母さんと産まれた赤ちゃんのための保険である、「母子保険はぐ」をリリースしました。
秒間3万リクエストをkubernetesでさばく - Gunosy Tech Blog
こんにちは！スタンディングデスクを導入して快適な開発環境と運動不足の両方を解消できるようになったのではと感じている、広告技術部のUT@mocyutoです。 今回は半年ほどEKSを運用して秒間3万リクエストのトラフィックをさばくほどになりました。 秒間3万は広告システムだと割とあるとは思いますが、kubernetesでも運用できているので紹介しようと思います。 対象のEKSで構築したサービスは広告の配信サーバです。 広告配信サーバの要件として、まず50ms以内にレスポンスを返さなければいけません。 構築したk8sのレスポンスタイムの99パーセンタイルは10msほどで返せています。 以下は必要最小限のクラスタの構成図です。 全体像 API 弊社のサーバサイドはほぼGoで作られているので、例に漏れずGoで作られています。 pod構成はAPI、fluentd、envoyの サイドカーパターン です
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
Amazon EKSでRails API アプリケーションを動かす - Qiita
概要 巷で話題のAmazon EKSを使ってRailsアプリを動かしてみました。 チュートリアルに毛が生えたくらいの内容です。 EKS とは AWSでやってるkubernetesのマネージドサービス。 以下のリージョンで利用可能。（2018.06.18現在） 米国西部 (オレゴン) (us-west-2) 米国東部 (バージニア北部) (us-east-1) 載せるアプリ Rails : 5.2.0 Ruby : 2.5.1 DB : PostgreSQL 今回、DBにはRDSを使用した。 しかし、ストレージクラスというものを使うとkubernetes上でストレージを用意できるっぽい。 これを使うとDBのような永続化が必要なサービスも動かすことができる。 必要なもの バージョン1.15.32以降のAWSCLI Amazon EKSを触るのに必要 brew版は 1.15.32以降 の要件が満
Azure Web Apps and Linux/Containers について知るべきこと - 日本語意訳 - Qiita
この記事について この記事は、Things You Should Know: Web Apps and Linux という記事を要約＆意訳したもの。 App Service on Linux / Web App for Containers について、使い始めてチュートリアルを終えたあたりから気になってくるポイントがまとまっている。 元記事のヘッダ見出しごとになるべく短め（省略含む）に書いているため、内容詳細はぜひ元記事を参照いただきたい。 本文 Azure App Service on Linux は、Microsoft が提供するランタイムスタック一式でWeb App を利用できる。 Web App for Containers は、Azure Container Registry や Docker Hub、またはプライベートなレジストリ上の独自のDockerコンテナを利用することがで
Slack上からさくらのクラウドを操作できるbotをつくった
Slack上からインタラクティブに さくらのクラウド のリソースを操作するbot（sacloud-bot）をつくった。サーバの作成、一覧取得、電源操作ができたのでひとまず公開する。 つくったもの Slack上のbotと対話しながらサーバ作成などができるbot。 APIを叩くのも面倒だし、コントロールパネルを開くほどでもない。そんなときに使って欲しい。 また、Slack上で完結しているためスマホやタブレットからでも、通信量をほとんど気にせずにサーバの操作ができる。 実装済みの機能 サーバの作成（ディスク含む） サーバの一覧取得（全ゾーン対象） サーバの電源操作（起動、停止のみ） 今後したいこと 各リソースに対する操作全般の実装 リファクタリング テストの追加 操作全般は全部するのは大変なので、簡単な部分だけを実装したい。 インフラ構成するならコントロールパネル使ったほうが早いし楽だしね！ リ
Dockerの将来
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
アプリ開発者もインフラ管理者も知っておきたいDockerの基礎知識
Dockerは、コンテナーでアプリケーションを実行するために以下の機能を持ちます。 コンピューターリソースの隔離および制限 他のホスト、他のコンテナーとのネットワークの構成 ファイル／ディレクトリの世代と差分の管理 Dockerの特徴の1つとして、新しい独自技術はほとんど使っていないということがあります。コンテナー管理に必要となる既存のOSS（オープンソースソフトウェア）を組み合わせて、コマンドラインおよびREST APIで手軽かつ効率良くコンテナー管理ができるようになっていることが、Dockerが広く支持され、注目されている理由だと思います。 レッドハット、AWS、グーグルもDockerを採用 例えば、レッドハットのPaaS（Platform as a Service）であるOpenShiftの次期プラットフォームではDockerが採用されるようです。また、AWS（Amazon Web
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker でフロントエンドとAPIを開発してみた
Introducing Dockercast – the Docker Podcast | Docker Blog
GitHub - GraftJS/graft: full-stack javascript through microservices
