CloudflareがMastodonに対応したActivityPub実装、Wildebeestを作ってたので紹介します。一部有料です
2023/08/02追記：2023/07/31にメンテナンスに関する警告が追加されました。 ⚠️ This project has been archived and is no longer actively maintained or supported. Feel free to fork this repository, explore the codebase, and adapt it to your needs. Wildebeest was an opportunity to showcase our technology stack's power and versatility and prove how anyone can use Cloudflare to build larger applications that involve multiple system
s3s - ディレクトリ検索するようにS3 Selectを実行するOSSを書いた - KAYAC Engineers' Blog
この記事は Tech KAYAC Advent Calendar 2022 の10日目の記事です。 サーバサイドエンジニアのkolukuです。 今回は、ディレクトリ検索するようにS3 Selectを実行する社内向けツールをOSSとして作った話です。 過去のこの人のアドベントカレンダーはこちら（折りたたみ） 2021年 techblog.kayac.com 2020年 techblog.kayac.com TL;DR ディレクトリ検索するようにS3 Selectを実行するOSSを書いた brew install koluku/tap/s3s ALBやCFのログに対しても便利なオプションを用意したため新規プロジェクトでスタートダッシュしやすくなった OSS書くことで今までの学びを活かすことも、新たに得ることもできた TOC TL;DR TOC S3 Selectとは 例: 管理画面 例: aw
JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利
JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利 2022-06-13-1 [Programming] コマンドラインでの JSON の操作には jq (軽量JSONパーサ)[2017-10-24-1] を使っています。万能で便利なんですが、奥まったところにある値だけを取りたいときとかちょっと面倒なんですよね。ちらっと値を見たいだけなのにおおげさになっちゃいがち。 ということで、 gron というのを使ってみました。 GitHub - tomnomnom/gron: Make JSON greppable!JSONをgrepしやすくするコマンドラインツールgronの紹介 - Qiitagronでjsonの扱いが楽になった話 – Tower of Engineers あ、これでいいや。 いわゆる「顧客（＝私）が本当に必要だったもの」だわ。 例えば、
インフラエンジニアが学ぶと良さそうなgRPCサーバーについて - じゃあ、おうちで学べる
3-shake にはSreake共有会 という毎週、火曜日と木曜日に担当者が現場で得た知見などを発表する社内勉強会が開催されています。こちらのブログはそれらを変更修正しております。 syu-m-5151.hatenablog.com 元々しようとしていたの話 Go 1.18 の最新情報←Generics の深い話とかはもう既出すぎて気になる人は読んでる Go でのTDD(が実は20周年なので)←書いてる途中で自分が言うべきことなんてないことに気付く 今後、案件で増えるであろう gRPC についてインフラエンジニアが知っておいても良いと思ったという話 ← 今ここ TL;DR protobuf (Protocol Buffers) はデータフォーマットで、JSONの役割を置き換えるものです。一方 gRPC は通信プロトコルで、HTTPの役割を置き換えるものです。 gRPC をライブラリやツール
【小ネタ】S3バケットのバケットポリシーを一括でいい感じに取得する #AWSCLI | DevelopersIO
AWS CLIを使って S3バケットのバケットポリシーを取得するには、get-bucket-policy コマンドを使用します。 get-bucket-policy — AWS CLI 1.11.143 Command Reference でもこの場合、バケットポリシー自体はエスケープされた状態で出力されてしまいます。 例えばこんな感じに（backet-xxxxxxxxがバケット名）： $ aws s3api get-bucket-policy --bucket backet-xxxxxxxx { "Policy": "{\"Version\":\"2008-10-17\",\"Statement\":[{\"Sid\":\"\",\"Effect\":\"Allow\",\"Principal\":{\"AWS\":\"arn:aws:iam::1234nnnn5678:role/xxx
Katacoda を使って学習コンテンツを作ろう - kakakakakku blog
環境構築をせずにブラウザを使ってサクッと学ぶときによく Katacoda を使っている．過去には Envoy や Kubernetes を学ぶときにも Katacoda の学習コンテンツを使った．本当に便利なプラットフォームでお世話になっている👌 Katacoda - Interactive Learning Platform for Software Engineers Try Envoy を "ほぼ" 完走した - kakakakakku blog 2021年2-3月に CKAD と CKA を受験した / 受験 Tips と 勉強方法をまとめる - kakakakakku blog Katacoda で簡単に学習コンテンツを作れる！ 最近個人的に「学習コンテンツ（ハンズオン）」を作る予定があり，手順書だけではなくサクッと試せる環境もあったら良いなぁーと思って調査をしていたら，Kat
Mac版DevToysがなかったので3日で作って公開した。 - Qiita
きっかけ こちらの記事で紹介されていたDevToysを使ってみたら非常に便利で、これは日常使いしたい！となりました。 しかしなんということでしょう。DevToysはWindowsアプリでありmacでは使えないではないですか！iOS・macアプリ開発者の私としてはmacを捨てるわけにはいかないので、mac版のDevToysを開発しました。 できたもの というわけで3日ほどでmac版DevToysクローンを作成しました。 以下のReleaseからダウンロードできます。 開発 可能な限り高速で開発をする必要があったため、他のOSSどううまく使うかが勝負です。 アプリ全体 他の開発中のmacアプリからユーティリティ系コードは大部分を流用しました。 これでだいぶ開発が楽になります。 Json <> Yaml OSSのYamsを用いて実装しています。本家DevToysではなぜか Yaml -> Jso
rss-proxy – 非対応のwebサイトからRSSやJSONを生成する、セルフホストもできるOSSツール
rss-proxy – 非対応のwebサイトからRSSやJSONを生成する、セルフホストもできるOSSツール damoeb/rss-proxy は、ウェブサイトが RSS feed を提供していなくても、HTML の構造から類推した新着情報を切り出してくれるオープンソースのツールです。 feed を提供してないウェブサイトのURLを入れると、html の構造から列挙になっている箇所を探し出し、生成する新着 feed の候補を並べてくれます。 それぞれの候補が差している箇所は赤点線で示されるので、ここが自分の欲しい新着情報だと思ったら、右下のfeed生成ボタンを押すと、RSS feed が生成されます。 RSS/ATOM 形式だけでなく、JSON を生成することもできるので、プログラムから利用したい場合はそちらが便利という人もいるでしょう。 デモサイトもあるのでここで動作を試すこともできます
Terraformで予防的ガードレールを実装したい！「Terraform-Compliance」のご紹介 | DevelopersIO
Terraformで予防的ガードレールを実装したい！「Terraform-Compliance」のご紹介 7月7日はクラスメソッドの創立記念日です。今日は次々にブログ記事があがってくることでしょう！ また、わたくしゴトですが 18 期からコンサルティング部の部長を務めさせていただくことになりました。「あいつ、部長になったらブログ書かなくなったよな」と後ろ指さされないように、ブログの書ける部長として頑張っていきたいと思います。 ここから AWS が一般的に利用されるようになった昨今最近では単に AWS を使いたいという相談よりも、どうやって AWS 環境をうまく運用するべきか？というご相談が多くなっているように感じます。よくある相談の 1 つが「ガバナンス」です。 ある程度ユーザーに権限をもたせ自由にリソースを作成できるようにした結果、 「パブリックアクセスで S3 を公開してました、、」
ECS Fargate でshell を起動する - y-ohgi's blog
TL;DR ついに kubectl exec 的な機能がECS にもきた https://docs.aws.amazon.com/AmazonECS/latest/developerguide/ecs-exec.html 既存のコンテナに新しくなにかをインストールする必要はなく、SSM 経由でつかえる やる チュートリアルのとおりにやる。 https://docs.aws.amazon.com/AmazonECS/latest/developerguide/ecs-exec.html タスク用IAMロール作成 SSM 経由でECS へコマンドを実行するため、その権限用のIAM ロールを作成。 名前は ecsTaskRole にし、Principalは "Service": "ecs-tasks.amazonaws.com" 。 インラインポリシーで以下を定義。 { "Version": "
【初中級編】Go言語を始める方のための落とし穴、問題の解決方法やよくある間違い - Qiita
こちらの記事は、Kyle Quest氏により公開された『50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 初心者(Total Beginner)向けの和訳は 【初級編】Go言語を始める方のための落とし穴、問題の解決方法やよくある間違い があります。本記事は初中級者(Intermediate Beginner)向けの和訳です。 初中級者向け HTTPレスポンスボディのクローズ HTTPコネクションのクローズ JSONエンコーダーが追加する改行 JSONパッケージによるキーと文字列値の特別なHTML文字のエスケープ JSON数値のインターフェース型へのデコード 16進数や非UTF8のエスケープシーケンスがJSON文字列値として使え
Requests: HTTP for Humans — Requests 2.4.3 documentation
Requests: HTTP for Humans™¶ Release v2.32.3. (Installation) Requests is an elegant and simple HTTP library for Python, built for human beings. Behold, the power of Requests: >>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) >>> r.status_code 200 >>> r.headers['content-type'] 'application/json; charset=utf8' >>> r.encoding 'utf-8' >>> r.text '{"type":"User"...' >>> r.json()
Goで高速JSONライブラリを作るためにしたこと | メルカリエンジニアリング
他にもまだまだあると思いますが、自分が見たことがあるのは上記になります。 それぞれ見比べてみると、やはりエンコード・デコード両方に対応しているライブラリが人気があるようです。 この中で特に人気のある easyjson , gojay , json-iterator/go でベンチマークをとってみた結果、パフォーマンスの良い順に並べると次のようになりました。 gojay > json-iterator/go > easyjson > encoding/json 設計方針の違いがそのまま速度に現れているようにも見えますが、理論上最速にできるはずの easyjson が遅かったりと実装の良し悪しも影響しているようです。 一番遅いのは encoding/json です。そもそも encoding/json が遅いから新しい JSONライブラリを作ろうとしているはずなので、一番遅いのは仕方ないのです
Perlの依存モジュールのアップデートを自動化するためのCLIツールを作った。GitHub Actions上で動かしてPull Requestも送れる - hitode909の日記
近年のソフトウェア開発では、RenovateやDependabotといった依存関係更新のためのツールが普及していて、ツールの支援を借りながら依存ライブラリを更新していく開発フローが広まってきている。 これらのツールは、package.jsonで管理されているライブラリだったり、Dockerfileで指定しているイメージだったりを自動的に最新版に更新してPull Requestを出してくれるので、人間は内容を確認してマージボタンを押すか、変なところがあったら手直ししてからマージしていくだけでよい。 はてなでの開発フローでも使い倒していて、先月くらいにも、社内で共有して使ってる設定を公開したりしていた。今ではRenovateのない暮らしに戻ることは考えられないくらいに広まっている。 developer.hatenastaff.com 普段、仕事ではPerlやTypeScriptを書いていて、T
国税庁法人番号を使った経産省発、法人種別名の抽出コンポーネントのESモジュール版公開
ブラウザやDenoでサクッと動く、法人番号からの検索するESモジュールができました。 好評な経産省によるオープンソース「IMIコンポーネントツール」の7つ道具、一通りできました！ 「IMIコンポーネントツール」法人種別名の抽出コンポーネント追加(src on GitHub) サンプルとしていれている番号はどんな法人でしょう？ [変換]ボタンを押してみまてください。 使い方は簡単です。下記コードを main.html として保存して、ブラウザで開くだけ！ <script type="module"> import IMIEnrichmentHojin from "https://code4sabae.github.io/imi-enrichment-hojin-es/IMIEnrichmentHojin.mjs"; const main = async () => { const json
RFC 8725 JSON Web Token Best Current Practices をざっくり解説する - Qiita
ritou です。 今回は RFC 8725 JSON Web Token Best Current Practices を紹介します。 みんな大好き JWT (JSON Web Token) の BCP ときたらチェックせずにはいられないでしょう。 概要 JWTは 署名/暗号化が可能な一連のクレームを含む、URLセーフなJSONベースのセキュリティトークン です JWTは、デジタルアイデンティティの分野および他のアプリケーション分野の両方の多数のプロトコルおよびアプリケーションにて、シンプルなセキュリティトークンフォーマットとして広く使用/展開されています このBCPの目的は、JWTの確実な導入と展開につながる実行可能なガイダンスを提供することです ということで、何かのフレームワークでもプロトコルでもなければJWTを使ったユースケース考えたよって話でもなく、JWTを導入する上で基本的な部
ISUCON9 予選を全体1位で突破しました
9月8日(日)に開催された ISUCON9 予選の2日目に1人チーム「 nil 」として参加し、全体1位となり本選出場が決まりました。 最終スコアは 52,440 ｲｽｺｲﾝ (ベストスコアは 53,460 ｲｽｺｲﾝ) でした。 このエントリーでは主に参加するまでにやってきたことと、当日やったことについて書こうと思います。 参加するまでにやってきたこと# 練習 (去年)# ISUCON には去年の ISUCON8 で初めて参加し、今年で2回目です。 去年は ISUCON8 に向けて毎週のように過去問の練習をしていました。 1年以上前の記憶ではありますが、今年はあまり練習することができなかったので、この経験や知恵が今回の優勝にも影響したと考えています。 練習 (直前)# 今年は他のことで忙しく ISUCON の練習をする時間が確保できませんでした。 そのため練習できたのは5日(木)から前日
slackのIncoming webhookが新しくなっていたのでまとめてみた - Qiita
会社では通知したい情報をIncoming Webhook経由でSlackに通知しているのですが、項目を変更しようと思ってドキュメントを調べたところ、Webhook周りの方針がいつの間にか変更になっていたようです。 思ったより苦戦したので（とりわけドキュメントが英語しかなく）、把握できたところをまとめてみました。 1. Webhookの設定方法の変更 まず全体的な方針変更として、Incoming Webhookの設定方法が「Webhookアプリによるインテグレーション」から「個別アプリからの登録」に変更になったようです。 旧方式 これまでWebhookは https://{workspace-name}.slack.com/apps のアプリ画面からWebhookアプリにアクセスし、各チャンネルに対してカスタムインテグレーションなるもので設定するようなフローでした。 この方式ではインテグレー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ktock/vscode-buildg: VS Code extension for Interactive debugging of Dockerfile
Terraform: using json files as input variables and local variables | Fabian Lee : Software Engineer