俺のワンタイムパスワードはいつ当たりが出るのか
$ time node index.js 1 *100k searched.. 2 *100k searched.. - snip - 20 *100k searched.. 21 *100k searched.. Found in 21 *100k + 25484 Fri Aug 09 2024 13:22:25 GMT+0900 (日本標準時) 1723177345522 777777 real 1m7.435s 再来年の8月か...楽しみだなぁ... Googleカレンダーに入れなきゃ。 安全性 なんでこんな簡単で面白い事をみんなやらないの？というのは当然の疑問かもしれない。 アカウントとセキュリティ 当然、 ↑で使ったSecretは本物ではなくてデモサイト( https://rootprojects.org/authenticator/ )で生成したものを使っている。このため、仮に
npmパッケージの公開用テンプレートを作ってみました | with TypeScript, Jest, ESLint, Prettier, etc. - mlog
npm パッケージの公開用テンプレート を作ってみました。 本記事ではテンプレートの内容について、簡単に解説したいと思います。 以下は、2020/07/09 時点でテンプレートに含まれる内容です。 TypeScript CI/CD (publish by GitHub Actions) Jest ESLint Prettier EditorConfig husky ※ 上記以外の項目については、テンプレート中の package.json などを参考にしてください。 【目次】 テスト Jest 自動整形 ESLint Prettier editorconfig ビルド & デプロイ セットアップ package.jsonの調整 デプロイ設定 ビルドチェック デプロイ (npm publish) publish unpublish まとめ テスト Jest 以下のコマンドで、テストの実行してく
前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から S3 互換オブジェクトストレージを利用する際、MinIO を使う事で、ローカルに気軽に S3 互換オブジェクトストレージ環境を用意できる。 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck MinIO とは MinIO はオープンソースの S3 互換オブジェクトストレージです。 DuckDB は S3 API 機能を持っており、S3 互換オブジェクトストレージとの相性がとても良いです。 ローカルで試したい時などに Docker Compose で MinIO を用意して利用すると、とても便利です。 Docker Compose ローカルということでセキュリティは一切考慮していません MinIO のイメージを pu
はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
記者会見で謝罪するジャニーズアイランド社長の井ノ原快彦、新社長の東山紀之、前社長の藤島ジュリー景子（左から） Kim Kyung-HoonーREUTERS ＜「水に落ちた犬」としてメディアに叩かれ、企業のCM撤退が始まったジャニーズ事務所。どこで、どの判断を誤ったのか。コンプライアンス専門家が説く「失敗の本質」＞ 9月7日に行われたジャニーズ事務所の会見ほど近年、注目を集めた記者会見はないだろう。ジャニー喜多川前社長による性加害を事務所として認め、藤島ジュリー景子社長は引責辞任した。しかし代表取締役に残留し、社名も変更しない方向という歯切れの悪さに批判の声は鳴り止まない。 この事件は3つの特徴を有している。第一に、日本の芸能界において長年「公然の秘密」だった性加害が「外からの指摘」によって可視化されたことだ。 英公共放送BBCのドキュメンタリー番組"PREDATOR The Secret
We’re excited to announce the General Availability of Docker Bake with Docker Desktop 4.38! This powerful build orchestration tool takes the hassle out of managing complex builds and offers simplicity, flexibility, and performance for teams of all sizes. What is Docker Bake? Docker Bake is an orchestration tool that streamlines Docker builds, similar to how Compose simplifies managing runtime envi
Tailwind CSS v3.0 is here — bringing incredible performance gains, huge workflow improvements, and a seriously ridiculous number of new features. Tailwind CSS v3.0 is here — bringing incredible performance gains, huge workflow improvements, and a seriously ridiculous number of new features. For a tour of some of the coolest new features, check out the “What’s new in Tailwind CSS v3.0” video on our
CDN（Content Delivery Network）やインターネットセキュリティサービスなどを手掛けるCloudflareは2022年9月28日（米国時間）、「CAPTCHA」に代わる無料の認証API「Cloudflare Turnstile」のオープンβ版を発表した。 CAPTCHA（Completely Automated Public Turing test to tell Computers and Humans Apart）は主にWebサービス上で、自動化されたプログラム（bot）によるサービスの不正利用を防ぐための仕組みを指す。数種類の方式があるが、読みにくい文字列（ゆがんでいたり、ノイズが混じっていたりする）が含まれた画像を表示し、ユーザーがその文字列を正しく入力できたかどうかで、人間か否かを判定するものが有名だ。 だが、こうしたCAPTCHAはユーザーにとって煩雑で面
求む！TLS1.3の再接続を完全に理解した方(Challenge CVE-2020-13777) - ぼちぼち日記
1. GnuTLSの深刻な脆弱性(CVE-2020-13777) 先日、GnuTLSで深刻な脆弱性が見つかりました。 GNUTLS-SA-2020-06-03: CVE-2020-13777 It was found that GnuTLS 3.6.4 introduced a regression in the TLS protocol implementation. This caused the TLS server to not securely construct a session ticket encryption key considering the application supplied secret, allowing a MitM attacker to bypass authentication in TLS 1.3 and recover previous c
AWS WAFがあれば安心!? 甘い! 甘すぎる!!「第2回ごーとんカップ」開催 - 次のカミナシセキュリティチャンピオンは誰だ!? - カミナシ エンジニアブログ
初めまして！10 月にカミナシへ入社した いちび(@itiB_S144) です。セキュリティエンジニアリングユニットに所属しつつ、8 月にリリースしたばかりの カミナシ従業員 の開発に携わっています。 先日社内エンジニア向けのセキュリティ競技会「第 2 回ごーとんカップ」を開催しました。ごーとんカップとは、社内のエンジニアが集まって CTF（Capture The Flag） 形式でセキュリティに関する問題、カミナシの開発に関わる問題を一人ひとりが解いて得点を競う大会です。CTFとは、セキュリティなどに関する問題を解いて隠されたキーワード（フラグ）を取得する競技です。 今回は、その運営を担当したので、その様子を紹介します。 ごーとんカップの目的と概要 ごーとんカップはカミナシのエンジニアリング組織におけるセキュリティ文化の醸成を目的としています。カミナシのエンジニア全員参加で、まとまった時
Intro Origin は Web におけるセキュリティモデルの一つとして、コンテンツ間の Communication に関する境界を定義し、リソースを保護してきた。 しかし、 Spectre の発覚以降、 Communication に関する制限だけではなく Isolation によるメモリレベルでのアクセス制御が必要となった。 そこで現在作業されているのが、 CORB, CORP, COEP, COOP といった仕様群であり、これは Web におけるセキュリティモデルの更新作業と見ることができる。 概要と現状について解説する。 DEMO & Resources 量が多いため、動作する DEMO と関連リソースは、ページ下部にまとめてある。 CORS による Cross Origin Communication の制限 CORS は、平たく言えば、リソース提供元(サーバ)が、クライアン
俺達はいつまでも立ち尽くし見つめていた━━━ 数多の IAM ロールが移ろうように連鎖していく、そのさまを。 コンバンハ、「 IAM ロールはお面」おじさんです。 この世で最も大切なもの、それは繋がりであり、そして連なりですよね。 ということで、早速 IAM ロールで 10 連鎖してみました。 いや、せっかくなので 100 連鎖くらい行ってみましょうか。そうしましょう。興奮してきたな。 まとめ IAM ロールはそんな連鎖させるようなもんじゃない。 手始めに IAM ロールを 101 個作ろう 早速、 100 連鎖のために IAM ロールを 101 個作ります。 「 100 連鎖なのに 101 個なの？」と思うかもしれませんが、ヤマタノオロチの「股（首と首の間）」は 7 個しかありませんよね。（「岐」は 8 個あるんですけどね。）それと同じです。 101 個くらいの数なら「温かみのある手作業
GitHub Actionsのローカル実行ツール「act」を使う事でCI/CDコンフィグとローカルでのタスクランナーを1つにする | DevelopersIO
GitHub Actionsのローカル実行ツール「act」を使う事でCI/CDコンフィグとローカルでのタスクランナーを1つにする actというローカル端末でのタスクランナーとしても使える、GitHub Actionsのローカル実行ツールを紹介します。 合わせて私のCI/CDのローカル実行ツールが必要だと思う理由、タスクランナーに対して感じている課題を紹介します。 はじめに おはようございます、加藤です。CI/CDツールとしてGitHub Actionsが2019年11月にリリースされてから一気に広まり、私もファーストチョイスとしてGitHub Actionsを検討・提案する機会が最近増えてきました。 先日、下記のTweetでactというGitHub Actionsのローカル実行ツールがあり、タスクランナーとしても使えるという事を知りとても興味を持ったのでブログにまとめました。 Actってい
GitHub ActionsからAWS APIへアクセスキーなしでリクエストする仕組みをTerraformで構築する - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では、GitHub ActionsとAWS IAMをOpenID Connectを使って連携させ、AWSのAPIをアクセスキーなしで操作する利点と、その仕組みをTerraformで構築する手順についてお話します。 訂正とお詫び(2022/3/22) GitHub Actionsのワークフローを作成するの項において、ワークフロー単位のpermissionsとジョブ単位のpermissionsの関係について正しくない記述がありましたので訂正しました。 正しくない内容を記述してしまったことについて訂正してお詫びします。 GitHub Actio
米国防総省DARPA、C言語のコードからRustへの自動変換実現を目指す「TRACTOR」プログラム開始 アメリカ国防総省 DARPA（Defense Advanced Research Projects Agency：国防高等研究計画局）は、C言語のコードからRust言語のコードへ高い精度での自動変換実現を目指す「TRACTOR」（Translating All C to Rust）プログラムの開始を発表しました。 DARPAは軍事技術の開発および研究を行う機関であり、現在のインターネットはDARPAの前身となるARPAが1967年に開始した「ARPANET」がその起源であることはよく知られています。 DARPAが発表したTRACTORプロジェクトは、C言語のコードからRust言語のコードへの自動変換を高い精度で実現することで、過去にC言語で開発された多くのソフトウェアをメモリ安全なソフ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 私が所属するaslead DevOpsチームでは、日々変化するユーザの開発サーバ構成に対して、セキュリティを保ちつつ開発業務の効率化・自動化ができないかを検討しています。 この記事では、AWSにログインして作業するIAMユーザの扱い方についてご紹介します。AWSの中でもセキュリティの基礎となる重要サービスであり、ユーザの棚卸しや権限の管理に時間を割かれているチームも多いのではないでしょうか。 そこで、Hashicorp社が提供しているVaultを利用し、作業のタイミングでIAMユーザを作成し、終わったら削除するアプローチを考え
人間の営みのオンライン化COVID-19の感染拡大は我々の生活のあり方を大きく変え、これまで物理的に行なっていた営みを、できうる限りオンライン上で行えるようにするという動きを加速している。投票や選挙も、その有力なユースケースとして話題になっている。一方で、投票や選挙のような、民主主義の根幹であり、一方で悪意や攻撃が常に存在しうるユースケースのセキュリティがどのような性質を満たすべきであり、それがインターネット上のプロトコルだけで実現できるのかについて深く考えないと、社会の営みのどこがオンライン化できるのか、という疑問には答えられれない。そこで、本稿では、投票や選挙というユースケースで、物理的な投票ブースがいかに素晴らしい役割を果たしているのかを紐解きながら、ごく一部のセキュリティ要件においても、これが簡単な問題ではないことを述べる。 日本における電子投票の歴史インターネットを通じた電子投票
Rails 8で本番利用可能になったSQLiteをつかうとGoogle Cloudでほぼ無料で運用ができそうな件
はじめに Rails 8が新たにリリースされ、SQLiteを本番環境でも使用できるようになりました。 これまで、Google CloudでRailsアプリを運用する際、Cloud RunとCloud SQLを使うと簡単に構築できて便利だったんですが、Cloud SQLだけで最低月2,000円弱かかってしまっていました。 SQLiteは、PostgreSQLやMySQLと違いライブラリとして動作するため、データファイルを保存できるストレージがあれば別途CloudSQLなどのサービスを使う必要がなくなります。 なので、Cloud StorageのバケットにSQLiteのデータを置いて、Cloud RunでGCSバケットをボリュームマウントとして設定することで、ほぼ無料のRails環境が作れそうと考えて試してみました。 インフラ構成 Cloud RunとCloud Storageの構成にしていま
ISUCON11 予選おつかれさまでした。 ここ数年は参加者として予選敗退を繰り返してきたのだけど、今年はちょっと違う関わり方をしてみるか、と思い 「参考実装の移植」に立候補してみました。 isucon.net Node.js担当として採用していただき、ちょっと不安もあったので id:hokaccha 氏にレビュアーとしてついてもらって、言語移植チームとして加わりました。 ISUCON11予選おつかれさまでした。今回は言語移植チームとしてNode.js実装を担当し、その他 バグ直し太郎として幾つかの言語の実装にcontributeしました— すぎゃーん💯 (@sugyan) August 22, 2021 Node.js 実装 github.com 中身としては素朴な express のアプリケーションで、TypeScriptで実装しました。 mysql clientには mysql2/
【和訳】この少女の裏には誰が隠れているの？：仏紙リベラシオン｜バーチャル美少女ねむ/Nem⚡メタバース文化エバンジェリスト
※こちらの記事、note CXOの深津貴之さん、ジャーナリスト・評論家の佐々木俊尚さんに紹介して頂きました！ noteの編集部のおすすめ記事にも選ばれました！ VTuberをアイデンティティの選択という観点から論じてる論説。興味深い。メモ reading... 【和訳】この少女の裏には誰が隠れているの？：仏紙リベラシオン｜ねむ⚡バーチャル美少女YouTuber｜note https://t.co/D0TtvgyGtF — 深津 貴之 / THE GUILD / note (@fladdict) September 5, 2020 日本のVTuberについて興味深い分析。ネット空間のすべてが可視化され隠れる場所のない時代に、VTuberの複数アイデンティティはアジールの役割を果たしているのかも。／この少女の裏には誰が隠れているの？：仏紙リベラシオン｜ねむ⚡バーチャル美少女YouTuber h
はてなブログ記事のGitHub管理環境「push-to-hatenablog」のセットアップと使い方 - mlog
しばらく、はてなブログから離れていましたが、絶賛、復帰検討中です！ 復帰にあたり、GitHubではてなブログの記事を管理できないかと調べていた所、blogsyncというツールを使えばうまく行きそうだったので、試しに記事管理用の環境を作ってみました。 本記事では、作成した環境push-to-hatenablogのセットアップと使い方を解説したいと思います。 push-to-hatenablogの中身については、別記事で投稿予定です。 目次 目次 簡単な流れ 「blogsync」とは？ 「push-to-hatenablog」について 必要な環境 セットアップ 記事管理用のGitHubリポジトリを追加 push-to-hatenablog をクローン blogsync.yamlの追加 Secretの追加 DOMAIN BSY 「push-to-hatenablog」の使い方 記事の取得 注意事
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
概要 先日、非公式ながらGitHub ActionsのAWSアクションで以下のような面白い機能が発表されました。 よりわかりやすく嚙み砕くとこういうことです。 Circle CIやGitHub ActionsでAWSを使う場合は事前に環境変数にアクセスキーとシークレットキーを登録させてCIを動かしてきましたが、そのためにIAMユーザーを発行して鍵を管理するのは手間だったのでこれはいいアップデートです。 今回はTerraformとGitHub Actionsを組み合わせたCI/CDにこの機能を取り入れてGitHub ActionsにIAMロールを渡してEC2インスタンス構築のCI/CDを実装してみようと思います。 GitHub Actionsを用いたTerraformのCI/CD TerraformでAWSリソースをデプロイする際にGitHub ActionsやCircle CIでCI/CD
TypeScript で記述した Google Apps Script を clasp と GitHub Actions を使ってデプロイする | DevelopersIO
TypeScript で記述した Google Apps Script を clasp と GitHub Actions を使ってデプロイする TypeScript で記述した Google Apps Script を clasp と GitHub Actions を使ってデプロイし、トリガーを使った定期実行をしてみました。 @google/clasp を使うことで CLI で Google Apps Script (GAS) を扱えるため、コードを Git で管理できるようになります。 今回はコードを GitHub で管理し、テストと clasp push を Github Actions で実行できるようにしてみます。 最終的な完成物は下記のリポジトリになります。 https://github.com/hbsnow-sandbox/clasp-github-actions-exampl
覚えられる。理解が深まる。勉強に不可欠な「アウトプット」を “紙に書かずに” やる方法4選 - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
記憶を最も効率化できるインプットとアウトプットの黄金比は「3：7」。精神科医の樺沢紫苑氏によれば、脳科学研究でこう示されているそうです。 簡単に言えば、「インプットしたらその2倍以上アウトプットすると、より効率よく覚えられる」というわけなのですが、多忙なビジネスパーソンのなかには「そんなにアウトプットできてない！」という方が多いのではないでしょうか？ 勉強時間は限られているけれど、アウトプット中心の学習をしたい。 スキマ時間でもできるアウトプット法はないだろうか？ そんな方へ、ノート不要の「書き出さない」アウトプット法をご紹介します。 1. 声に出して説明する 2. 思い出しながらテキストを読む 3. 脳内で議論する 4. 学習前に意識づけを行なう 1. 声に出して説明する 京都大学法学部出身のお笑い芸人・宇治原史規氏は、「エアー授業」というアウトプット法をすすめています。教師になったつも
Linux perf Examples
Recent posts: 29 Oct 2024 » AI Flame Graphs 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan
PR-Agent を使って Pull Request をAIレビューしてみた。（日本語対応もしてみた） - LayerX エンジニアブログ
LayerXの suguru です。 今日は、バクラクの開発に導入した PR-Agentの話をしようと思います。 PR-Agent は、Codium AI によってオープンソースで開発されている ChatGPT を使ったプルリクエストを便利にするためのAIツールです。 現時点で、下記のような機能を持っています。 Pull Request の自動分析およびレビュー Pull Request のタイトルと説明文を自動入力 コード改善の提案 フリーテキストな質問への回答 CHANGELOG の自動生成 必要なものは、 OpenAI のキーのみのため、CIに簡単に導入できます。 GitHub上へのインラインコメントなどにも対応しており、普段開発する際に面倒なプルリクエストに関する様々な作業を自動化することができます。 裏側ではデフォルトで GPT-4 を使っており、ソースコードを解析し、高精度な結
おはようございます ritou です。 久々に「解説付きスライド全公開」的なやつをやります。 先月、チーム内でID連携のための標準化仕様に関する勉強会(私が一方的に話す会)を行いました。 が、実際はだいぶグダグダになってしまい、これはその後色々付け足してるうちに別物になってしまった資料です。 内容としては、ID連携のための標準化仕様にどのようなものがあるかを知ってもらうための「入門編」のような立ち位置で作りました。 OpenID Connect(やSAMLのような) ID連携のための標準化仕様を紹介しようと思うと、ついつい個別にシーケンスやリクエスト/レスポンスの説明を始めがちですが、初学者が気になるのはそんな細けぇことではないでしょう。 まずは「この仕様で何ができるようになるのだろう」「この仕様では何を実現したいんだろう」と言うところから理解していくのが良いのではないでしょうか。 そこで
※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と
Next.js 12.2
We're laying the foundation for the future of Next.js with 12.2: Middleware (Stable): Dynamic routing for your entire application. On-Demand ISR (Stable): Update content without redeploying. Edge API Routes (Experimental): High performance API endpoints. Edge SSR (Experimental): Server-render your app, at the Edge. SWC Plugins (Experimental): Extend compilation with your own plugins. Improvements
自分のTweetsをインクリメンタルに全文検索できるmytweetsを作りました。 また、自分のTweetsをtextlintや単語感情極性対応表や辞書ベースでフィルタリングしてまとめて削除するdelete-tweetsを作りました。 どちらもTwitterのアーカイブを使って今までのすべてのTweetsを対象にしています。 そのため、どちらも最初に次のドキュメントに従って、Twitterのデータアーカイブをダウンロードしておく必要があります。(申請から1日ぐらいかかります) 全ツイート履歴とツイートをダウンロードする方法 | Twitterヘルプ mytweets mytweetsは、Twilogやツイセーブのように自分のTweetsの履歴を全文検索できるサイトを作るツールキットです。 Twitterのデータアーカイブをインポートするので過去全ての履歴に対応していて、 また新しいTwee
Linux Foundation、無料オンラインコース「Kubernetes入門」の提供を開始 - The Linux Foundation
CNCF公認コンテンツを日本語で、15-20時間のコース教材 2025年1月30日 横浜発 ― オープンソースを通じて大規模イノベーションを促進する非営利団体 Linux Foundation は、無料オンラインコース「Kubernetes入門 (LFS158-JP)」の提供を開始しました。本コースは、Kubernetesを使ったコンテナオーケストレーションを検討中または始めたばかりのチームを対象としています。特に、Kubernetesやクラウドネイティブパターンを活用して組織を変革するための指針を求めている方に最適です。ソフトウェアコンテナのオーケストレーションを簡素化し、インフラストラクチャの複雑さを増すことなく Kubernetesの使用を拡大する方法について学習します。Cloud Native Computing Foundation (CNCF) と Linux Foundati
Collin Rugg @CollinRugg REPORT: Donald Trump says a last millisecond head tilt likely saved his life as slowed-down footage shows the bullet grazing his ear. If Trump hadn't moved his head, the bullet would likely have hit the rear of his head, ending his life. Trump says he turned his head to look at the illegal immigration statistics that were on the big screen at his rally. "That chart that I w
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
2022年末に登場、一躍テクノロジー業界の話題を席巻したAIチャットボット「ChatGPT」 自然な文章で情報を提供するこの「ChatGPT」に対して、ビジネス、ブログ、プログラミング、など、様々な場での活用が期待されています。 OpenAIが開発、サービスを提供してるこの「ChatGPT」のベースとなっている技術が、同じくOpenAIが開発した、自然言語処理AI「GPT-3」です。 膨大なテキストデータを使った機械学習によって、生み出される「GPT-3」の文章は、人間が書いた物と判別できない程 そして、機械学習の訓練によって得た知識を元にして、質問に対し即座に答えを返してくれるので、知りたい事が有る度に、一々”ググる”必要も無い。 そこで一考、「GPT-3」とGoogleスプレッドシートを組み合わせたら、作業効率を向上できるんじゃないか。 本記事では、自然言語処理AI「GPT-3」をGo
RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO
はじめに こんにちは、CX事業本部MAD事業部の森茂です。 先日リリースされたRemix Stacks、Remixチームが公開しているAWSを利用したサーバレス構成のGrunge Stackテンプレートがどのような構成になっているのかを調べるために早速デプロイまでの流れを試してみました。 Grunge Stack Grunge StackはAWSを利用したサーバレス構成のアプリケーションテンプレートです。サーバレスフレームワークとしてはArchitectを利用しています。データベースにはDynamoDBを利用し、アプリケーションはCloudFormationを利用してLambdaへデプロイされAPI Gatewayを介して公開されます。また開発用にローカル環境のサンドボックス環境も用意されているのでAWS環境へデプロイせずに動作を確認することが可能です。（サンドボックス環境のDynamoD
新年あけましておめでとうございます。昨年はコロナ渦であるにもかかわらず、お店に足を運んでいただき誠にありがとうございました。本年もどうぞよろしくお願いいたします。 さて昨年、BEEPにPCゲームに関する歴史をまとめた本を探しに来店されたお客様（メスネル氏）との、ちょっとした出会いをブログにして頂き、さらにそのブログが日本語化され、一部で話題となっていましたので、今更ではありますが自分の視点も一緒に載せておこうと思います。 まだ記事を読んでいない方は、是非読んでみてください。 原文 https://medium.com/@obskyr/the-secret-origin-of-the-action-rpg-254a180079dd 日本語の要約 https://gigazine.net/news/20200816-action-rpg-history/ 休憩から帰ってきたところ「アクションR
※ 2020-12-22 追記あり はじめに この記事は GLOBIS Advent Calendar 2020 - Qiita 17日目の記事です。 GLOBIS SRE チームでは2020年初頭より、 Kubernetes (Amazon EKS) を用いたインフラ環境の全面的な刷新に取り組んでいます。この新たな環境では Infrastructure as Code で環境の9割はコード化するという目標を立てており、 Terraform を積極的に活用しています。 この記事では、そんな弊チームでの Terraform の使い方についてまとめていきます。書き始めたら書きたいことが湯水のように湧いてきてしまったので、FAQ形式でまとめてみました。気になるところを拾い読みしてみてください。 Terraform 全般 Q. Terraform で何を管理していますか AWS がメインの環境なの
ファイルに含まれるAPIトークンやパスワードなどの機密情報を見つけるSecretlint v6をリリースしました。 Release v6.0.1 · secretlint/secretlint Secretlintは secretlint "**/*"のようにglobやファイルを指定して実行すると、ファイルに含まれる機密情報を見つけて標準出力に表示します。 一方で、SecretlintはESLintやtextlintなどと違って、--fixといった自動修正はできません。 なぜなら、APIトークンなどを見つけて消しても、ただ単に壊れるだけだからです。 そのため、見つけた機密情報は報告して、ユーザーがそれを手動で修正する必要があります。 たとえば、ソースコードにハードコードするのではなく、環境変数などで受け取るように変更するといった修正をします。 secretlint/credentials-
CI/CDサービスのOpenID Connect対応 Dive Into - Lento con forza
これははてなエンジニアアドベントカレンダー2022 39日目の記事です。 昨日は id:nakaoka3 の ミーティングの時間になると勝手に議事録を開いてほしいでした 先日あった、CircleCIのインシデントのAdditional security recommendationsとして、OIDC Tokenを使うことが推奨されていました。GitHub ActionsやCircleCIなどのCI/CDサービスでは外部サービスへの認証を行うために、OpenID Connectに対応しています。OpenID Connect対応がされていることは知っていたのですが、OpenID Connectといえば、外部サービス連携をしてログインに使うイメージだと思います。たとえば、Googleの認証情報で、はてなアカウントにログインするなどといったようにです。僕の中で、ユーザー認証に使うOpenID Co
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オープンソースの S3 互換オブジェクトストレージ MinIO を DuckDB で使う
【ログ分離】 ログデータを DB に保存してはいけません
コンプライアンス専門家が読み解く、ジャニーズ事務所の「失敗の本質」
Docker Bake: Now Generally Available | Docker
Tailwind CSS v3.0 - Tailwind CSS
「CAPTCHA」に代わる人間証明API「Turnstile」、意外に簡単な仕組みと実装方法は？
Site Isolation 及び Web のセキュリティモデルの更新 | blog.jxck.io
IAM ロールで 100 連鎖してみた | DevelopersIO
米国防総省DARPA、C言語のコードからRustへの自動変換実現を目指す「TRACTOR」プログラム開始
AWSでIAMユーザを使い捨てにする - Qiita
投票ブースの役割とオラクル問題：インターネット選挙とレシートフリー
ISUCON11予選のNode.js実装を書いた - すぎゃーんメモ
Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
GitHub ActionsにAWSクレデンシャル情報を渡さずにTerraformでCI/CDをやってみた
ID連携の標準化仕様紹介とセキュアな実装のためのアプローチ ~ 2021 - r-weblife
TerraformモノレポCIのセキュア化 | メルカリエンジニアリング
自分のTweetsをインクリメンタル検索できるサービス作成キット と Tweetsをまとめて削除するツールを書いた
トランプ暗殺未遂、距離とライフルの性能的には「命中して当たり前」だった？～現在の銃の性能について
Googleスプレッドシートと自然言語処理AI「GPT-3」を組み合わせてデータ作成を効率化
アクションRPGの始祖について｜BEEP秋葉原
Terraform について、やっていることをすべて話そう - Qiita
Secretlint 6リリース: .bash_historyや.zsh_historyに残ったトークンをマスキングする