概要 zsh に限らず各シェルはカスタマイズが可能ですが、カスタマイズの仕方によってはシェルの起動が遅くなることがあります。シェルは毎日起動するため、起動時間の劣化に気付きにくいですが、劣化したときに知らずに浪費してしまう時間は大きくなりがちです。 そのため、シェルの起動時間を定点観測することは日々の時間の浪費を防ぐために効果があります。 今回は GitHub Actions でこれを行う方法を紹介します。 zsh の起動時間の計測 zsh の起動速度はの計測方法は適当にググれば出てくる通り、次のコマンドを実行することで行なえます。 今回はパースのしやすさを考えて、--format オプションが使える GNU の time コマンドを使用しました。macOS において GNU の time コマンドは brew で gnu-time をインストールすれば gtime コマンドとして使用する
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
この記事は「Go で作るモダン・ブートサーバー」の 4 日目の記事です。 この記事では PXE ブートができるブートサーバーの実装をします。 シリーズの記事は以下のリンクからどうぞ。 Go で作るモダン・ブートサーバー Day 1 - 基礎知識編 Go で作るモダン・ブートサーバー Day 2 - 環境構築編 Go で作るモダン・ブートサーバー Day 3 - 雑 DHCP サーバー実装編 Go で作るモダン・ブートサーバー Day 4 - PXE サーバー実装編 ← この記事 Go で作るモダン・ブートサーバー Day 5 - iPXE サーバー実装編 PXE ブートは古くからあるネットワークブートの規格の 1 つです。 この記事では前回実装した DHCP サーバーを元に、新たに TFTP サーバーを実装します。 そして PXE ブート環境を構築して、実際に Linux がネットワーク経
今回はStarFive Technology製のRISC-Vシングルボードコンピューター（SBC）であるVisionFive 2にDebianをインストールして、その性能を計測してみましょう。 RISC-VとVisionFive 2 RISC-V（りすく・ふぁいぶ）は今もっとも熱い命令セットアーキテクチャーです。2010年頃に生まれたRISC-Vは、オープンな規格という強みを活かしてどんどんエコシステムを構築し、今では様々な企業がRISC-Vに本格的に手を出す状況になっています。AMD64/Intel 64やARMには性能も普及度合いもまだまだ及びませんが、今の勢いを維持できれば近い将来その状況は変わってくるでしょう。 本連載でも2018年ぐらいから、RISC-Vの記事を何度か取り上げていました。 第505回：「オープン規格の新しい命令セットアーキテクチャRISC-V入門 ツールチェインを
2020年版、Node.js入門！使い方〜環境構築までを丁寧に解説 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは、LIG Philippines Inc.のセイトです。 先日久しぶりにNode.jsを書く機会があったんですが、PCを変えたばかりだったので環境構築から始めました。 そして、速攻ハマりました。 あれ、うまくいかねえぞ……と。 調べてわかりましたが、結論、2019年のMac新OSであるCatalinaにおいては、従来のやり方では十分なNode.js環境を構築できません。 そして、これについて書いてある情報を少なくとも僕は見つけられませんでした。 というわけで、Node.jsを書きたいみなさん、おまたせしました。 2020年版、Node.js入門！使い方〜環境構築までを丁寧に解説します。 知識ゼロの方にもわかるよう進めていきたいと思います。 ちなみに、この記事と同じ内容をYouTubeでも解説しています。動画で勉強したい方はぜひこっちを観てね！ Node.jsとは？ そもそもNod
Aurora ServerlessのData APIは裏側でコネクションプーリングを実現してくれているという話 | DevelopersIO
CX事業本部の岩田です。 Aurora ServerlessのData APIがリリースされた際に「Lambda <-> RDSの最大同時接続数の問題が改善される」といった話を聞くことが多かったのですが、なぜhttpsのエンドポイントができただけで同時接続数の問題が解決するのか、いまいち良く分かりませんでした。 # DBへの接続処理 # コールドスタート時のみ接続し、接続を使い回すことでオーバーヘッドを低減する def handler(event, conext): # lambdaのメイン処理 こういう実装のLambdaだとアイドル中にもDB接続を消費してムダなのは分かりますが、それなら def handler(event, conext): # lambdaのメイン処理1 # DBへの接続処理 # lambdaのメイン処理2(DBアクセスが必要な処理) # DB切断処理 # lambd
システム運用保守で役に立つ知識 - Qiita
はじめに 私は2次の運用保守の業務経験がメインですが、様々な現場で8年間働いてきました。現在はAWSのシステム運用保守をしています。 二次運用保守は障害対応する際は深い知識が必要になります。 また、保守の方はサーバーを構築したり、スクリプトを開発することもありました。 本記事に記載している内容は運用保守に限らずインフラエンジニアとしても大事な知識だと思います。 私の個人的な見解を元に本記事は作成しているため、多くあるエンジニアの経験の一例として参考程度にしてください。 個人的には本記事に記載した内容をすべて習得することで、経験としてAWSとミドルウェアの運用保守の業務に対応できると考えます。 学習については短期間で詰め込んで勉強するよりは、長期的な目線で毎日少しづつ継続する習慣を付けるのが良いと考えてます。 一次運用と二次運用どちらも大事なお仕事です。 上記の違いについては、以下のサイトが
TerraformによるAirbyteを利用したデータ基盤へのデータ連携とCI/CD - Sansan Tech Blog
こんにちは！「Sansan Summer Internship 2023」でインターンをしていた野首侑作です（X, Facebook）。R&D Architectグループに1ヶ月強コミットしていました。今回のインターンで使った技術はこれまで全く触ったことがありませんしたが、チームメンバーのサポートもあり本番環境でも動かせるコードを書くことができました。 今回学んだことの整理と、Sansanのインターンで学べることの多さを共有したいという意味を込めて、社内ブログでアウトプットしようと思った次第です。 目次 目次 はじめに ローカルでAirbyteの立ち上げ 1. DockerによるAirbyte serverの起動 2. Sourceの登録 3. Destinationの登録 4. Connectionの登録 5. 接続確認 TerraformによるIaC IaCとは Terraformとは
9月にリリースされた VS Code 1.60 のリリースノートを読んで、発見した機能です。（1.60 で実装された機能ではありません） 以下でもちらっと触れましたが便利なので別途記事を書いてみました。 code - では皆さん、おもむろにシェルを開いて以下を入力し実行してみてください。 ls | code - bash なら以下のフォーマットで VS Code が立ち上がり、 PowerShell の場合は以下のフォーマットで VS Code が立ち上がったかと思います。 この時シェルは以下の状態で止まっています。 Reading from stdin via: /tmp/vscode-stdin.F5FrMB.txt VS Code を閉じると再びシェルが使えるようになります。 この code - については code -h でヘルプを見れば3行目に書かれています。（今まで見逃してた…
bash の初期化ファイル .profile, .bashrc, .bash_profile の使い分けと管理方針 - A Memorandum
はじめに bash の初期化ファイル ログインシェルとは インタラクティブ(対話的)シェルとは ログインシェルとインタラクティブシェルの分類 各種環境における初期化ファイル CentOSの初期化ファイル Ubuntuの初期化ファイル macOS(Catalina以前)の初期化ファイル macOS(Catalina)の初期化ファイル 各環境におけるデフォルトの初期化ファイル 単一ファイル管理(~/.bashrc) 標準的管理(環境変数は~/.bash_profile) 厳格管理(~/.profile 利用) macOS Catalina の場合 まとめ はじめに 本記事では bash の初期化ファイルと、それにまつわる運用方法について説明します。 シェル(bash)の初期化ファイルには .profile .bashrc, .bash_profile などがありますが、どこに何を定義すべきかに
大規模環境になると、Ansibleの実行速度が課題になります。 PipeliningやControlMasterを設定することで、デフォルト設定の2倍程度は速くなりますが、それでも、まだ遅い、、、!! 遅すぎる、、、!! もっと速くする方法はないのかと調べていると Mitogen for Ansible というソフトウェアが、『環境によっては、最大で25倍になるよ!!』と謳っているではありませんか!! わかります。怪しい、怪しいですよね、急にそんな倍率出されるとびっくりしちゃいますよね。私もです。 ですので、本記事では、Ansibleの実行が2倍から5倍速くなり、一部の環境では25倍速くなると謳う Mitogen for Ansibleについて個人的に調べてみました。 （Ansibleの公式ドキュメントの「Other Tools And Programs」のOther Toolsには、記載
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。さらに「Push型のデプロイ」と「Pull型デプロイ」について話します。前回はこちらから。 Push型のデプロイ macopy氏：というわけで、（ここまで）アーキテクチャやプログラミングインターフェイスに関してデプロイの技術を紹介してきましたが、ここからはサーバーへの反映方法について紹介しようと思います。 今までずっとFTPをやっていましたが、FTPの説明をしていないですよね。ですが、まぁ（先ほどデモを）やったからいいかなと思っていて。（FTPを）使ってデプロイしていたのでとりあえず省略。ああいう感じでファイルをそのままピュッと上げるインターフ
こんにちは。 SRE の @suzuki-shunsuke です。 Quipper では Renovate という様々なツール、ライブラリのバージョンをアップデートしてくれるツールを活用しています。 今日はこれに関する Tips を紹介します。 Reviewer を設定する 対象を絞り込む 自動でマージする renovate-approve を使って自動で approve もする Terraform のリポジトリで安全に自動マージする 正規表現を使って update する depName を使って設定を簡略化する 更新対象のファイルごとに Pull Request を分割する PR が溜まらないように PR の数を制限する CI で設定をテストする 設定方法について renovatebot/config-help で質問してみる Reviewer を設定する https://docs.re
はじめに SOCではインターネットに対して公開されたホストを狙うスキャン活動を観測しています。2021年以降は特に6379/TCP（Redis）と2375/TCP（Docker API）へのスキャンが大幅に増加していることを確認しており、IIJが発行している技術レポート「Internet Infrastructure Review（IIR）Vol.54」内のSOCレポートで紹介しています。 Redisはパスワードが標準では設定されていないため、外部に公開するとパスワードなしでアクセスされる可能性があります。 攻撃者によりconfigコマンドが悪用されることで、任意のコマンドが実行される恐れがあります。 また、Dockerはコンテナを操作できるDocker APIを外部に公開すると、攻撃者が用意したコンテナイメージがデプロイされ、任意のコマンドが実行される恐れがあります。 図-1と図-2に、
[DevOpsプラットフォームの取り組み #7] 独自のKubernetesカスタムオペレーターを用いたCI/CDエンジン - NTT Communications Engineers' Blog
DevOpsプラットフォームの取り組みを紹介する7回目の記事です。 Qmonus Value Stream 開発チームの奥井（ @HirokiOkui ）です。 連載第7回では、Qmonus Value Streamの中核を担うコンポーネントであるAssemblyLineについて深堀りします。 第2回 および 第6回 で解説したとおり、Qmonus Value Streamでは、AssemblyLineという独自のリソースを定義してCI/CDパイプラインを構成します。 AssemblyLineは、 Tekton と同様にKubernetesのカスタムオペレーターとして実装されています。 AssemblyLineは、Tekton Pipelineを実行するワークフローエンジンとしての責務に加えて、柔軟性の高いCI/CDパイプラインを構成・実行するために必要な様々な機能を有しています。 本記事
![[DevOpsプラットフォームの取り組み #7] 独自のKubernetesカスタムオペレーターを用いたCI/CDエンジン - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f6ffb293f07e5c63222cfd9c762437543954b40/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220916%2F20220916161541.png)
Flutter SDKの仕組み - Qiita
はじめに 本記事は、Flutterアプリの開発環境である Flutter SDK の仕組みについてまとめた記事です。この記事を読むことで、Flutter SDK がどのような仕組みで動いているのかが何となく分かると思います。 Flutter SDKとは？ まず、Flutter SDK とは、https://github.com/flutter/flutter そのものです。Flutter アプリを Android や iOS, Web, Linux 等のターゲット環境向けにビルドしたり、デバッグしたり、実行するための機能を提供する SDK (開発環境) です。 Flutter SDK の全機能は、flutter コマンド ($flutter runなど) で提供されます。コマンドについては、Flutterコマンド一覧まとめにまとめていますので、併せて参照してください。 Flutter SD
はじめに 今回は、NearMeにおけるCIの仕組みについて説明します。 CIとは、Continuous Integration(継続的インテグレーション)の略で、 コード変更の度にビルドとテストを自動で実行するプラクティスを指します(参考)。 NearMeではCIを実現する方法として、Kubernetes(k8s)上に動作するArgoを利用しました。 k8sはコンテナ化されたアプリケーションを管理するためのオープンソースのシステムです。 Argoはk8s上でCIやCD(Continuous delivery)を実現するツール群です。 一般に、CI構築では外部サービスを利用することも多いですが、 他システムの障害や料金に依存せずCIを管理したかったのと、 既にk8sを中心にシステムを構築していたので、 多少の煩雑さはありつつも自前で構築しました。 システム構成 CIシステムはイベントの処理を
ScalaのビルドツールMillが生成するUberjarはZIPファイルの面白仕様を使ってシェルから直接実行できるようになっている - Lambdaカクテル
プログラミング言語Scalaで最もよく使われているビルドツールといえばsbtだ。起動しっぱなしのインタラクティブ仕様なsbtがやや鈍重なきらいがある一方、もう1つのビルドツールであるMillが開発されており、こちらではnpmのようなシェル単位の操作体系を指向している。 mill-build.com 単にコマンド体系のみならず、Millには他にも色々と面白い機能がある。例えばsbtと違って標準でassembly、すなわちUberjarへのパッケージング機能が搭載されているという点がありがたい。このUberjarを作る機能に面白い仕組みが盛り込まれていたので紹介するというエントリ。 謎の実行権限 中身を覗く ZIPは任意の場所に任意のデータを封入できる 追記 さて、JVM言語にあまり縁がない読者のために説明しておくと、Uberjarとは、依存する関連モジュールが1つのパッケージにまとめられ、J
THETAにお手軽Linux環境を内包させる - Qiita
この記事は IoTLT Advent Calendar 2019 の2日目の記事です。 はじめに リコーの @KA-2 です。 弊社ではRICOH THETAという全周囲360度撮れるカメラを出しています。 RICOH THETA VやRICOH THETA Z1は、OSにAndroidを採用しています。Androidアプリを作る感覚でTHETAをカスタマイズすることもでき、そのカスタマイズ機能を「プラグイン」と呼んでいます（詳細は本記事の末尾を参照）。 と、定型文をかきつつ、、、 今回の記事はプラグインの仕組みや知識を利用した新しいTHETAカスタマイズ方法についてまとめました。 タイトルをみて「adb shellの話？」と思った方、「遠からず」ですが、もっと自由度がある環境にする話です。 adb shellを上手に利用したAndroidアプリをTHETAにインストールします。そうすると
Go言語ビギナーのCREが、Mackerelの途切れ監視プラグインを開発して正式リリースした話 - Hatena Developer Blog
こんにちは、Mackerel CREの id:kmuto です。 9月25日に、Mackerelのエージェント用チェックプラグイン「check-mackerel-metric」をリリースしました。 github.com このプラグインは、クラウドインテグレーションを利用した場合など一部標準の機能ではできない、ホストメトリックの途切れ監視を実現するものです。たとえばcheck-mackerel-metric -H <hostId> -n "custom.ecs.running_task.batch-cluster.count -w 30 -c 60という指定をしておくと、ホストID <hostId>のメトリックcustom.ecs.running_task.batch-cluster.countについて、現在から30分前までの間に何も投稿されていなければWARNING、60分前までの間に何も
Perl Hackers Hub 第61回GitHub ActionsとAmazon ECSを使ったDockerアプリケーションの自動デプロイ（3） （1）はこちら、（2）はこちらから。 GitHub Actions── ビルドとデプロイプロセスの自動化 （3）では、先ほど作成したECS環境に、GitHub Actionsを用いて自動的にアプリケーションをビルドしてデプロイするしくみを構築します。 GitHub Actionsとは、GitHubがgithub.comに統合した形で提供するCI（Continuous Integration、継続的インテグレーション）/CD（Continuous Delivery、継続的デリバリ）環境です。GitHub Actionsには、ソースコードのpullやPull Requestのアサインといった豊富な機能（アクション）が用意されています。ユーザー
サーバ/プロセスのメトリクスを使ったNagios/Mackerel/Consulのチェックコマンドを作るときに便利な metr を作った - Copy/Cut/Paste/Hatena
Consulでちょっとしたヘルスチェックを追加したいと思ったのですが、例えば iowaitが高いかつuserは低いとき という条件を書こうとしたときに、「うっ。。！どう書けばいいんだ。。」となってしまったので、作りました。 github.com これはなに metr は次のような利用を想定したコマンドです シェルスクリプトにホストやプロセスのメトリクスの値を使った条件を組み込む Nagios pluginとして利用する Mackerel check pluginにチェックコマンドとして利用する 使い方 インストールはHomebrew以外にdeb/rpmパッケージを用意しています。基本的にサーバにコマンドとしてインストールするのが良いでしょう $ dpkg -i metr_0.5.1-1_amd64.deb metr list 取得できるメトリクスは metr list で確認できます。また
1. はじめに 仮想マシンなどCompute作成時にユーザーデータ（User Data）を指定したことがあるだろうか。ユーザーデータを使うと、簡単にLinux OSを設定できる。便利なわりに使われていない気がするので、ユーザーデータ／cloud-initについて説明する。 1-1. TL;DR cloud-initを使うと、簡単にLinux OSの初期設定ができる cloud-initの仕組みは各所で解説されているが、利用者にとってコンパクトで実践的なものは少ない 実践的なサンプルや、自力で書くときの参考情報を提供することで、活用のきっかけになりたい 1-2. 前提条件 cloud-initが利用可能な環境（パブリック・クラウドに限らず、一部のプライベート・クラウドでも利用可能） Linux OSイメージ 2. なぜ、cloud-init ? IaaSにおいて、本格的なOS設定の自動化やI
AWS MFAを一撃で認証するCLIコマンド作ってみた - Techtouch Developers Blog
この記事はテックタッチアドベントカレンダー7 日目の記事です。 6 日目はハルキスト伊藤（@ihiroky）による BHO (Browser Helper Object) をめぐる冒険 でした。 プロダクトオーナーの尾崎です。今年の最初に購入したスタンドアローン食器洗い機が便利すぎて、いまだに毎日心の中で感謝し続けている日々です。 今年買ってよかったものダントツ 1 位。ありがとう、サンコーさん。 この記事は何 免責事項 現状と不満 1. シェルが変わるたびに認証が必要な問題 2. 複数のAWS_PROFILEが切り替えられない問題 3. MFAトークンの入力が面倒くさい問題 トークン生成のためのsecret keyを入手する secret keyをセキュアに保存する secret keyからMFAトークンを生成する 本当にセキュアなのか？ PCのみを使うことで"MFAとしての強度"が下が
リトライ処理を追加するとバッチが安定することがあることもそこそこあるので「avast/retry-go」を使ってみる - じゃあ、おうちで学べる
はじめに インフラエンジニアは日々の業務でプログラムを書く機会が多く、その中で処理の実行やHTTPの通信などでリトライ処理を実装する必要があることが少なくありません。リトライ処理を実装する必要は必ずしもなくても、実装することでバッチが安定することがあります。もっと言っておくとリトライ処理を実装することで、一時的なエラーによる処理の失敗を回避し、バッチ処理の安定性が向上する可能性があります。実行基盤によってジョブの再試行の自動化、最大再試行回数を設定するやPod失敗のバックオフポリシーなどとの兼ね合いを考える必要もあると思います。あとはマジでガー不のバグを引き寄せることもあるので注意が必要です。 はじめに シンプルな例 最大リトライ回数の指定 次のリトライまでの待ち時間の設定 特定の例外のみリトライするケース さいごに 今回はGolangには「retry-go」というリトライ処理を簡潔に実装
すみません、すごい前置きが長くなってしまったので、ランキングの結果だけ知りたい場合は目次から飛んでください！ 「本番環境でやらかしちゃった人 Advent Calendar」をご存知ですか おはようございます！ 自分が好きなアドベントカレンダーに、「本番環境でやらかしちゃった人 Advent Calendar」 というのがあります。インフラエンジニアとして働く自分は、毎年こんなにもリアリティのある やらかしと学びの集大成 を「明日は我が身」だと胃を痛めながらありがたく拝見していました…。 この分野における しくじり先生 がここまで一同に介する機会というのはあまりないことから、大変マニアックながらも知る人ぞ知るアドベントカレンダーという感じになっています。 このアドベントカレンダーのいいところ ポイントは、しっかりと ポストモーテム の要素がルール化されているところだと思っています。 振り返
Amazonや Indeedを経てモノタロウへ。“経営インパクトの大きい技術”を追い求めるエンジニア｜株式会社MonotaRO（モノタロウ）
※本記事の内容は取材時のものであり、組織名や役職等は取材時点のものを掲載しております。 売上高は過去10年で約9倍、営業利益は12倍。急成長を続けるモノタロウでは、さらなる事業成長を見据えEC基盤の刷新を進めています。 なかでも、モノタロウのサイト体験に欠かせない「商品推薦サービス」のマイクロサービス化に携わるのが、ECシステムエンジニアリング部門EC基盤グループマイクロサービス基盤チームのエンジニア、伊東さんです。 より「経営インパクトの大きい仕事」を求め、モノタロウを選んだ彼。前職までの経験や入社のきっかけ、モノタロウで取り組む仕事について話を聞きました。 インフラエンジニアが経営インパクトの大きい技術に関心をもつまで ──はじめに、現在の業務について教えてください。 DIFと呼ばれるデータパイプラインの運用や、商品推薦サービスのインフラ運用が主な役割です。SLOを運用しながら、リリー
Kubernetes で運用する JVM アプリケーションの OutOfMemoryError に備える - Uzabase for Engineers
こんにちは。SPEEDA 開発チームの old_horizon です。 JVM アプリケーションの運用について回るのが、OutOfMemoryError (以下 OOM) への対処です。 しかし実際に発生した際に、適切なオペレーションを行うのは意外と難しいのではないでしょうか。 特に本番環境では、まず再起動して復旧を急ぐことも多いかと思います。しかし、ただそれを繰り返すばかりでは原因がいつまでも特定できません。 今回は Kubernetes で運用する JVM アプリケーションに対して、ダウンタイムを抑えつつ調査に役立つ情報を自動的に収集する仕組みを構築してみたいと思います。 環境構築 OOM 発生時に、自動的にヒープダンプを取得しコンテナを再起動する java コマンドのオプション指定 補足 ヒープダンプ出力先のボリュームをマウント readinessProbe によるヘルスチェック レ
【禁忌解放】WordPressのコンテナイメージをLambda上で動かしてみた #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。 この記事はServerless Advent Calendar 2020の13日目 です。 先日ブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 というわけで、WordPressのコンテナイメージを作成してLambda実行環境上で動かしてみます。 注意事項 このブログはネタです。アンチパターンをバリバリ利用しています。このブログを参考にWordPressの本番環境をLambda上に構築するのは一切オススメしませんので、ネタとして割り切って読んで頂ければと思います。 Lambda上でWordPressを動かす際の課題 普通にApacheやNginxなどのWebサーバーを立ててWordpressを動かす場合と比べて、Lambda上でWordpressを動かすためにはいくつかクリアすべき課題があ
tfupdateで複数の.terraform.lock.hclを高速に一括更新する - クラウドワークス エンジニアブログ
はじめに Terraform職人の@minamijoyoです。先日、tfupdateが.terraform.lock.hclの更新に対応しました。v0.7.0から tfupdate lock というコマンドが追加されています。 github.com 例えば、あるディレクトリ配下のすべてのAWSプロバイダを指定バージョンに更新しつつ、複数プラットフォーム混在で使う.terraform.lock.hclもまとめて一括更新するには、以下のようなコマンドで簡単にできるようになりました。 $ tfupdate provider aws -v 5.7.0 -r ./ $ tfupdate lock --platform=linux_amd64 \ --platform=darwin_amd64 \ --platform=darwin_arm64 \ -r ./ 内部的にterraformコマンドには依
pdftotext -raw -f 3 -l 2795 kameiten_touroku_list.pdf - | grep -E '^[0-9]+(,[0-9]+)* |[25]%$' | perl -pe 's/(?<![25]%)\n/ /g' | perl -pe 's/^(\S+) (\S+) (\S+) (.+) (\S+) (\S+) (\S+)$/"$1","$2","$3","$4","$5","$6","$7"/g' > kameiten.csv ※変換しているのは「①固定店舗（EC・通信販売を除く）」のページです。 ※変換結果のCSVは、14MBくらいです。 背景 キャッシュレス・消費者還元事業(公式サイト) 国のキャッシュレスポイント還元PRサイト、「使えるお店一覧」から18万店を網羅した3608ページのPDFに飛ばす(ねとらぼ) 最近話題の「キャッシュレス・消費者
AWS - GCP の ID 連携を使い、 AWS CodeBuild で Terraform を使って GCP を管理 - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 Google Cloud Platform (以下 GCP) を Terraform で管理するように CI/CD を整備した話を紹介します。 背景 何度か本ブログで紹介したように、弊社では Terraform を使い AWS を始めとする様々なリソースを管理しています。 quipper.hatenablog.com しかし、 GCP はあまりちゃんと管理できていないという課題がありました。 弊社のサービスはほぼすべて AWS 上で動いており、 IaC が既に整備されています。 一方で GCP も以前から使っていますが IaC は整備されてなく、 SRE がたまに developer (以下 dev) から依頼を受けて、手で Project を作ったり IAM 周りを設定したりしていました。 IaC ができていないため、
セキュリティSaaS「Shisho Cloud」を使ってAWSリソースの設定値診断を行ってみた - Yappli Tech Blog
こんにちは！SRE三橋です。 突然ですがSecurity Hub使っていますか？AWSを利用している企業様であればAWS Security Hubで継続的なセキュリティコンプライアンス対応状況の可視化、対策を実施していることが多いかと思いますが、今回はサードパーティ製のセキュリティSaaS「Shisho Cloud」を使ってみたのでご紹介したいと思います。 ※ この記事の内容は2023年5月12日現在の内容であり、AWS、ShishoCloudのアップデートにより内容が古くなる可能性があります。 はじめに 想定する読者 背景 Shisho Cloudとは Security Hub運用の辛さ 検証結果 導入難度 UI 診断レポート 網羅性 通知設定 運用性 カスタマイズ性 サポート体制 課金体系 おわりに はじめに 想定する読者 Security Hubに物足りなさを感じている方 日本製のイ
転職1年の近況報告 - じんめんメモ
早いもので昨年の8月1日に転職してから1年経ちましたということで近況報告です。 現在のポジションは社内のプライベートクラウドのSREです。クラウドの利用者(=アプリ開発チーム)からの問い合わせ対応やトラブルシューティングだったり、クラウド基盤の開発の支援やキャパシティ管理、安定運用のためのあれこれをやっています。 クラウド基盤はサーバ仮想化、ネットワーク、データベース、ストレージ、ロードバランサ、コンテナなど幅広い分野のコンポーネントで構成されているわけですが、私は「突出した得意分野がないけどだいたいそこそこわかる」おかげでトラブルシューティングの一次切り分けが得意だったり、複数の開発チームやデータセンタ管理チームと話が通じやすい、のようにうまく強みにできている実感があります。 ばりばりコードを書いて開発するという感じでもないですが、運用のためのスクリプトやツールをそこそこ書いています。P
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年5月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 先月に引き続き、re:Invent2022で発表された新機能やサービスが利用可能になりました。 Amazon Redshift MERGEステートメント Lake Formationとのデータ共有の集中型アクセス制御 Dynamic Data Masking AWS Glue Visual ETL が新しいネイティブ Amazon Redshift 機能をサポート その他にも、様々なアップデートがありますので、是非チェックしてください。 Amazon Redshift 新機能・アップデート 2023/04/13 Amazon Redshiftの文字列クエリのパフォーマンスを最大63倍向上 Amazon Redshift
chreke's blogより。 マクスウェルの方程式が書かれたTシャツを着たオシャレな女性 特に、ガブリエラ・ゴンザレスの『The end of history for Programming』を読み、アラン・ケイの『Programming and Scaling』の講演を見て、「リトルランゲージ」 (非常に特定な問題を解決するために設計された小さな言語)が、プログラミングの未来であると確信しました。どちらも素晴らしいので、是非読んでみて欲しいのですが、もし、時間があれば、私が「リトルランゲージ」とはどういう意味なのか、なぜそれが重要なのかを説明します。 「リトルランゲージ」とは何か? ジョン・ベントリーは、彼の名を冠した論文『Little Languages』の中で、「リトルランゲージ」という言葉を作り、彼は次のように定義しました。 [...] リトルランゲージは特定の問題領域に特化し
バージョニングが有効化された 大量のAmazon S3 バケットをシェルスクリプトで一撃削除してみた（ver.2） | DevelopersIO
大量のS3バケットを手動で削除するのはめんどくさい…シェルスクリプトで一撃削除しましょう。S3のオプジェクトが1000を超える場合に使えるシェルスクリプトです。 こんにちは！AWS事業本部のおつまみです！ S3バケットを一撃で削除したいなぁと思ったことはありますか？私はあります。 そう思い昨日こちらのブログを執筆しました。 このブログのスクリプトでも問題なく動くのですが、とある方からTwitterでこちらのコメントをいただきました。 #DevelopersIO バージョニングが有効化された 大量のAmazon S3 バケットをシェルスクリプトで一撃削除してみた https://t.co/esjLT5Nq32 こんだけ呼び出してAPIのレート制限は大丈夫かな。? — Kento.Yamada (@ymd65536) April 14, 2023 そしてアドバイスをいただきスクリプトを修正した
第63回ビッグハンドタウンシェル芸勉強会の問題と解説 - NTT Communications Engineers' Blog
はじめに シェル芸勉強会について 問題と解説 Q1（@butackle66さんから） 解答例1 解答例2 Q2（@butackle66さんから） 解答例1 解答例2 Q3 解答例1 解答例2 Q4 解答例1 解答例2 Q5 解答例 Q6 解答例 LT LT1 curlでTelegram botを操作 (やべえ @yabeenico) LT2 音声合成してみよう (たいちょー @xztaityozx_001) おわりに はじめに こんにちは。デジタル改革推進部データドリブンマネジメント推進部門の江川尋喜 (Hiroki Egawa / @yabeenico) です。 第63回ビッグハンドタウンシェル芸勉強会が2023年02月25日に開催されました。 今回は NTT Com のオフィスビル、大手町プレイスを会場提供させていただきました。 このブログエントリでは、勉強会で出題された問題の解答と解
Intro Ruby is so associated with its most famous framework, Rails, that many people forget how amazing this language is. I mean, I know a lot of people who says “I don’t like Ruby” and when I ask why, they say something about Rails. Personally, I consider Ruby one of my favorite programming languages, and the last time I touched any Rails code was 7 years ago… So, if I don’t use Rails anymore, wha
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub Actions で zsh の起動時間を定点観測する
Fargate Spotを本番運用するための監視の実践 - KAYAC engineers' blog
Goで作るモダン・ブートサーバー Day4 - PXEサーバー実装編 | Folioscope
第752回 RISC-VのシングルボードコンピューターであるVisionFive 2を使ってみる | gihyo.jp
コマンドの実行結果を VS Code で開く方法 | DevelopersIO
Ansibleを最大で25倍高速化するMitogenについて調べてみた - Qiita
冗長化に伴うPush型デプロイの難点を補うために “自律的に”動く「Pull型デプロイ」という提案
Renovate の Tips - スタディサプリ Product Team Blog
Redis・Docker APIを狙うマルウェアの調査とスキャンの観測
ArgoによるCI構築 - NearMe Tech Blog
第61回 GitHub ActionsとAmazon ECSを使ったDockerアプリケーションの自動デプロイ（3） | gihyo.jp
cloud-initを使ったLinux OSの初期設定 - Qiita
本番環境でやらかしちゃった人 Advent Calendar 2019〜2022 総合ランキング - Qiita
キャッシュレス還元対象店一覧（PDF 3608ページ）をワンライナーでCSV形式にしてみた - Qiita
https://twitter.com/mootastic/status/1581404735445168129
リトルランゲージはプログラミングの未来だ
Ruby: a great language for shell scripts!