知っておきたかったLinuxサーバ設計、構築、運用知識まとめ - hiroportation
サーバ業務周りの管理、運用について役に立ちそうなナレッジをまとめました。 長期的に書いているため用語に統一性がなかったり、不足分など随時修正したいと思います。 1. サーバ設計 サーバスペックはどうするべき？ 使用するOSは？ CentOS開発終了について MWは何を使うべきか Webサーバ構築にはどちらを使うべき？Apache？Nginx？ サーバセキュリティで最低限押さえておきたいことは？ listenするポートは最小限にしましょう ファイアウォール設定で送受信IPアドレス、ポートの通信制御はしておきましょう 外部に出る際にはプロキシサーバを経由するようにする 随時パッチを当てるようにする linuxでのアンチウイルスソフトの検討 個人アカウントで変更系コマンドは実行させないようにする ログについて考えること ストレージ容量には気をつける データベースはどう決めたら良いか MySQLか
コンピューターにパスワードを設定することは、セキュリティの観点から非常に大切なことですが、そのパスワードを失念してしまったり、前の持ち主からパスワードを聞きそびれてしまったりした場合、コンピューター内のデータにアクセスできなくなってしまう事態に陥ってしまいます。「chntpw」はWindowsのパスワードを強制リセットし、そうした事態を回避することができるコマンドです。 chntpw | Remove, bypass, unlock and reset forgotten Windows password http://www.chntpw.com/ Windowsのパスワードを忘れてしまい、誤ったパスワードを入力すると、画像のように「パスワードが正しくありません。入力し直してください。」と表示され、ログインができなくなってしまいます。 chntpwはLinux上で動作するコマンド。今回は
2019年8月23日 13時頃からAmazon AWS 東京リージョン でシステム障害が発生し、EC2インスタンスに接続できない等の影響が発生しています。ここでは関連する情報をまとめます。 AWSの障害報告 aws.amazon.com AWS障害の状況 障害発生時間（EC２） 約６時間 2019年8月23日 12時36分頃～18時30分頃（大部分の復旧） 障害発生時間（RDS） 約９時間半 2019年8月23日 12時36分頃～22時5分頃 障害原因（EC２） 一部EC2サーバーのオーバーヒートによる停止 制御システム障害により冷却システムが故障したことに起因 影響範囲 東京リージョン（AP-NORTHEAST-1）の単一のAZに存在する一部EC2、EBS、およびRDS。 発生リージョンは東京。東京近郊４データセンター群の内、1つで発生。 日本国内のAWSの契約先は数十万件とみられる。*
こんにちは、m3 エンジニアリンググループ CTO 矢崎(id:Saiya)です。 過去に Go 言語の仕様を一通り見た経験があったのですが、久しぶりに Go のコードを最近読み書きした際に、ここ数年の Go 言語やエコシステムの進化による変化もあり、発見やハマりが多々ありました。 Go 言語公式のロゴもスピード感ありますね。 同じような迷い・回り道をしてしまう方ももしかしたらおられるのではないかと思いますゆえ、 エムスリー Advent Calendar 2020 6 日目の記事として、筆者が実際に「最初から知っていれば時間を無駄にしなかったのに...！」と感じた知見をざっくばらんにシェアいたします。 本記事がどなたかの一助になりますと幸いです。 なお本記事の内容は筆者個人の理解・自身で直接読み書きしたユースケースの範囲での知見であり、全ての Go 利用事例に当てはまらない点も含みうりま
はじめに GitOpsという言葉が生まれたのが自分の知る限り2017年頃なのですが、世の中にあるCI/CDの仕組みはまだほとんどがCIOpsもしくは手動のオペレーションによって成り立っていると思っていて、かつては自分もそうだったのですが「Gitで管理されていればGitOpsなんでしょ？」という勘違いを払拭したくてこのエントリーを書いています。 GitOpsとCIOpsは全然違う まず前提としてGitOpsの明確な定義を知らないという場合、あなたの思う「Gitを契機とした自動デプロイの仕組み」は基本的にはCIOpsです。GitOpsとCIOpsは思ったよりも大きな違いがあって、そもそもGitOpsの必要性が分かっていない場合、自動化によって成立しているデプロイはCIOpsが基本です。 CIOpsとGitOpsの一番の違いは、Push型かPull型かである CIOpsの場合、例えばGitHub
「もうさばき切れない」アクセスが激増したECプラットフォームにおける負荷対策 - BASEプロダクトチームブログ
はじめに CTOの川口 (id:dmnlk) です。 5月にオンラインmeetupをさせて頂きその中で「具体的な負荷対策に関しては開発ブログで！」と言っていた件ですが気づいたらもう9月になりかけていました。 コロナ禍においてネットショップ作成サービス「BASE」の利用者様が急増しました。 www.nikkei.com 5 月には 100 万ショップを超えるショップオーナー様にご利用していただいております。 今まで EC 事業を行っていなかった飲食店様や様々な業種の方が利用をはじめていただき、ショップオーナー様も購入者様共に短期の見通しでは想定をしていないアクセスが発生しました。 その途中でシステムとして対応しきれない面もあり、アクセス負荷によるサービスの不安定を招き皆様にはご不便や販売時間を変更していただくお願いなどをしてしまい大変申し訳ありませんでした。 現在では安定しておりますが、その
次世代の監視技術 - Telemetry技術のご紹介 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの三島です。 本記事では、次世代の監視技術として期待されるTelemetry技術についてご紹介します。 この記事について 本記事では下記の3点を共有します。 従来の監視技術が抱える課題とTelemetryの可能性 Telemetryの技術概要と、各社の実装状況 NTT Comのネットワーク上で検証し得られた知見と、期待されるユースケース 従来の監視技術が抱える課題 ネットワーク運用においては、障害検知やパフォーマンス分析のため監視技術が重要となります。 従来のネットワークでは、SNMP（Simple Network Management Protocol）と呼ばれる技術が広く利用されています。 SNMPの仕組みを図1に示します。SNMPはUDPベースなネットワーク監視技術です。データモデルはMIB（Management Information Base）と
Windows Subsystem for Linux 2(WSL 2)をセットアップしてみた | DevelopersIO
しばたです。 先日新しい開発機(Windows 10)が会社より支給されたのでデータ移行と環境の再セットアップをしています。 せっかくの機会ですのでOSを最新のWindows 10 May 2020 Update (2004)に更新し、Windows Subsystem for Linux (以後WSL) 環境を最新のWSL 2にしたのでその際の手順をここに記録しておきます。 手順 公式な手順はDocsにばっちり記載されています。 基本的にはこの手順を参照すれば問題ありません。 やってみた それでは早速やっていきます。 0. 前提条件 WSL 2を利用するには現在最新のWindows 10であるWindows 10 May 2020 Update (Ver.2004、ビルド19041)以降である必要があります。 古いWindows 10を利用している場合はまずアップグレードが必要となります
Windowsの再起動時に直接BIOS画面に入る方法。DELキーやF2キーの連打とはおさらば | ニッチなPCゲーマーの環境構築Z
Windowsを落としてマザーボードのBIOS画面に入るとき、DELキーやF2キーなどを連打されているでしょうか。もちろん、それでも問題ないのですが、本記事ではWindowsの再起動時に直接BIOS画面に入る方法をご紹介いたします。 デスクトップの任意の場所で右クリック → 『新規作成』 → 『ショートカットの作成』を選択し、『項目の場所を入力してください』に以下の文字列をコピーしてください。 『Shutdown /r /fw /t 1』と入力 入力したら『次へ』と進めて、任意のファイル名を入れたら『完了』を押して完成です。 できたファイルを右クリックして『管理者として実行』をすると、再起動がかかり、その後、BIOS画面が開きます。これでもうWindows再起動時にはDELキーやF2キーなどの連打とはおさらばです。(PC環境によっては上手く機能せず、再起動がかからない場合もあることはご留意
写真01: Windows Subsystem for Linux（WSL）は、Windows 10/11の中でLinuxを動作させるための仕組み この記事では、Windows Subsystem for Linux（以下WSLと表記する）のインストールから基本的な設定までを解説する。なお、記事の読者としては、ある程度Windowsを使い慣れていることを想定するが、必ずしもLinuxのコマンドになれているとは限らないレベルを想定している。 WSLの基本的なこと WSLとは、Windows 10/11の中でLinuxのアプリケーションを実行する仕組みだ。これを利用することで、Windowsの中でLinuxが実行可能になる。また、Windows 11からは、コンソールアプリケーションだけでなく、Linux GUIアプリケーションの利用も可能になっている。現在サポート期間にあるWindows10
GoはいつGCするのか?
TL;DR Go(のランタイム)は以下のタイミングで自動的にGCを実行する 前回のGC後に占有していたメモリと同量を新たに確保したとき 前回のGCから2分後 cgroupなどでメモリ制限しているときは、メモリ使用量が制限の50%以上になったらruntime.GC()を呼び手動でGCすべきである 前置き: GoとOOMのこれまで 以下はGo 1.16での調査結果です。Goのバージョンが異なった場合は事情が異なる可能性があります。 Goでプログラムを書く際に、使用メモリ量を気にしなければならないシーンはGCのおかげでそう多くはありません。実際それは間違いではないのですが、運用まで視野に入れるとそうは言ってられないことがあるのもまた現実です。昨今はコンテナの利用が当たり前になったことに伴い、OOMによりプロセスが強制的に終了させられることもあり、それを避けるために一定量以下のメモリで動くことが重
概要 Docker コンテナの原則として「1コンテナ1プロセス」1というものがありますが、あえてこの原則を破りたいときがあるかもしれません。 公式: Run multiple services in a container 有志翻訳: コンテナー内での複数サービス起動 上記ドキュメントのラッパースクリプトを利用する方法には重大な問題があり、本番環境で使用するべきではありません。 (よりによって「本番環境でのアプリ運用」の項目にある) 公式ドキュメントに書かれているのに、死ぬというのはおかしいじゃないか それが罠だという証拠 ちなみに supervisord を利用する方法は問題ありません。 また、コンテナ向けに最適化された s6-overlay2 を利用する方法もあります。 ラッパースクリプトの問題点 プロセスの graceful shutdown が実行されない(プロセスに SIGKIL
Sections What is time Representing time Where do we usually find time on Unix System time, hardware time, internal timers Syncing time with external sources What depends on time Human perception of time What is time Time is relative Measuring time and standards Coordinating time Time zones DST Time, a word that is entangled in everything in our lives, something we’re intimately familiar with. Keep
TL;DR 負荷をかけながらフェイルオーバーテストをするなら、負荷クライアント側で「どの書き込みが成功したのか」のログは必ず取っておく でないと、フェイルオーバー起因でデータロストが発生するのかしないのかのチェックができない フェイルオーバーシナリオ スイッチオーバー(手動での切り替え)を含めてざっと思いつくのはこれくらい。 スイッチオーバー mysqldの正常終了 mysqldの異常終了、特に、mysqld_safeやsystemdがmysqldを再起動させてしまう環境 mysqldのハングアップ カーネルパニック ファイルシステムのハングアップ 電プチ スイッチオーバー たぶんHAソリューションを作る時にちゃんとテストするからこれはそんなに問題にならない気がするけれど、(レプリケーションベースのソリューションの場合)「レプリケーション遅延が起こってる時のスイッチオーバー」で何が起こるか
Image:Vertical Aerospace 英国でeVTOL（電動垂直離着陸機）を開発する企業Vertical Aerospaceが、エアタクシー用として開発中のeVTOL機「VX4」のテザーなしでの試験飛行において墜落事故を起こした。幸いにも無人かつ遠隔操作での試験であったため、怪我人などは出ていない。 この試験飛行は将来、乗客を乗せての運用を実現するにあたっての重要な要件であるモーター故障を想定したものだった。VX4は高度約6mという、ごく低い高さからバランスを失って墜落したとのことだが、報道された現場の写真を見る限り、炭素繊維でできた機体の右翼部分が大きく曲がり、機体前方のローターも破損している状況だ。 Bad news from@VerticalAero at Cotswold Airport, where – according to an airfield source
【Go】HTTPサーバーは安全に終了させましょう
はじめに こんにちは。都内でソフトウェアエンジニアをしているtomoriです。 突然ですが、Go言語でHTTPサーバーを実装する際、サーバーの終了処理を適切に実装できている自信はありますか？ 自分が開発に携わっているプロダクトでは、ほんの最近まで下記のような不適切な終了処理を行なっていました（話を簡単にするためにここでは panic を使っています）。 err := http.ListenAndServe(":8080", handler) if err != nil { panic(err) } HTTPサーバー実装のサンプルとかでよく見るやつですね。 これだとアプリケーション側で、いわゆる Graceful Shutdown ができておらず、実行環境にて不具合を引き起こす恐れがあります。 というわけで、最近それを修正したのでアウトプットとして記事にします。 Go言語でHTTPサーバーを
この記事は本番環境でやらかしちゃった人のアドベントカレンダー14日目の記事です。 多少フェイクを入れているので整合性のおかしい部分があってもご了承ください。 https://qiita.com/advent-calendar/2019/yarakashi-production 背景 モバイル版だけでMAUxx万人のそこそこ規模の大きいサービス。Android/iOS/Webの３プラットフォームで提供。 開発元が撤退済みで、運営元から協力を依頼されとりあえずWeb以外の面倒を見ることに。２社にバラバラに開発を頼んでいたようで、なぜか変なところでAWS環境が２つに別れている。 色々と設計が荒く、ドキュメントもないのでアプリの追加開発の片手間でアーキテクチャの全容把握と改善計画を練っている途中の状況 新規登録時の確認メール、パスワード再発行メールでAWS SESを利用（メール利用はそれだけと認識
![[AWS] Amazon SESのアカウントが止められちゃった話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e2c2d7374be70976b45571387c889cfd4512639/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwQW1hem9uJTIwU0VTJUUzJTgxJUFFJUUzJTgyJUEyJUUzJTgyJUFCJUUzJTgyJUE2JUUzJTgzJUIzJUUzJTgzJTg4JUUzJTgxJThDJUU2JUFEJUEyJUUzJTgyJTgxJUUzJTgyJTg5JUUzJTgyJThDJUUzJTgxJUExJUUzJTgyJTgzJUUzJTgxJUEzJUUzJTgxJTlGJUU4JUE5JUIxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0yZmI0MzBiMGMyZTQ2MTcyNTJjODRlYjAwZmI0MWYzOQ%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB1bmRvcm9pZCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDlkNDM4MzgyZjFhYzQwMTQzOTQzZjk5ODUxNTIxMGI%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Deb50f7643d0442aa6f2f3662053aee82)
gRPC Internal - gRPC の設計と内部実装から見えてくる世界 | Wantedly Engineer Blog
こんにちは、Wantedly の Infrastructure Team で Engineer をしている南（@south37）です。 今日は、WANTEDLY TECH BOOK 6 から「gRPC Internal」という章を抜粋して Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もその一環となっています。 Wantedly における Go 導入にまつわる技術背景 | Wantedly Engineer Blog （本記事は Go Conference 2019 Autumn にて無料配布した冊子『WANTEDLY TE
PerlからGoへのシステム移行のアシスト 〜Perl XSとUnix Domain Socketを活用〜 - Mirrativ Tech Blog
こんにちは ハタ です。 Mirrativ では 2020年頃から サーバサイドの技術をPerlからGoへのシステム移行 を行っており、2024年現在でもサグラダファミリアのように移行作業は継続しています PerlとGoという2つの環境を同時に運用していますが、 基本的には 新機能は Go で実装 し、 Perlでは積極的に新規実装を行わない というスタイルで進めていました しかし、既存の機能の一部に手を加えたいとなった場合、まだまだ Perl の実装に手を加えることが一定あり、Perl から Go の機能を呼び出したいというニーズが出てきました （配信やギフトといったビジネスの根幹を支えるレガシーな実装においては顕著） そこで PerlXS を利用することで Perl から Go を直接呼び出せるようにできないかと考え検証を進めることにしました Goの -buildmode=c-shar
Windows11でDocker Desktopを使わずにDocker | IIJ Engineers Blog
九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。 Windows 10のサポート期限がじわじわと近づいてきており、そろそろWindows 11を使ってみようという事で、 Docker Desktopを使わずにWindowsでDockerを、Windows 11でもやってみました。 (弊社、Docker Desktopライセンスは普通に購入しているのですが、まあそれはそれという事で…） 1．どうやるの？ Windows 10の時と同様で「WSLのUbuntuでDockerを動かす」です。 ただ、導入手順は随分とシンプルになっていました。 【参考】過去の導入手順(Windows 10
私が働いているAniqueという会社では、1年前に全てのソフトウェアでTypescriptを採用することにしました。私たちが開発している進撃の巨人のNFTサービス “Attack on Titan: Legacy” でも採用しています。 TypescriptではNestJSという素晴らしいAPIフレームワークを利用することができ、生産性高く開発を続けることができます。また、私たちはフロントエンドでNext.jsを利用しています。言語レベルでのコンテキストスイッチを抑えることで、一人のエンジニアがフロントエンドとバックエンドのどちらもの機能を開発する環境が作れました。 しかし、Nodeならではの作法や設計について、Web上にはたくさんの情報があるものの、あまりにも情報が多すぎて、まとまったプラクティスになかなか出会うことができませんでした。そのため、最初はチーム内での共通認識を作るのに苦労し
Visual Studio CodeでのSSH接続により、EC2サーバーが高負荷になり動かなくなった - エキサイト TechBlog.
こんにちは、エンジニアの岩藤です。 今回はVisual Studio CodeでのSSH接続が原因で、接続先EC2サーバーが高負荷になってしまった現象と対策についてお話しします。 あるEC2サーバーで数人で開発していると、サーバーが急に重くなりssh接続すらできなくなる現象が定期的に発生しました。 ↓topコマンドで確認した結果 top - 14:21:29 up 5:20, 1 user, load average: 4.58, 2.01, 0.86 Tasks: 192 total, 3 running, 189 sleeping, 0 stopped, 0 zombie %Cpu0 : 10.1 us, 3.0 sy, 0.0 ni, 0.0 id, 86.9 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu1 : 9.5 us, 2.4 sy, 0.0 ni, 0.0
Kubernetesをちょっと理解したあなたに贈るGKEの実践ノウハウ4選 - MonotaRO Tech Blog
はじめに 商品推薦システム: RecSys について GKEを採用した理由 GKEノウハウの紹介 RegionalクラスタでZone, NodeごとにPodが分散されるようにAffinityを設定 graceful shutdownするコンテナでもpreStopが必要 コンテナネイティブの負荷分散を利用 負荷試験によるHPAのパラメータ調整 まとめ はじめに こんにちは。EC基盤グループの池田（@progrhyme）です。 モノタロウでは昨年、商品のレコメンデーションに用いるシステムを内製化するという取り組みを行いました。 私もこのプロジェクトに参加し、主にGoogle Kubernetes Engine（以下、GKE）上でのアプリケーションの構築・設定やCI/CD設定、監視設定などを行っていました。 私自身、本番運用するGKEのプロダクトを本格的に触るのは、本件が初めての経験でした。 そ
新Linuxカーネル解読室 - ソケットインターフェース(データ構造と概要編) - VA Linux エンジニアブログ
「Linuxカーネル2.6解読室」（以降、旧版）出版後、Linuxには多くの機能が追加され、エンタープライズ領域をはじめとする様々な場所で使われるようになりました。 それに伴いコードが肥大かつ複雑化し、多くのエンジニアにとって解読不能なブラックボックスとなっています。 世界中のトップエンジニア達の傑作であるLinuxカーネルにメスを入れ、ブラックボックスをこじ開けて、時に好奇心の赴くままにカーネルの世界を解読する「新Linuxカーネル解読室」プロジェクト。 本稿では、旧版第21章で解説されていたソケットインターフェースについて、カーネルv6.8のコードをベースに主にデータ構造を中心に解説します。 はじめに ソケットの実体と概要 ソケット操作関数の実装 ファイル操作関数によるソケット操作の実装 次回予告: ソケット生成編 執筆者 : 須田 哲志、稲葉 貴昭 ※ 「新Linuxカーネル解読室」
これまで何度か HTTP Server の Graceful Shutdown について記事を書きました。 Go 言語で Graceful Restart をする Go 言語で Graceful Restart をするときに取りこぼしを少なくする Go1.8 の Graceful Shutdown と go-gracedown の対応 最終的に Go 1.8 で Server.Shutdown が導入され、この件は解決を見ました。 しかし、最近「あれ？本当に正しく Server.Shutdown 使えている？」と疑問に思い、少し考えてみました。 というか ↑ の記事もまだ考慮が足りない気がする。 ぼくのかんがえたさいきょうの Go HTTP サーバー起動方法 とりあえず完成形のコード。 package main import ( "context" "log" "net/http" "os
Docker Desktopを使わずにWindowsでDocker | IIJ Engineers Blog
九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。 WindowsでDockerを使いたい時、多くの方はDocker Desktopを使われていると思いますが、実は他にもWindowsでDockerを使う方法があります。 以前紹介させて頂いた「ブラウザだけでDockerしたい」といった方法もありますが、今回は「PCに直接インストールする」方法のご紹介です。 １．どうやるの？ 単純ですが「WSL2のUbuntuでDockerを動かす」です。 意外と盲点だったりするので、簡単に導入手順をまとめてみました。 ２．導入手順 導入手順は以下のとおりです。 WindowsTerminalをイン
以前の記事でも紹介した通り、一休では、gRPCを使ったサービスを導入し始めています。 user-first.ikyu.co.jp この記事では、このサービスをAmazon EKSで提供するための設計や気をつけたポイントについて紹介します。 背景 一休では、ウェブアプリケーションの実行環境としてAWS Elastic Beanstalkを採用しています。 そして、この4月からElastic BeanstalkをAmazon EKSへ移行するプロジェクトを進めています。 このgRPCサービスもElastic Beanstalkで運用をしていましたが、以下の問題を抱えていました。 適切にロードバランシングできない。 Elastic BeanstalkでgRPCサービスを運用しようとするとNetwork Load Balancer(NLB)を使うことになります。NLBはレイヤ4のロードバランサです
SREチームの長田です。 みなさま開発・運用上の定形オペレーションに伴うタスク実行をどのように管理していますか？ 今回は make をタスクランナーとして使う例を紹介します。 タスクランナーがほしい タスクランナーを使う主なモチベーションは以下の2つです。 タスクをリスト化したい タスクの実行インターフェイスを統一したい タスクがリスト化されていれば、それ自体が生きたドキュメントとして機能します。 また、タスクの実行インターフェイスが統一されていれば、 例えばタスクに前処理や後処理を追加したとしても、 開発・運用メンバーが実行するべき操作が変わることはありません。 操作変更の周知コストも下がりますし、変更に伴う操作ミスも減らすことができます。 タスクランナーに求めるもの タスクランナーの機能としては必要最低限のものがよいと考えています。 高機能なタスクランナーも魅力的ではあるのですが、タス
Amazon Web Services ブログ ECS のアプリケーションを正常にシャットダウンする方法 この記事は Graceful shutdowns with ECS を翻訳したものです。 — はじめに Amazon Elastic Container Service (Amazon ECS) を利用することで、お客様はさまざまな方法でコンテナ化されたアプリケーションを柔軟にスケールできます。リクエストの急増に対してタスクをスケールアウトすることも、コスト削減のためにタスクをスケールインすることもできます。ECS ではさまざまなデプロイの選択肢があり、ローリングデプロイ・ブルー/グリーンデプロイ・カナリアデプロイなどがサポートされています。さらに、ECS では柔軟なコンピューティングの選択肢が用意されています。Amazon EC2 のオンデマンド/スポットのキャパシティ上や、マネージ
Windows で Linux GUI アプリケーション (X11 と Wayland) を完全に統合されたデスクトップ エクスペリエンスで実行するための Linux 用 Windows サブシステム (WSL) のサポートをプレビューできるようになりました。 WSL 2 により、Windows 上での Linux GUI アプリケーションの使用がネイティブで自然に感じられるようになります。 Windows の [スタート] メニューから Linux アプリを起動する Linux アプリを Windows のタスク バーにピン留めする Alt + Tab キーを使用して Linux アプリと Windows アプリを切り替える Windows アプリと Linux アプリ間で切り取りと貼り付けを行う Windows と Linux のアプリケーションの両方をワークフローに統合し、シームレス
Go: A Documentary
Go: A Documentary by Changkun Ou <changkun.de> (and many inputs from contributors) This document collects many interesting (publicly observable) issues, discussions, proposals, CLs, and talks from the Go development process, which intends to offer a comprehensive reference of the Go history. Disclaimer Most of the texts are written as subjective understanding based on public sources Factual and ty
現在プレビュー中の20H1のビルド19013から、WSL2（Windows Subsystem for Linux 2）は、一旦確保したメモリでも不要になれば、きちんとWin32に返すようになった。今回はこのあたりを調べてみる。 WSL2におけるメモリ割り当て WSL2は、軽量ユーティリティ仮想マシン（Light Weight Utility Virtual Machine：以下、LWUVM）内で動作している。このため、ホストとなるWindows 10のメモリの一部を利用する。ただし、メモリ割り当ては、Hyper-Vでいう動的メモリ割り当てであり、上限を決めるものの、実際に使っている分のみを確保して、必要になれば上限までメモリを確保しようとする。 この上限は、WSL2側からは「実装メモリ量」のように見える。デフォルトでは、PC側のメモリの75％をWSL2の上限として割り当てているようだ。た
はじめに OpenTelemetryとは Opentelemetry のコンポーネント Opentelemetry のプロジェクトの仕様とStatus Tracing Metrics Logging(Specification にドキュメントがない) Baggage OpenTelemetry のSpanとTrace OpenTelemetry Collectorとは Collector のメリット OpenTelemetry Collector Architecture とは OpenTelemetry とSDKとパッケージ OpenTelemetry と自動計装 今後のOpentelemetry について 次回予告:OpenTelemetry とOpenTelemetry Collectorを使ったTracingとMetricsをアプリケーションで利用する方法 参照リンク はじめに 最
チャットAI「ChatGPT」では、有料プラン「ChatGPT Plus」に加入することで2023年に発表された高性能言語モデル「GPT-4」によるチャット機能が利用可能となります。このGPT-4によるチャット機能をを無料で使えるようにするオープンソースプロジェクト「gpt4free」が、ChatGPTの開発元であるOpenAIによって削除要請を受けていることが明らかになりました。 GitHub - xtekky/gpt4free: decentralising the Ai Industry, just some language model api's... https://github.com/xtekky/gpt4free OpenAI Threatens Popular GitHub Project With Lawsuit Over API Use | Tom's Hardwa
障害対応時に AWS Direct Connect を手動で VPN へとフェイルオーバーする手法について - サーバーワークスエンジニアブログ
営業部 佐竹です。 本日は、2021年9月2日 の 午前7時30分から午後1時42分までの間に発生していた「東京リージョンにおけるダイレクトコネクト（専用線：以下 DX と記載）障害に関する記事となります。 はじめに 影響範囲について 一時的な対応策 DX をダウンさせる 1-1. CGW で NIC を Shutdown する 1-2. 物理線を抜く 1-3. DX フェイルオーバーテストの実行 2021年10月5日 追記 BGP 設定で対応する 2-1. 広報経路を更新する その他の手法 参考情報 Personal Health Dashboard の履歴1 [4:00 PM PDT] [4:45 PM PDT] [6:49 PM PDT] [6:49 PM PDT] [9:56 PM PDT] Personal Health Dashboard の履歴2 [05:39 PM PDT]
米下院では政府機関閉鎖を回避するため民主党と共和党がギリギリの調整を続け、30日に何とか「つなぎ予算」を可決したものの、民主党は共和党の支持を取り付けるため「ウクライナ支援資金」をつなぎ予算から外してしまった。 参考：House sends bipartisan bill to avert government shutdown to the Senate hours ahead of deadline つなぎ予算が期限切れを迎える11月中旬が「ウクライナ支援継続」の山場になるかもしれない米国では期限内＝9月30日までに予算が成立することはほぼなく、議会は「つなぎ予算」で連邦政府機関の閉鎖を回避しつつ本予算の審議時間を稼ぐのだが、今年はつなぎ予算（45日分）の承認で民主党と共和党が対立、下院は様々な譲歩を経てつなぎ予算を可決したため、これを上院が可決すれば連邦政府機関の閉鎖は避けられる見込
Kubernetesのモダンな活用法 - 設計メソッドと、Virtual Kubeletで実現するサーバーレス化を学ぼう｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧Kubernetesのモダンな活用法 - 設計メソッドと、Virtual Kubeletで実現するサーバーレス化を学ぼう Kubernetesのモダンな活用法 - 設計メソッドと、Virtual Kubeletで実現するサーバーレス化を学ぼう Kubernetesはここ数年で一気にユーザーを増やしたコンテナオーケストレーターですが、一般化にともない、その活用法も洗練されてきました。本稿では「The Twelve-Factor Appを援用したKubernetes設計」と「Virtual Kubeletを活用したKubernetesのサーバーレス化」という、比較的新しい2つの活用法を武井宜行さんが解説します。 こんにちは。サイオステクノロジー株式会社でエンジニアをしております武井宜行（タケイ・ノリユキ／ @noriyukitakei ）と申します。本稿では、比
WebアプリケーションにGoの並行処理アーキテクチャを導入してSLOを改善し、WebAPIを100倍速くした話 - スタディサプリ Product Team Blog
こんにちは。スタディサプリの小中高プロダクト基盤開発グループでProduct Platform Engineer兼テックリードをやっている@tooooooooomyです。 今回は、WebアプリケーションにGoの並行処理機構を導入してSLOを改善し、WebAPIを100倍速くした話をしたいと思います。 前提条件 システムを0から作らない場合、アーキテクチャの改善の際には前提条件が付きものです。そこでまずは今回のシステムの前提条件をお話します。 対象となるシステムと、アーキテクチャ 今回対象とするシステムは、ここでは security-tracker と呼び、Webアプリケーション本体はGoで書かれています。 スタディサプリの各アプリケーションにおけるユーザーのログ1を、Amazon Kinesis Firehoseを通して、リクルート全体のセキュリティチームが管理するS3バケット(スタディサ
ここ数年は Azure Functions をフルに活用したアプリケーションを実装することが多かったのですが、同時に Azure Functions を失敗しないように使う方法も分かってくるので、ここらでちゃんと言語化しておきます。 最近は特に Azure Light-up というハッカソンを行うことが多いのですが、Azure Functions を使う場合には必ずこの辺りは毎回説明するようにしています。要するに Azure Functions の利点・特性を理解して賢く使いこなそうという話です。 Binding / Trigger で実現出来ないか考える Function の実装は出来る限り小さく保つ リトライのしやすい実装を重視する 最新の .NET での作法に沿ったコードを書く Graceful Shutdown に対応したコードを書く 機能単位で Function App プロジェ
私はAWS EC2のt2インスタンスを誤解していた - CPUクレジットとベースラインパフォーマンス、そしてT2 Unlimited - SMARTCAMP Engineer Blog
スマートキャンプエンジニアの今川です。 この記事はスマートキャンプ Advent Calendar 2019 - Qiita 10日目の記事です。 qiita.com 別のネタで書こうと思っていましたが、ちょうど昨日今日でAWS5年やってたのに誤解してた！という経験をしたのでそれについて忘備録＆人に共有するためにもまとめます。 T2 Unlimitedって何が嬉しいの？という方には読んでいただきたいです。 t2インスタンス - バースト可能なインスタンスタイプ AWS EC2にはt2という安価なインスタンスタイプ群があります。 aws.amazon.com ベースラインから必要に応じてバースト可能な汎用インスタンスタイプ という見出しがついており、 オンデマンドインスタンスの価格は 1 時間あたり 0.0058 USD から開始され、T2 インスタンスは最も安価な Amazon EC2 イ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsのパスワードを「chntpw」で強制リセットしてログインできなくなったPCを使えるようにする方法
AWS 東京リージョンで発生した大規模障害についてまとめてみた - piyolog
今どきの Go の書き方まとめ (2020 年末版) - エムスリーテックブログ
CIOpsとGitOpsの話 - inductor's blog
Windows Subsystem for Linuxガイド 第1回 基本編
1コンテナ複数プロセスはやめておいた方が良い話 - Qiita
Time on Unix
「MySQLのフェイルオーバーテストをする」と聞いてぼんやり思ったこと
大阪万博で飛行予定の「空飛ぶクルマ」試験機が墜落事故 | Gadget Gate
[AWS] Amazon SESのアカウントが止められちゃった話 - Qiita
“Tao of Node - Design, Architecture & Best Practices” 日本語翻訳
ぼくのかんがえたさいきょうのGo HTTPサーバー起動方法
Amazon EKSでgRPCサーバを運用する - 一休.com Developers Blog
タスクランナーとしてのmakeを使う際の工夫と注意点 - KAYAC engineers' blog
ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services
WSL で Linux GUI アプリを実行する
Windows Subsystem for Linux 2のメモリ管理を詳しく見る (1/2)
2022年版 OpenTelemetryを知れば世界が平和に - じゃあ、おうちで学べる
有料の「GPT-4」を無料で使えるようにした「gpt4free」がOpenAIから「削除しないと訴える」と脅迫される
米下院がつなぎ予算を可決、共和党に譲歩してウクライナ支援資金は除外
私が Azure Functions アプリケーションの開発時に意識していること - しばやん雑記