Amazon Time Sync Serviceがマイクロ秒単位で時刻同期できるPTPをサポートしたのでEC2で試してみた こんにちは。CX事業本部のakkyです。 2週間ほど前となりますが、Amazon Time Sync ServiceがPTPをサポートしました。 この時には見落としてしまったのですが、今回のre:Inventで発表されたAurora Limitless Databaseでは、分散データベースを実現するために精密な時刻同期を必要としており、このために新しいAmazon Time Sync Serviceが使われているという発表がありました。 今回は、このPTP時刻同期をEC2インスタンスで試してみましたのでご紹介します。 Amazon Time Sync Serviceとは？ 無料で使えるフルマネージドな時刻同期サービスで、いままではNTPのみがサポートされていました。

こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用技術 S3 Athena Glue GlueETLは費用の面で使わず他のサービスを組み合わせる形で内製 Firehose Lambda(Python) Codebuild Step Functions / EventBridge ECS on Embulk

はじめに コマンドをパイプでつなげた時、各コマンドの間にはいくつかのバッファが存在します。そのバッファについてちゃんと意識しているでしょうか？ バッファの存在によって各コマンドの実行には分かりづらい変化があります。そのバッファを知らないと罠にハマってしまう・・・かもしれません。 プロセス間のパイプ通信のバッファ まずプロセス間のパイプ通信に存在しているバッファです。多くのコマンドは行単位でデータを処理しますが、一般的にパイプでつなげた各コマンドはそれぞれ処理速度が異なります。処理がすぐに終わるコマンドもあれば時間がかかるコマンドもあります。各コマンドは並列で動作可能ですが必ずしも並列で動作するわけではありません。 一般論としてパイプライン全体の処理にかかる実時間はパイプでつながったコマンドの中で一番遅いコマンドに足を引っ張られます。いくら並列で動作可能と言ってもデータが到着しなければ処理す

ご挨拶 本記事はリンクアンドモチベーション Advent Calendar 2023の6日目です。 こんにちは、市原と申します。 開発をしていて見通しが立たないことって多いですよね。 今までやったことのある開発をすることの方が少なくて、大体は初めてのこと、初めてのメンバー、初めてのシチュエーションだと思います。 ある種の不確実性を抱えた仕事がほとんどではないでしょうか。 そんな見通しが立たない状況を偉大にも日々開拓してきた先人がいます。 ギャルです。 ギャルはいつの世も変化を当然のように受け入れ、適応し、さらに大きな変化を生み出してきました。 その上ギャルは楽しそうです。 プロジェクト乗り越えるためにギャルマインドを憑依させればうまくいくんじゃね？と思っちゃったので、 日常のプロジェクトで使えるギャルマインド3選を紹介していきます🫰👗✨ ※この記事は筆者のイマジナリーギャルに基づいて書

TL;DR Shift_JISにしただけでコンパイラが通らなくなる恐ろしい事件とその回避法について。 \ (¥)のASCIIコードは0x5c 表、能は良くない UTF-8は神 2023/12/06追記 誤りがあったので訂正します。こんな読まれると思ってなかったので正直ちょっとびっくりしていますが、いろいろコメントありがとうございました。（ツイート等全て拝見しました。） Shift_JISが悪いわけではない（デフォルトのエンコーディング設定の問題）→追記しました UTF-8にはUTF-FSSという仕様でこの問題が回避されている→マジでタメになる知識ありがとうございます OSによってデフォルトのエンコーディング設定が異なるせいで、デフォルト環境での動作がOSにより異なる→なるほど？（調査中） CRLFとLF問題では→なるほど？（調査中） そんな問題何を今更→UTF-8が出てから生まれたからです

この記事で伝えること ・要件定義の大切さ ・運用不振でも、開発したことに自信を持つこと ・毒親やパワハラを引きずってないか自問する 注：この記事で伝えていないこと ・技術情報 ・コピペして使えるコードサンプル ・要件定義書の具体的な書き方 出来事の経緯 開発したシステムは電子入場管理システム システムの開発理由と目的は、社内スタッフと現場イベントスタッフの コスト削減 業務効率化 紙チケットの転売防止 以上を目的としていた。しかし会社の業績が風前の灯火だったため、このシステムを作ったところで直接の売上につながらないことは明らかだった。 しかし「クライアントの言うことは絶対」という空気感も感じていたため、開発することに。 LAMP環境にLaravelとBreezeを使い、コスト削減・業務効率化・転売防止を実現するため仕様を策定した。 本来ならSMS認証を入れたかったが、クライアント側で稟議が

みすてむず1 アドカレ(4) の4日目の記事です https://adventar.org/calendars/8652 はじめに 煽りタイトルでスミマセン🙇‍♂️ 昨今情報漏洩事故が多発しており、セキュリティの重要性が叫ばれています。 事故原因は様々で、ネットワークやプラットフォームの不備、アプリケーションの脆弱性、人的要因などがあります。 Web開発とは切っても切れないWebアプリケーションセキュリティですが、皆様は 脆弱性の原理を正しく理解していますか？ 脆弱性の名前や、コードを書く際に気を付けなければならないポイントやフレームワークの使い方をおさえている方は多いかと思いますが、「なぜ」を考えていますか？ しっかり理解していくことでコード書く時以外でも設計やレビューでセキュリティの知見に立ったアドバイスができるようになります。また新しいフレームワークやアーキテクチャに出会ったときに

この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき

やりたかったこと ビルドやデプロイなど数分単位でかかる処理を待つのが嫌、だけどターミナルに張り付くのは時間の無駄ということで、自動的に通知してくれる仕組みを作りました。 ↓こんな感じ 動作環境 Windows11 Pro 23H2 WSL 2.0.9.0 Ubuntu 22.04.3 LTS Bash 5.1.16 WSLからWindows側にデスクトップ通知を出す PowerShellでデスクトップ通知（トースト通知と言うらしい）を簡単に出せます。 スクリプトを書いて、WSLから呼び出す形が良さそうです。 PowerShellで出せる通知の種類やカスタマイズについてはこちらの記事が参考になりました。 実行ポリシー WSLからPowerShellスクリプトを実行するために実行ポリシーの変更が必要でした。 PowerShellを管理者権限で開き、下記のコマンドを実行します。 param (

Windowsを長年触っている人なら一度はブルースクリーンを目にしたことがあるはず。このブルースクリーンは海外では「ブルースクリーン・オブ・デス(BSoD)」と呼ばれ畏怖の対象となっているのですが、新たにLinuxのシステム管理ソフトウェア群「systemd」にブルースクリーンと同等の機能を備えたコンポーネント「systemd-bsod」が追加されることが明らかになりました。 Release systemd v255 · systemd/systemd · GitHub https://github.com/systemd/systemd/releases/tag/v255 systemd 255 Released With A "Blue Screen of Death" For Linux Systems - Phoronix https://www.phoronix.com/news

過去に起こった個人情報流出で、自分のメールアドレスやユーザー名から自分の個人情報が流出しているかどうかをチェックできるサイト「Have I Been Pwned?」が2023年で設立10周年を迎えたと、設立者のトロイ・ハント氏が明らかにしました。 Troy Hunt: A Decade of Have I Been Pwned https://www.troyhunt.com/a-decade-of-have-i-been-pwned/ 「Have I Been Pwned?」設立直後の2012年12月4日に投稿されたツイートが以下。 It's alive! "Have I been pwned?" by @troyhunt is now up and running. Search for your account across multiple breaches http://t.co

Amazon Web Services ブログ AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました AWS Lambda は、最大 12 倍速くスケールアップできるようになりました。同期的に呼び出される各 Lambda 関数は、すべての関数の合計同時実行数がアカウントの同時実行数の上限に達するまで、10 秒ごとに 1,000 回の同時実行回数でスケールするようになりました。さらに、アカウント内の各関数は、関数の呼び出し方法に関係なく、互いに独立してスケールするようになりました。これらの改善には追加コストはかかりません。また、既存の関数の設定を行う必要もありません。 スケーラブルで高性能なアプリケーションを構築することは、従来のアーキテクチャでは困難な場合があり、ピーク時の需要や予測不可能なトラフィックに対応するために、コンピューティング

新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 新機能 connpass APIに新しく、ユーザーのプロフィールを取得できるユーザーAPIを追加しました。APIリファレンスは こちら を、またAPI利用希望の方は こちら をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記します。以降の情報取得にはconnpass APIをご利用ください。APIご利用にについてはヘルプページをご確認ください。

新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 新機能 connpass APIに新しく、ユーザーのプロフィールを取得できるユーザーAPIを追加しました。APIリファレンスは こちら を、またAPI利用希望の方は こちら をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記します。以降の情報取得にはconnpass APIをご利用ください。APIご利用にについてはヘルプページをご確認ください。

Please note: We take OpenBao's security and our users' trust very seriously. If you believe you have found a security issue in OpenBao, please responsibly disclose by contacting us at openbao-security@lists.lfedge.org. Mailing List GitHub Discussions Chat Server -- look for openbao- prefixed rooms. OpenBao exists to provide a software solution to manage, store, and distribute sensitive data includ

AppleとGoogleというスマートフォンOS開発のトップ企業が、プッシュ通知に関するデータを政府機関に提供していたことが明らかになりました。プッシュ通知を通じてユーザーを監視していたのは「アメリカと同盟関係にある民主主義国家」だそうです。 Wyden Seeks Answers from Justice Department On Alleged Surveillance of Apple and Google Mobile Push Notifications | U.S. Senator Ron Wyden of Oregon https://www.wyden.senate.gov/news/press-releases/wyden-seeks-answers-from-justice-department-on-alleged-surveillance-of-apple-and

Amazon Web Services ブログ 新しい Amazon WorkSpaces Thin Client は、仮想デスクトップへ費用対効果の高い方法で安全にアクセスできます。 新しい Amazon WorkSpaces Thin Client は、費用対効果が高く、安全で、管理しやすい方法で仮想デスクトップへアクセスできるようにすることで、エンドユーザーと IT スタッフの生産性を向上させます。デバイスは事前に設定され、エンドユーザーに直接出荷されるため、すぐにデプロイ、接続、使用できます。 以下、このデモのテスト設定をお見せします。 Thin Client は、モニター、キーボード、マウス、その他の USB 周辺機器 (ヘッドセット、マイク、カメラなど) に直接接続する小さなキューブです。オプションのハブを使用すると、2 台目のモニターを稼働することもできます。管理者は、ユーザ

Amazon Web Services ブログ Amazon Managed Service for Prometheus は、Amazon EKS のエージェントレスメトリックス収集を提供します 11月26日、Amazon Elastic Kubernetes Service (Amazon EKS) から Prometheus のメトリクスを自動的かつエージェントレスに検出して収集する新しい機能、Amazon Managed Service for Prometheus コレクターを発表できることを嬉しく思います。Amazon Managed Service for Prometheus コレクターは、クラスター内でコレクターを実行することなく、Amazon EKS アプリケーションとインフラストラクチャからメトリックスを検出して収集するスクレイパーで構成されています。 この新機能によ

Amazon Web Services ブログ Amazon EFS Archive を使用して、アクセス頻度の低いファイルのストレージコストを最適化します 11月26日、Amazon Elastic File System (Amazon EFS) の新しいストレージクラスである EFS Archive を紹介します。これは、ほとんどアクセスされない長期保存データ用に最適化されています。 今回の発表により、Amazon EFS は次の 3 つのリージョナルストレージクラスをサポートします。 EFS Standard — SSD ストレージを搭載し、アクティブなデータでミリ秒未満のレイテンシーを実現するように設計されています。 EFS 低頻度アクセス (EFS IA) — 四半期に数回しかアクセスされないデータに対してコスト最適化されており、EFS Standard のようにミリ秒未満のレ

Amazon Web Services ブログ アクセス頻度の低いログ用の新しい Amazon CloudWatch ログクラスを割引価格で提供 Amazon CloudWatch Logs は11月26日、低頻度アクセスと呼ばれる新しいログクラスを発表しました。この新しいログクラスは、アクセス頻度の低いログに対して低コストでカスタマイズされた機能セットを提供するため、お客様は費用対効果の高い方法ですべてのログを 1 か所にまとめることができます。 お客様のアプリケーションがスケールし拡大し続けるにつれて、生成されるログの量も増えます。伐採コストの増加を抑えるために、多くのお客様は厳しいトレードオフを余儀なくされています。たとえば、アプリケーションによって生成されるログを制限してアプリケーションの可視性を妨げたり、ログタイプごとに異なるソリューションを選択したりして、さまざまなロギングソリ