You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Cloud Operator Days Tokyo は、クラウドの運用者に焦点を当てた技術者向けの新しいテックイベントです。AWS環境の運用を手がけるアイレット株式会社のインフラエンジニア古屋氏が、実際にやってしまったしくじりを紹介。原因と対策を語ります。まずは「Athenaで170万円請求」「EC2が復旧できない」 というしくじりから。(全2回) しくじり先生 on AWS 古屋啓介氏(以下、古屋):では「しくじり先生 on AWS」ということで、始めたいと思います。よろしくお願いします。今日は、AWS環境を使って日々運用していく中で発生した、しくじり、失敗事例。そしてそのしくじりの原因と、そこから得られた教訓についてお伝えしようと思います。 今日このお話を聞いたみなさんの中で「あ、うちの環境どうっだったかな?」と、思われる方もいらっしゃるかもしれません。今日お伝えすることの中で、ちょっ
世の中的には分析などをする際にはBigQueryのケースが多いと思いますが、仕事でAmazon Athenaを触るケースが出てきたので、入門としてまとめておきます。 Amazon Athenaとは BigQueryみたく、SQLで大きなデータを集計などできるAWSのサービスです。 分析の他にも他のAWSサービスのログ確認などでも使われたりしますが、今回は分析寄りの記事として進めます。 BigQueryと比べて大きく異なる点として、「データをS3に配置する」という点があります(それによるメリットなどは後述)。 コストはどうなの? 基本的にスキャンサイズのみに課金されます。 Amazon Athena では、実行したクエリに対してのみ料金が発生します。クエリごとにスキャンされたデータの分量に基づいて料金が請求され、1 テラバイトごとに 5 USD が請求されます。 Amazon Athena
Amazon Athenaで日時バッチ処理を作成 はじめに EMR on Sparkで実行していた日時処理(の一部)を、AthenaのCTASで実装し直した記事です。 何故このような対応をしたかというと、単にコスト削減&高速化のためです。 ただ、実行するクエリや処理するデータ量によっては、この対応により逆に高コスト&低速になる場合もあるので、事前に評価を行う必要があります。 この対応でどのようになったか この処理が毎日READ/WRITEするデータのサイズは下記のとおりです。 READデータ:約 80 GB/日 WRITEデータ:約 6 GB/日 この対応により、速度とコストは下記のようになりました。 EMR Athena 計算式については、後述します。 Athenaの速度は、Sparkと同様のクエリでは約24分でしたが、クエリ内の「ORDER BY」を外すと約6分で終了しました。 そのた
※本投稿に記載の内容は犯罪行為を助長するものではありません。必ず自身の管理下にあるネットワークやサーバーに対してのみ実施してください。 サブドメインの列挙が完了したら、次はそのサブドメインに紐づくIPアドレスを見つけます。なぜIPアドレスが必要かというと、次ステップで使用するサービスの検索がIPアドレスベースのためです。 さて、ドメインからIPアドレスに変換を行うだけであれば、nslookupをたたけば充分なのですが、このシリーズではあくまでパッシブにこだわります。また、該当DNSレコードがいつの時点で有効であったものかを知る必要があるため、その情報が分かる、以下3サービスを紹介します。なお、紹介するサービスのうち1~2は、前ステップで既に紹介済みのため、サービスの内容など重複する箇所もありますが、ご容赦ください。 1.Security Trails(★★) 2.RiskIQ(★★) 3.
ArchiveBox - A tool which maintains an additive archive from RSS feeds, bookmarks, and links using wget, Chrome headless, and other methods (formerly Bookmark Archiver). (In Development) archivenow - A Python library to push web resources into on-demand web archives. (Stable) ArchiveWeb.Page - A plugin for Chrome and other Chromium based browsers that lets you interactively archive web pages, repl
黒塗りのDNS (萎縮編) ~共用サービスの闇~ Apr 23, 2019 ssmjp E-ONTAP.COM 鈴木常彦 (@tss_ontap) ある日の我が職場 (恥) 私(TEL) 「m.chukyo-u.ac.jp 見てみれ! 中華料理屋に乗っ取られてるぞ www」 情報システム 「え!...これは...調べます...」 後日 「レンタルサーバ返した後 A レコード削除申請がなかったようです!」 危険な忘れ物 - Floating Domainname 借りたサーバ (IPアドレス) にリソースレコードを向けたまま解約してはいけない Subdomain Takeover Attack 放置された CNAME の先は狙って再登録されうる、、、 old-service.example.jp IN CNAME orphan.cdn.example.com fan.football.son
Introduction Poetry is a tool for dependency management and packaging in Python. Basic usage For the basic usage introduction we will be installing pendulum, a datetime library. Libraries This chapter will tell you how to make your library installable through Poetry. Versioning Poetry requires PEP 440-compliant versions for all projects. While Poetry does not enforce any release convention, it use
Visual Studio Code(VSCode)によるPoetryプロジェクトのデバッグ モチベーション 方向性も定まらないのでWebフレームワークが何しているのか理解しようとFastAPIのソースでも読むかと思ったのだがpoetryの仮想環境がVSCodeで認識されなかった. poetry shellで仮想環境を有効にする 基本は公式のDebuggingにあるようにuvicornをモジュールとして追加してトップレベルのコードとして実行する. 問題はpoetryが作る仮想環境をどうやってVSCodeに認識させるかである. VSCodeはpyenvからインストールしたインタプリタについては勝手に認識してくれる. 適当なPythonファイルを開くとステータス・バーの左端に現在のインタプリタが表示される. ここをクリックするとインタプリタの選択肢が表示される. pyenvと最後についているの
前書き Zennでのはじめての投稿になります。よろしくお願いいたします。 Poetryでは何らかのパッケージをインストールする前に仮想環境が自動的に作成されるが、VSCodeがその仮想環境を見つけてくれないので、手動で認識させてあげなければいけません。 毎回忘れてググッている気がするので、今回はその方法をメモとして残していきたいと思います。 どうやるか Poetryで作成した仮想環境をVSCodeに認識させる方法は私の知る限りだと以下の3パターンがあります。 poetry shellで仮想環境に切り替えてからVSCodeを開く .vscode/setting.jsonにpoetryによって自動生成された仮想環境のパスを入力する プロジェクト直下で仮想環境を作成するようにPoetryの設定を変更する(個人的におすすめ) 以降で一つずつ具体的なやり方を記載していきます。 poetry shel
クレジットカード情報漏えい事故に関し,その原因の一つと考えられる脆弱性対応が運用保守業務に含まれていたか否かが争われた事例。 事案の概要 Xは,Xの運営する通販サイト(本件サイト)を第三者に開発委託し,運用していたが,その後,2013年1月ころまでに,Yに対し,本件サイトの運用業務を月額20万円で委託した(本件契約)。本件サイトはEC-CUBEで作られていた。なお,XからYへの業務委託に関し,契約書は作成されておらず,注文書には「本件サイトの運用,保守管理」「EC-CUBEカスタマイズ」としか記載されていない。 2014年4月には,OpenSSL*1の脆弱性があることが公表されたが*2,本件サイトでは,OpenSSLが用いられていた。 2015年5月ころ,Xは,決済代行会社から本件サイトからXの顧客情報(クレジットカード情報を含む)が漏えいしている懸念があるとの連絡を受け(本件情報漏えい)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く