DynamoDBをいじり始めてかれこれ一年くらい。見よう見まねで騙し騙しやってきたが、色々と痛い目を見てわかってきたこともある。転んで生傷つくりながら、テーブル設計をする際に考えるようになったことを、備忘録的に記述していく。 オートスケールの話はしない（わからない）。インフラ専門部隊がいないなら、オンデマンドがいいよ。人的コストより多分安いよ。 ドキュメント なにはともあれ、公式のドキュメントについて存在を知っておく→「DynamoDB のベストプラクティス - Amazon DynamoDB」 こんな記事を読んでいる時間があるなら、公式のドキュメントを読むべきだ。でも多分読めない。自分も今でも読めていない。ここに書かれているのは本当に日本語だろうか、と真剣に思う。まぁ教科書なんていうのはだいたい、わかってから読むとわかるもんである。 それでも通して読むことでなんとなく親しみがわくのが人間
大規模サービスにおけるMongoDBのインデックス運用 - スタディサプリ Product Team Blog
QuipperではメインのデータベースとしてMongoDBを活用しており、データサイズは1TBを超えています。 これまでユーザーやデータが増えるたびにスケールアップを繰り返してきたので、AWSの最高性能のサーバを使う状況になっていました。 このような大規模なサービスにおけるMongoDBの運用について書いていきたいと思います。 今回はインデックス編です。 はじめに 当記事で登場するMongoDBの構成 クラスター管理: MongoDB Cloud Manager & AWS EC2 ReplicaSet Cluster: Primary, Secondary, Hidden Secondary EC2 instance type; i3en.24xlarge (Primary/Secondary) RAM: 768GB (Primary/Secondary) MongoDB Version
[アップデート]CodePipelineからStep Functionsの呼び出しが可能になりました | DevelopersIO
CodePipelineのアクションプロバイダーでStep Functionsの指定が可能になりました。 CodePipeline が新しいアクションタイプでの Step Functions の呼び出しをサポート こちらのアップデートにより、リリースプロセスの一部として、条件分岐、エラー処理などを含む複雑なワークフローを呼び出すことが可能になりした。以下のようにパイプライン内でStep Functionsの呼び出しができる感じです。 今回は以下チュートリアルをベースに、動作を確認してみたいと思います。 Tutorial: Use an AWS Step Functions Invoke Action in a Pipeline 前提 CodePipelineが作成済みであることを前提としています。前提環境となるCFnテンプレートを作成しましたので、ここではこちらを利用しています。 Gist
![[アップデート]CodePipelineからStep Functionsの呼び出しが可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/088885a18b5cefb1e65678213009a097228dedf8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-codepipeline.png)
更新できるデータレイクを作る 〜Apache Hudiを用いたユーザデータ基盤の刷新〜 - Gunosy Tech Blog
広告技術部のUT@mocyutoです。 こちらの記事はGunosy Advent Calendar 2021の4日目の記事です。 昨日は内田さんの その設定、pyproject.tomlに全部書けます - Gunosyデータ分析ブログ でした 今回はApache Hudiを用いたユーザデータ基盤の刷新を紹介します。 背景 仕組み 課題 対応策 データの持ち方を変える Apache Hudiとは 構成 Glue + PySpark Athenaによる抽出 移行し終えて 背景 Gunosyの広告システムではユーザに対して最適な広告を届けるために、接触済みのユーザに対して何度も同じ広告を出さないようにする仕組みを提供しています。 例えば、すでにある広告Aをクリックしたユーザには広告Aは再度配信しないのような設定です。 仕組み この仕組みを実現するためには以下のようなアーキテクチャになっていました
「Knativeで実現するKubernetes上のサーバーレスアーキテクチャ」の文字起こし #CNTD2019 - Qiita
概要 CloudNative Days2019でお話した「Knativeで実現するKubernetes上のサーバーレスアーキテクチャ」の文字起こしです スライド単体だと情報量が足りなかったりリンクをたどりづらかったりするため、より多くの人にKnativeを知ってもらうために記事にしようと考えました 自己紹介 @toshi0607というTwitterアカウントで発信しています。このセッションに限らずなにかあれば気軽にメンションしてください。 普段はメルペイというメルカリの決済システムを開発している会社でGo、gRPC、GKEのマイクロサービスのバックエンドを開発しています。 開発体制などはこの資料が詳しいです。 メルペイのマイクロサービスの構築と運用 僕はメルペイに入るまでKubernetesを触ったり、個人検証用以外にインフラのコード定義などをしたことがありませんでした。メルペイでは各マイ
AWS アップデートの予兆ないかな？ 直近で更新された AWS サービス用 IAM ポリシーを一覧取得したのち変更差分を眺めてニヤニヤしてみた | DevelopersIO
以下を実行することで、特定のポリシーの前後の内容が変数に格納されます。 INDEX=3 ARN=`echo $RESULT | jq -r '.['$INDEX'].value.arn'` VER=`echo $RESULT | jq -r '.['$INDEX'].value.version' | tr -d "v"` BEFORE=`aws iam get-policy-version --policy-arn $ARN --version-id v$((VER-1)) --query PolicyVersion.Document` AFTER=`aws iam get-policy-version --policy-arn $ARN --version-id v$VER --query PolicyVersion.Document` ここでは以下の AWS コマンドを使用しています。
26日（日本だと27日）に「MSのクラウドのデータベースに脆弱性 数千社に通知」みたいなタイトルのニュース記事がロイターからありました。情報不足で正確性にかけるタイトルですが。 より細かい詳細はそのうちでるかも知れませんが現状はこちらを参照。 Update on the vulnerability in the Azure Cosmos DB Jupyter Notebook Feature – Microsoft Security Response Center（MicrosoftのSecurity Response Centerの記事） ChaosDB: How we hacked thousands of Azure customers’ databases | Wiz Blog （脆弱性発見者の記事） 脆弱性の概要 Cosmos DB組み込みのJupyter Notebook機能を
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
社内の勉強会等で発表した内容を改変したものです。 MOVの「お客様探索ナビ」にOptunaを用いたハイパーパラメータチューニングを組み込んだ経緯、実際のチューニングフロー、コードベースでの解説、実験評価について、Optunaのチュートリアルを交えつつまとめました。 タイトルに分散とありますがKFP上の話なので厳密には並列です。Read less
WP908
WP908 อีกหนึ่งเว็บไซต์ที่ถูกครอบครองโดย PGZEED.BEST โดยเว็บไซต์ WP908.com ถูกเข้าซื้อกิจการเมื่อวันที่ 8 สิงหาคม 2566 WP908.com เป็นเว็บไซต์เกมสล็อตออนไลน์ที่ได้รับความนิยมเป็นอย่างยิ่งตั้งแต่ปี 2020-2023 ซึ่งเว็บไซต์ที่รวมเกมสล็อตหลากหลายรูปแบบ ทั้งเก่าและใหม่ ค่ายชั้นนำจากต่างประเทศหรือค่ายเกมดังที่คนไทยทุกคนรู้จักอย่าง PGSLOT, Askmebet และ SLOT XO ยกระดับเกมสล็อตให้มีมาตรฐานยิ่งกว่าเดิมด้วย WP9
データアナリティクス事業本部のnkhrです。今回のブログでは、Data Lakeのアクセス管理やデータ管理を行うLake Formation機能を検証します。 Lake Formationを使うメリット Data Lakeアーキテクチャでデータ格納・加工・クエリを実施するためには、複数のAWSサービスを組み合わせる必要があります。 たとえば、Lake Formationを利用せずに、以下のようなAWSサービスを組み合わせる場合、IAM PolicyとBucket Policyを用いて、どのデータに対して誰がアクセスしてよいかを制御（データガバナンス）する必要があり、ポリシーの管理は複雑になります。 S3（データ格納） Gule Data Catalog (S3データのSchema定義） Glue Data Brew or Glue ETL（データ加工/ジョブ） Step Function
うわっ…AWSのセキュリティ系サービス、多すぎ…？オンプレエンジニアにも分かりやすく整理してみた
JAWS-UG朝会 #34 https://jawsug-asa.connpass.com/event/240121/
PulumiはIaCの革命児になれるか
序論 2023年4月にPulumi社はPulumiサービスにAIを組み込んだ機能を実装したと発表しました。 ここ最近、コード生成系AIが増えてきましたがIaCに特化したツールは珍しいと思いましたので触って感想を述べていきます。 Pulumiとは まずPulumiについて説明いたします。 Pulumiはプログラミング言語でインフラストラクチャーを作成できるプロビジョニングツールです。 プロビジョニングツールで有名なものですとTerraform[1]やAWS CDK[2]があり比較するとPulumiはやや知名度が低いです。 Googleトレンドより 類似ツール比較 VS Terraform 類似ツールとの違いについてドキュメントで紹介しています。Terraformとの主な違いについては以下の通りです。[3] 項目 Pulumi Terraform
Workload Identityの実基盤への導入 10年後に本番環境でやらかしちゃった人 Advent Calendar を書かないために 本記事は リクルートライフスタイル Advent Calendar 2019 23日目の記事です。 CETチーム の龍野です。 我々のチームでは GKE (Google Kubernetes Engine) を利用した基盤開発が盛んに行われております。 Kubernetes は可用性の高さや複数アプリケーションの実行など、多くのメリットがあるのですが、一方で、 GKE 内で多くのサービスが走ることによって、個々の権限管理などが煩雑になってきます。 そこで、本記事では、 GKE 内のサービスでの権限管理をより楽に、堅牢に行うことのできる Workload Identity という仕組みについて紹介します。チーム内での利用事例や、実際に Workload
2020/08/10にTerrform 0.13がGA（一般提供開始）しました。 このエントリでは0.13の新機能をレポートします。 moduleでcountやfor_eachが可能に 0.13より前のバージョンでは、これまではmoduleブロックにcountやfor_eachを使うとエラーになりました。当然使えるのかなーと思って書いてみたらエラーになった記憶があります。 0.13からは使えるようになります。たとえばAWSだと、複数アカウントを使っている場合の管制塔アカウント内のIAMユーザーから、AssumeRoleできるIAMロールを人数分作成する処理を、iam-assumable-roleというmoduleでfor_eachすることで簡潔に書くことができます。 locals { iam_assumable_role_settings = { kazue = {username = "
こんにちは。CSIRT の吉山です。 私は2020年の4月にセキュリティエンジニアとして新卒入社し、現在は主にログ基盤（SIEM）の構築・運用やインシデント対応などの業務に取り組んでいます。 今回はそのログ基盤構築や運用、その他検証で得た知見などについて紹介します。 まず初めにログ基盤の技術的な概要についてここで簡単に触れておきます。 ちなみに基盤構築の背景などについては、以前に同じく CSIRTの松田が記事にしているのでこちらもぜひ一読いただければと思います！ buildersbox.corp-sansan.com 構成 ログの集め方 ログの取り込みスクリプト（es-loader） について ユーザーの管理と権限設定 アラーティング コスト 基盤の負荷 検証について 課題 最後に 構成 基盤は AWS 上で構築しており、Amazon OpenSearch Service (以下、Open
Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note
タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli
[AWS Step Functions] ステートマシンが無限ループして148ドルも課金が発生した話 | DevelopersIO
懺悔します こんにちは、のんピ(@non____97)です。 私はここに「ステートマシンを無限ループさせて148ドルも課金が発生してしまった」ことを懺悔します。 いきなりまとめ 検証だからといって雑なEventBridgeのイベントパターンを設定するのはやめよう 何が起こったか ステートマシンが無限ループして148ドルも課金が発生しました。 ここで、クラスメソッドメンバーズ向けポータルサイト「クラスメソッド メンバーズポータル」で、AWS利用料金を確認してみましょう。 まずは明細です。 $148.67のインパクトが凄まじいですね。 USE1-StateTransitionとAPN1-StateTransitionについての課金が大半を占めています。AWS Step FunctionsのStandardワークフローではステートマシンの状態遷移によって課金が発生します。 今回はus-east-
![[AWS Step Functions] ステートマシンが無限ループして148ドルも課金が発生した話 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab62f855f97936c12b60e511a8953225f7851a15/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-step-functions.png)
はじめに前回投稿したGCP記事で紹介したGKEクラスタのCIDR設計について、深堀りした記事になります。 1-5. 共有VPC上のGKEクラスタのセカンダリCIDR設計 事象: オンプレ環境と接続する1つの共有VPC上にproduction, stagingなど複数プロジェクトを相乗りさせる場合、各プロジェクトで利用するセカンダリCIDRの設計が必要。 対応: GKEで必要なセカンダリCIDRを本腰入れて設計しました。スタンダードなこれと言った解はなく、必要な環境数、オンプレ環境から割り当てられたIP範囲から適宜設計する必要があります。 記載通りですが、GKEクラスタを構築する際に、実際に設計した内容を元に制約や設計のポイントを紹介したいと思います。 GKEとは コンテナ化されたアプリケーションをデプロイするための、本番稼働に対応したマネージド型環境です。 https://cloud.go
この記事は Retty Advent Calendar 2020 10日目の記事です。 adventar.org はじめに こんばんは、最近趣味でサックス🎷 を習い始めたエンジニアの櫻井です。 ServiceMeshの話題が出てからだいぶ経ちますがそろそろ自分でも触っておきたいなと思いServiceMeshを実現するツールの1つであるIstioにチャレンジしてみました。 今回はIstioの公式サンプルであるBookinfo ApplicationにJWT(JSON Web Token)による認証・認可を入れてみます。 この認証と認可については色々調べてみたものの、あんまり参考記事を見つけることができなかったので少々梃子摺りました。（なお本記事についてはService MeshやIstioについての詳しい説明は割愛しているため、まずそれらがなんぞや？という場合にはリンクの記事を読むことをオ
CNDT 2019での発表資料になります。 Day 2 Room H 12:00 - 12:40 検証環境を作成し、検証し問題なければリリースするというフローはよくあるフローかと思います。 検証を行う前提として、検証環境と本番環境の差がないことが理想かと思います。 では、検証環境と本番環境の差をなくすためにはどうしたらよいのでしょうか DockerやKubernetesを使えば解決ですか？ いいえ、それだけでは不足しています。 今回、差をなくすための取り組みとして行った下記のトピックについて話します。 * コードの実行パスの一致 * 実行環境の一致 * データの一致
はじめに EKS Anywhere(EKS-A)とは じゃあ、何をするCLIなの？ EKS Distro(EKS-D)とは 刺さるユースケースは・・・？ EKS Connectorの話 EKS-AとEKS Connectorの組み合わせ 1. クラスター管理をeksctlに一本化できる 2. クラスターAPIによるメリットが享受できる 3. AWSの管理画面からワークロードの様子などが確認できる 他にもいろいろ さいごに はじめに この記事はEKS Anywhere(EKS-A)がGAになった最初の時点での情報です。あくまで参考程度にご覧いただけると幸いです。 先にみなさんに誤解がないように言っておくと、EKS-Aは以下のどの製品（サービス）とも異なる性質があります。そのため比較検討の対象ではないことを認識しておくと良いです。 Google Anthos Tanzu Kubernetes
最近 AWS を触り始めて、EBS を使っているのだが、どうも I/O 速度に制限がかかる仕様があるらしい。調べてみると IOPS やら I/O クレジットやらといった考え方が出てきた。ドキュメントを読んでもわかりづらかったので整理してみた。 そもそもの前提 最初に結論 I/O クレジットその1: 消費と補充のルール I/O クレジットその2: クレジットが枯渇したら I/O クレジットその3: IOPS には上限もある I/O クレジットその4: IOPS の I/O ってそもそも何？ 参考 そもそもの前提 AWS のボリュームでは無尽蔵に I/O を発生させることはできず、AWS 側で帯域制限ならぬ I/O 制限が実施されている。 この制限が具体的にいつ、どのように、どれだけ働くのかという仕組みが I/O クレジット という考え方。この時に使う単位が IOPS(I/O per Seco
フロントエンドチームの高橋ゆうきです。 先月 SAP on AWS を取得しまして AWS の全冠を取得しました。この記事ではなぜフロントエンドエンジニアの自分が AWS の資格を取得しようと思ったのか、また取得して良かったことなどについてふりかえりました。 私について 既婚で共働き 息子がいて、試験を受けていた当時保育園に通っていて年齢は 2 歳 フロントエンドのコード書くのが趣味 AWS は入社前までほぼ知識なし、EC2 と Lambda がどういったものかはなんとなく知っているレベル ジョインブログ 簡単なキャリアとしては、デザイナーからマークアップエンジニア（HTML, CSS, jQuery）になりフロントエンジニア、バックエンドエンジニア（PHP/laravel）を経由して今に至っています。 育児をしながら勉強時間の確保するということ 次の記事の土日の使い方については私だけでは
AWS CDKが今日も楽しいです。CSDKで触ったことがなかったEKSクラスタを作成しました。 本記事ではAWS CDKを使って薄くEKSクラスタをどのように作ったかを記載します。 TypeScriptやAWS CDKの基本的な部分は記載しません。 また、本ブログで使用した、AWS CDKのバージョンは1.4.0です。 プロジェクトの初期設定 AWS CDKのスタックを作成するための初期設定を行ないます。 個人の趣向ですが、cdk initをせずにプロジェクトの設定を行います。 $ mkdir cdk-eks-101 && cd $_ $ mkdir src $ git init $ npm init -y $ npm i @aws-cdk/{core,aws-eks,aws-ec2,aws-iam} $ npm i -D aws-cdk @types/node typescript 次に
[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO
サクッとSAML認証を実装したい こんにちは、のんピ(@non____97)です。 皆さんサクッとSAML認証を実装したいなと思ったことはありますか? 私はあります。 自分でSAML認証のService Provider(SP)側の処理を実装するのは大変です。そのような場合はALBとCognitoを使うと簡単に行えます。 ということで実際にやってみました。今回はIdPとしてOktaを使用します。 「SAML認証ってなんやねん」や「OktaのSAMLアプリってどうやって作成すればいいんだ」、「CognitoでSAML認証ってどうやって行えばいいんだ」という方は以下ドキュメントをご覧ください。 初心者向けSAMLガイド SAMLアプリ統合を作成する | Okta ユーザープールへの SAML ID プロバイダーの追加 - Amazon Cognito また、せっかくなので以下アップデートで可能
![[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/01997881325332bcbeca491a7a712a5024e39095/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cognito.png)
さくらインターネット社長が語る、「電力は止まるを前提に、将来は自立したグリッドを」 北海道胆振東部地震から1年、今こそ語るブラックアウトへの対応 2018年9月6日の北海道胆振東部地震によって約60時間のブラックアウトを乗り越えたデータセンターがある。さくらインターネットの石狩データセンターだ。クラウド時代となった今、データセンターは生活の生命線ともいえる重要な社会インフラとなった。地震だけなく、極地的な豪雨や繰り返される台風被害など自然災害による停電が深刻化している。北海道胆振東部地震から1年がたった今だからこそ語れる、ブラックアウト後の対応をはじめ、事業継続計画（BCP）の本質やエネルギー利用のあり方について、さくらインターネット 代表取締役社長の田中邦裕氏に聞いた。（聞き手：狩集 浩志＝日経BP総研） 2018年9月18日に起きた北海道胆振東部地震のブラックアウトによって何が起きたの
[UPDATE]フェデレーションでタグを渡せるSTSの新機能Session Tagがリリースされました #reinvent | DevelopersIO
こんにちは、臼田です。 みなさん、ID管理していますか？ 今回はIDフェデレーションでIAMを利用している際に、IdPから属性(Attribute)をAWSのタグとして受け取ることができるSession Tagの機能がリリースされたので紹介します。 New for Identity Federation – Use Employee Attributes for Access Control in AWS | AWS News Blog RBACとABAC 良さを知るにはまず背景から。 アクセス制御の方式としてRBAC(Role-based Access Control)がよく使われます。RBACでは、権限を個人ではなくRole(役割)に割り当てて管理する方法で、個人ごとポリシーをメンテナンスしなくて良くなるのでユーザが増えても管理が楽になる仕組みでした。 しかしこれも進んでくると、今度は
![[UPDATE]フェデレーションでタグを渡せるSTSの新機能Session Tagがリリースされました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/098a01a332248d791825217579652e1b7f202bcb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_update_eyecatch.jpg)
はじめに ご無沙汰しております。ABEJAの大田黒（おおたぐろ）です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今回のテーマは少しニッチな内容にはなりますが、自社で提供しているIoTソリューションにおけるセキュリティまわりの取り組みについて、ご紹介させていただければと思っております。 はじめに IoTデバイスを取り巻く環境 ABEJAにおけるIoTの利活用 例：製造業での適用例 (機械部品の自動検品) システムの構成例 ABEJAの立ち位置 IoTにおけるセキュリティの考え方 IoTデバイスに関わるインシデントの例 大事なこと IoTにおけるセキュリティ対策のご紹介 (一例) アクション3本柱 + α 1.「仕組み」で徹底的に守る
Google ストリートビューに写り込んだ猫を探せたら、めっちゃカワイイ猫がざくざく見つかるんじゃないかと思って、そんなことが出来るシステムを作ってみた。 結果から言うと、画像を解析するのに時間がかかって地図上の狭い範囲しか解析できないし、AWS Rekognition の料金がかさんで、 一般に公開してガンガン検索されるとクラウド破産する、ということがわかった。 とりあえず API Gateway の使用量プランでリクエスト回数を制限して公開してみる。 また、ストリートビューで猫はなかなか見つからないということがわかった。 他にもわかったこととか、使った技術をまとめておく。 使い方 FindCatsInStreetView にアクセスして、検索した場所をクリックして、Find Cats ボタンを押す。 処理中はくるくる表示が出ます。30秒ほどお待ちください。 処理が終わるとと Googl
ASから見たインターネット
アーカイブ2022年8月 (1)2022年2月 (1)2021年11月 (1)2021年9月 (1)2021年5月 (1)2021年3月 (1)2021年1月 (1)2020年12月 (1)2020年11月 (2)2020年10月 (3)2020年9月 (1)2020年8月 (3)2020年7月 (1)2020年6月 (2)2020年5月 (4)2020年4月 (2)2020年3月 (2)2020年2月 (1)2020年1月 (1)2019年12月 (4)2019年11月 (3)2019年10月 (5)2019年9月 (4)2019年8月 (5)2019年7月 (6)2019年6月 (7)2019年5月 (7) IPアドレスだけを頼りにデータが届くというインターネットの仕組みは、ちょっと考えてみると不思議に思える。IPv4アドレスは（枯渇が問題になっているとはいえ）42億9千万個にも及ぶ組
はじめに 先日、ノリと勢いで企画した SRE.fm を行い、ゆるふわに Terraform や IaC の話をしました。 sre-fm.connpass.com 実際にやってみて、質問への回答を行う中で、IaC に関わるひとたちのマジョリティと自分たちには大きな隔たりがあるような感覚を持ちました。そういった中で、質問の1点1点に答えるというよりも、大局的な理解であったり、その本質的な要素であったり、段階に分けた学習ステップ等を言語化することが必要なのではないか、と（その後の二次会で）たどり着きました。 「IaC は当たり前になった」というのは Infra Study Meetup #1「Infrastructure as Code」 での Mizzy さんの言葉で、これに関しては大きく同意するものの、この「当たり前」は「誰でもしている状態になった」「できていないのはありえない」というもので
MySQLが刺さった時にざっと見るためのメモ
TL;DR mysqldが 本当に 刺さって動作を停止している時のためのメモです。重いだけの時に使うものじゃない。 ざっと見る方法であって、解決方法じゃない。 まずは慌てず騒がずエラーログを見る。クラッシュしてるログが出てるならそれはそれでOK。mysqld_safe とか systemd を使っている場合、 mysqld が自動再起動されているかも知れない。クラッシュリカバリーの真っ最中はプロセスが浮いていても接続できないので、クラッシュリカバリー中だったら見守る。
第641回では「LXDとmicrok8sでシングルサーバーをKubernetesクラスターにする」と題して、より高機能になったmicrok8sについて紹介しました。microk8sで構築したKubernetesがあれば、気軽にたくさんのCPUコアを使ってさまざまなワークロードを動かし、部屋を暖められます。でも、待ってください。そのサーバーにはもっと便利な熱源がありませんか？ そうGPUですね。本格的に寒くなる前に、Kubernetes環境からもGPUを使えるようにしましょう。 ホスト側でGPUパススルーの準備 第641回ではLXDの仮想マシンインスタンスの上にmicrok8sをインストールしました。つまりホストマシンのGPUを使うには、LXDの仮想マシンの中からGPUにアクセスできなくてはなりません[1]。コンテナの場合、第532回の「LXDのコンテナからGPUを利用する」などで手順を紹
Elasticsearchのマッピング設定最適化によるインデキシングパフォーマンス改善への取り組み - ZOZO TECH BLOG
こんにちは。EC基盤本部 検索基盤部 検索基盤チームの有村（@paki0o）です。 みなさん、Elasticsearchのマッピングはどこまで厳密に管理されているでしょうか。 弊社では以前のテックブログでご紹介した通り、一部を除きExplicit Mappingにてデータを管理しています。 techblog.zozo.com 設定している項目は、フィールド名・タイプ・適用するアナライザなど一般的な項目であり、詳細まで詰め切れているとは言い切れない状況でした。今回、マッピング設定の変更がパフォーマンスに与える影響を検証しましたので、その内容についてご紹介いたします。 背景と課題 マッピングの設定について index doc_values enabled 3項目の比較 検証 前準備 比較項目 検証結果 平日での比較結果 休日での比較結果 考察 まとめ 背景と課題 ZOZOTOWNの商品情報イン
1Password Connect Kubernetes Operator GitHub: https://github.com/1Password/onepassword-operator 1Password上に保存されているアイテムをKubernetes上のSecretリソースに同期してくれるオペレーターです。Secretリソースはその特性上GitHubに直接あげることが難しく、IaCを実現するために様々なアプローチが取られていますが1Password Connect Kubernetes Operatorもその1つです。感覚としてはexternal-secretsなどに近く、外部のCredential Storeの情報を取得しKubernetes上にSecretリソースを作成してくれるものです。 1Password公式のOrganization下で開発されています。比較的最近開発が始
みなさん、こんにちは。horsewinです。 AWS CDK Advent Calendar 2021 9日目の記事となります。 CDKのCI/CD化を手助けしてくれるConstructの1つである、CDK Pipelines（@aws-cdk/pipelines module）に触れていきます。 複数人でCDKを利用したCI/CDを導入する上でぜひ検討の1つにしてみてください。 今回触れること、触れないこと 本記事では次の内容について触れていきます。 CDK開発にCI/CDを組み込むモチベーション CDK Pipelinesとはなにか CDK Pipelinesを利用する上でのTips 次の内容には触れません。ただしAWS公式のドキュメントやリンクをリファーはしますので適宜参考にしてください。 CDK Pipelinesの作成の流れ（ハンズオンなど） CDK/CFnで悩むリソース参照方式
Dataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。 ストリーミング処理の概要 ストリーミング処理とは バッチ処理との違い ストリーミング処理の課題 データ量と変動性 遅延データの扱い 異なるプログラミングモデル Dataflowでどのように解決すのか オートスケール 遅延データの制御 プログラミングモデルの統一 遅延データの制御 (機能詳細) ウィンドウとは 固定ウィンドウ スライディングウィンドウ セッションウィンドウ ウォーターマークとは トリガーとは アキュミュレーションとは 破棄モード 累積モード 累積 ＆ 後退モード Dataflowでストリーミング処理の基盤作成で考慮すること 何を計算するか？(ETL) イベント時間のどこを対象にするか？(ウィンドウ) 処理時間のどの時点を対象にするか？(ウォータ
秒間数十万クエリをさばく機械学習モデルを継続的に再学習し稼働させる | CA BASE CAMP 2021
サイバーエージェントの社内エンジニアカンファレンス「CA BASE CAMP 2021」で発表した資料です。
TechFeed Experts Night 2022-06-07 登壇資料 Toshiaki Baba Twitter: @netmarkjp 株式会社X-Tech 5 取締役CTO https://x-tech5.co.jp/ 株式会社iCARE技術顧問（インフラ） https://dev.icare.jpn.com/tech_adv/
Presto Infrastructure at Lyft
OverviewEarly in 2017 we started exploring Presto for OLAP use cases and we realized the potential of this amazing query engine. It started as an adhoc querying tool for data engineers and analysts to run SQL in a faster way to prototype their queries, when compared to Apache Hive. A lot of internal dashboards were powered by AWS-Redshift back then and it had data storage and compute coupled toget
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBのテーブル設計をするとき、自分に問いかけていること - 或る阿呆の記
Azure Cosmos DB の組み込みJupyter Notebook機能に関する脆弱性について
AWS Lakeformationを使ってData Lakeを構成してみた | DevelopersIO
Workload Identityの実基盤への導入
祝GA！ Terraform 0.13 新機能を使ってみた | DevelopersIO
全社統合ログ基盤を構築して得た知見 - Sansan Tech Blog
GKEクラスタに割り当てるCIDRを設計する | フューチャー技術ブログ
IstioとAuth0で認証・認可を体験してみた - Retty Tech Blog
Deep Environment Parity CDNT 2019
EKS Anywhereのファーストインプレッション - inductor's blog
AWS の IOPS と I/O クレジットがよくわからなかったので整理した - stamemo
フロントエンジニアが AWS 全冠を達成した理由 | DevelopersIO
AWS CDKでEKSクラスタを作ってみた | DevelopersIO
さくらインターネット社長が語る、「電力は止まるを前提に、将来は自立したグリッドを」
セキュアなIoTデバイス導入・運用の為の取り組み紹介 - ABEJA Tech Blog
Google ストリートビューで猫を探すシステムを作ってみた - Qiita
IaC Maturity Model と学習ステップ #srefm - ツナワタリマイライフ
第642回 仮想マシン上のmicrok8sからGPUを利用する | gihyo.jp
KubernetesのSecretを1Passwordで管理する
CDK Pipelines を導入した複数人開発のススメ - Qiita
Dataflowが解決するストリーミング処理の課題と基盤構築で考慮すること - case-kの備忘録
しつこくじわじわパフォーマンスチューニング
search.app
voicy.jp
search.app
ameblo.jp/zokukokon
reika0.ub.geo.jp
news.yahoo.co.jp