Site Reliability Engineering on AWS - 20211109 JAWS-UG SRE keynotes
Infrastructure as Code (IaC) 談義 2022Amazon Web Services Japan3.3K views•21 slides 20191029 AWS Black Belt Online Seminar Elastic Load Balancing (ELB)Amazon Web Services Japan67.2K views•83 slides
Infrastructure as Code (IaC) 談義 2022Amazon Web Services Japan3.3K views•21 slides 20191029 AWS Black Belt Online Seminar Elastic Load Balancing (ELB)Amazon Web Services Japan67.2K views•83 slides
AWS Fargateで並行処理をした話
RailsのDB作成とマイグレーションを複数サイトで同時実行しました。 AWSのサービスを利用すると簡単に実装できました。 Fargate最高！ 吉岡です。11月に開催されるRubyWorld Conferenceに登壇することが決まりました。弊社が提供する「Redmine」のクラウドサービス「My Redmine」のインフラストラクチャーを、Rubyと最新のクラウド技術を活用した構成へと再構築したことについて発表します。ぜひ会場までお越しください！ さて、今日のブログはAWSのFargateを利用して、RailsのDB作成とマイグレーションを複数サイトで同時実行したことについての話です。 目的 AWSのFargateというサービスを利用して、複数のサイト（複数のDB）に対して同時にバッチ処理を実行します。 今回はサンプルとして rails db:create と rails db:mig
初歩から解説！BINDでシンプルDNSサーバー構築【構築編】 なかなか理解するのが難しいDNSサーバーについて、前後編に分けて BIND を設定しながら解説します。 この記事は アイソルート Advent Calendar 2020 9日目の記事です。 こんにちは。日々検証環境を構築しているプラットフォームソリューショングループのsuzuki.koです。 前回の【用語編】ではDNSの仕組みと登場する用語について簡単に解説しました。 今回は【構築編】として、 BIND を実際に構築していきましょう！ 初歩から解説！BINDでシンプルDNSサーバー構築【用語編】 目次 DNSサーバー構築 動作環境 ネットワーク構成 インストール Firewalld BINDのステータス確認 初期設定確認 再帰問い合わせ 動作確認 非再帰問い合わせ 動作確認 さいごに DNSサーバー構築 BINDでDNSサーバ
## プロダクション環境の信頼性を損ねず観測する技術 ### 2022/05/15 SRE NEXT 2022 #### Sohei Iwahori (GREE, Inc.) --- # Agenda - Introduction 観測は低コスト？ - case1 監視SaaSサービス障害がプロダクションサービス障害につながった話 - case2 ログエージェント負荷がプロダクション障害を引き起こす話 - case3 一部の環境の問題がシステム全体に影響してしまう話 - Recap
ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した - Adwaysエンジニアブログ
初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアクセスする方法について紹介と思います。 背景 課題 基礎編: Workload Identityの導入方法 1. IAMロールの作成 2. Workload Identity PoolとProviderの作成 3. Workload Identityとサービスアカウントの連携 4. 認証構成ファイルの取得 5. 認証構成ファイルを利用してECSでアプリケーションを実行 応用編: Workload Identity連携におけるアクセス制限について 方法1: 属性マッピングと条件 方法2: サービスアカウントの紐付け時の条
僕とレンサバとPHP - uzullaがブログ
レンサバ大好きっ子のみなさんこんばんわ、uzullaです。 皆さんがレンタルサーバーが大好きかはわかりませんが、レンサバは今のウェブ文化を育てまた支えています。まあ、そんな懐古主義の話をしたいわけではないんですが。 たしかに大規模なECやSNSではもはやレンタルサーバーの出番はなくなってしまったと思います。しかし自由なウェブ、(規約の範囲で！)自分が好きにコントロールできるプラットフォームとしてレンサバはいまだもって重要なインフラといえます。(言い過ぎか？) 先日のロリポメイツでレンサバとGitHubを連携させて継続的デリバリーぽいことをやろうというトークをしました。 レンサバでねっとりとしたプアマンズ継続的デプロイ - Speaker Deck レンサバといえばFTPなので、こういったgitでデプロイという使い方をしているのはごく少数だとは思います、これを推奨しようとかではありません(詳
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する | DevelopersIO
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する こんにちは、CX事業本部 IoT事業部の若槻です。 前回の下記エントリでは、AWS Step Functions LocalによるMockテストをJestで実行してみました。 AWS Step Functions LocalによるMockテストをJestで実行してみた | DevelopersIO 今回は、同じくAWS Step Functions LocalとJestによるState MachineのMockテストをGitHub Actionsで実行してみました。 やってみた 実装のファイル構成は次のようになります。 $ tree . ├── .github │ └── workflows │ └── ci.yml ├── jest.config.js
おうちでInfiniBand しようぜ！ こんにちわ、こんばんわ。かえるのクーの助手の「井戸中 聖」（いとなか あきら）でございます。 InfiniBandします。 10GbEのEthernetが頑張れば手に届くようになってきたとはいえ、複数のNIC購入、４ポート以上10Gbps対応したスイッチ導入など、トータルコストを考えるとまだまだ敷居が高い状況です。そこで今なら40GBpsが超破格値で導入可能と「話題の」Infinibandを導入することにしました。 まずは、スライドでお勉強します。 Sakura infini band-20180424 from さくらインターネット株式会社 犯行発足動機 このごろは、機械学習のための自宅環境を整備したくて、いろいろ調べていました。非力なPCでそれなりの計算させるためには、複数PCで「並列的な処理分散」をさせることが効果的なことがわかりました。並列
YAML におけるノルウェー問題（The Norway Problem） - てくなべ (tekunabe)
いろいろな書き方ができる真偽値 たとえば Ansible の Playbook では、真偽値を指定する時に、true/false 、yes/no などいろいろな書き方ができてしまいます。 去年、Ansible のコミュニティでは、ドキュメント上どう統一するのがいいかの投票がありました。 ansbile のドキュメントにおけるにおける boolean は yes/no が遣われがちだったが、ansilbe-lint では true/false でないとエラーになる。どうしたもんでしょという issue。https://t.co/dcNl9R83sl— よこち (@akira6592) 2022年8月3日 github.com 現在 true/false への書き換えが進んでいます。yamllint のデフォルトでも true/false を正としています。 不都合 ただ統一感がなくて混乱する
2021/05/20現在、 Amazon Athena Engine Version 1が2021年8月4日(予定)に廃止がアナウンスされています。現在のワークロードやクエリがEngine Version 2で動作することをご確認ください。最新の情報は、以下のブログをご覧ください。 データアナリティクス事業本部コンサルティングチームの石川です。Amazon Athena Engine Version 1が近い将来に非推奨になることのお知らせです。Athenaを頻繁にご利用の皆さんはすでにAthenaコンソールの上部にメッセージが表示されてお気づきかもしれません。本日は、Engine Version 2 移行について解説します。 Amazon Athena Engine Version 2 とは Engine Version 2は、Presto 0.217をベースに新機能を追加したAthen
![[お知らせ]現在のワークロードやクエリがが近い将来に非推奨になります | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年1月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 今回は、re:Invent2022が始まった11/28から12/31までのアップデートを紹介します。今年のre:Invent2022 で発表された新サービス・アップデート関連のレポートや検証ブログについて網羅していますので、re:Invent2022の総復習、新サービスの予習にお役立てください。 新サービス Amazon Data Zone（Coming Soon） 組織内に存在するデータを共有・検索・発見するデータカタログサービスです。Amazon Redshift、Amazon Athena、Amazon QuickSightだけでなく、SnowflakeやTableauなどといったサードパーティ製サービスにもAP
AWS利用の最適化に従事してます、鈴木(@szk3)です。 最適化といってもいろいろありますが、ここ最近はAWSにおけるコスト削減についていろいろと行ってきました。 LIFULLのアカウント数は100を超えます。それらのアカウントに対し、約240以上のコスト削減案を立案し180件以上の施策を完了させてきました。 今回は、この新型コロナの影響で先行きが不透明な中、AWS利用費用を見直したいという方のために、 実体験に基づいたAWSコスト最適化の流れと考え方をシェアしたいと思います。 コスト削減の流れ いろいろとやってきましたが、コストを削減する流れはどれも同じです。 現状を知る ソリューションを選ぶ 実行する めちゃくちゃシンプルですね。 ひとつづつ見ていきましょう。 現状を知る コストを削減するにあたり、最も重要なのはどこにコストが掛かっているかを知ることです。 「無い袖は振れない」ので、
はじめに こんにちは、検索基盤部 検索基盤ブロックの可児（@KanixT）とSRE部 ECプラットフォーム基盤SREブロックの大澤です。 本記事では、ZOZOTOWNの商品検索で利用しているElasticsearchをバージョンアップした知見と、その際に実施した検索基盤の改善についてご紹介します。 目次 はじめに 目次 背景 バージョンアップの流れ 主な作業 変更箇所の調査 新バージョンのMappingやQueryなどの調査 Deprecation logsが有効になっていることの確認 バージョン7.16.0でタイプ（type）を利用 Javaクライアント LTRプラグインのバージョンアップにともなうJavaのバージョンアップ 特徴量キャッシュの機能がマージされた Javaクラスファイルのバージョン確認方法 Elasticsearchクラスタのコード管理化 IaC方法の選択 Terrafo
BigQuery Remote FunctionsからCloud Functions 2nd genを呼び出す際にハマったポイントを振り返る - RareJob Tech Blog
こんにちは、DMP(Data Management Platform)グループの平井です。毎日デコポンを食べています。美味しい。 タイトルの通り、BigQuery Remote FunctionsからCloud Functions 2nd genを呼び出す際にハマったポイントがあったので共有します。 今回のケース Remote Functionsとは ハマりポイント再現 Cloud Functions 2nd genとは Cloud Functions 2nd genをデプロイ BigQuery Connections作成 Remote Funcitonを作成 権限付与 まとめ 今回のケース まずどのような場面でRemote Functionsを使用したのか説明します。 レアジョブグループには新旧2つのデータ基盤があります。 順次移行作業を進めており、その中でRを利用した集計処理を新しいデ
DMARCの設定方法を4手順で紹介！レコードの内容も解説 - 不正検知Lab -フセラボ- by cacco
DMARCは、「このメールは間違いなく私が送信したものです」と受信側に伝える送信ドメイン認証の技術です。 DMARCを利用すると、ドメイン管理者は自社ブランドの保護ができるようになります。 本記事では、 DMARCレコードの記載内容DMARCの設定方法DMARCが正しく設定されているか確認する方法DMARC設定時に気をつけたいことについて解説します。 なお、DMARCの仕組みやメリット・デメリットについては次の記事で詳しく解説しているので、ぜひ参考にしてください。
BigQuery の Execution Plan を体感&可視化で理解してパフォーマンスチューニングする - Qiita
この記事では、BigQuery に搭載されている Query execution graphs を用いて、なんとなくクエリのパフォーマンスを最適化する方法を説明します。 ほとんどの項目が経験と憶測で書かれているので、あくまで参考程度にお願いします。 Query execution graphs とは Query execution graphs とは、BigQuery が SQL クエリを解釈して実行計画を作成する際に生成される内部表現です。Execution graphs は、クエリの各ステップをノードとして表し、ノード間のデータフローをエッジとして表します。また、グラフを見ることで、クエリの実行順序や依存関係、並列度やリソース消費などを把握することができます。 主に以下のようなノード(ステージ)があります。 Input: データセットからデータを読み込むノード。テーブルデータの統計情報
最近Google Cloud Runめちゃ面白いなーと色々触ってるんですが。 静的なサイトを認証付きで配布したいなーみたいな場合、Cloud Runとoauth2-proxyで手軽にできないかな？ と思ったので手順を。 oauth2-proxy はOAuth2のプロバイダ（Google、GitHub、他...）を指定して、そのプロバイダをアクセス時の認証に利用できるようにするプロクシ。 oauth2-proxy.github.io 実は簡易的に静的ファイルを公開する機能も備わっているので、静的なサイトであればこのサーバだけで完結させることができる。 Dockerfile は以下のように書く。 FROM bitnami/oauth2-proxy:6 USER 0 # 公開用のディレクトリ RUN mkdir -p /var/www && chown 1001 /var/www ADD ent
宣言的かつ安全に管理するElasticsearch/Declarative management for Elasticsearch
第49回Elasticsearch勉強会での発表資料です。 https://www.meetup.com/tokyo-elastic-fantastics/events/287299123/
[UPDATE] Amazon Redshift Concurrency Scailing（同時実行スケーリング）が書き込みクエリをサポート、更に進化したオートスケールを実際に試してみました！ | DevelopersIO
[UPDATE] Amazon Redshift Concurrency Scailing（同時実行スケーリング）が書き込みクエリをサポート、更に進化したオートスケールを実際に試してみました！ データアナリティクス事業本部コンサルティングチームの石川です。先日、Amazon Redshift の Cluster Version 1.0.28965からConcurrency Scailing（同時実行スケーリング）が、INSERT、DELETE、UPDATE、COPYの書き込みクエリを追加サポートしました。書き込みクエリのサポートによって、ワークロードに応じて素早くスケーリングできるので、よりサーバレスのような従量課金に近い利用が可能になりました。今回はELTワークロードで最も利用頻度の高いINSERT INTO SELECTを同時60クエリで試してみます。 Concurrency Scai
![[UPDATE] Amazon Redshift Concurrency Scailing（同時実行スケーリング）が書き込みクエリをサポート、更に進化したオートスケールを実際に試してみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c57359b644462335214acbe5638ccb847b816942/height=288;version=1;width=512/https%3A%2F%2Fcdn-ssl-devio-img.classmethod.jp%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
AWS Config による継続的コンプライアンス実現に向けた取り組み / Continuous Compliance With AWS Config
Security-JAWS 【第19回】 勉強会 2020年11月24日(火) https://s-jaws.doorkeeper.jp/events/113783 Session1: 「AWS Config による継続的コンプライアンス実現に向けた取り組み」 株式会社ビズリーチ 長原 佑紀 にて発表した資料です。
はじめに SREエンジニアやってます。@hayaosatoです。 今回はAWS ECR(以下、ECR)でのリポジトリ作成をTerraformで作成した際に、その勢いでコンテナイメージのpushまでやっちゃおうという小ネタです。 terraform及びプロバイダのバージョンは以下の通りです。
データカタログへの権限制御する Lake Formationは、データカタログにきめ細かな権限制御ができます。 ユーザーごとに、データカタログのDatabaseへのテーブル追加を禁止したり、あるカラムを非表示にしたり、実行できるSQLを制限したりできます。やってみます。 S3パス s3://test-lf01/in00 Database名 lf01 テーブル名 test1 テスト用IAMユーザー test_user1 CSVファイルをS3にアップ ファイル名:person.csv s3://test-lf01/in00 に以下のCSVファイルをアップ taro, 20190101, 101, 00001 jiro, 20190202, 102, 00001 ojiro, 20190303, 101, 00002 hanako, 20190404, 103, 00004 スキーマは以下を想定
OCHaCafe Season5 #6の資料です．
これはGCP(Google Cloud Platform) Advent Calendar 2022の22日目のエントリーです。 はじめに こんにちは、GAFA社長です。 私はHPEでクラウドネイティブ系のいろいろ（雑）を生業としているのですが、基本インフラのひとなので、技術検証みたいなことをやるときも、その対象はKubernetesクラスタそのものであったり、OS、ネットワーク、ストレージといったレイヤーであることも多いわけです。 で、いちいち会社の検証機材を調達するのもめんどくさくて病むので、自宅のPCの中に仮想マシンイメージを各種揃えておいて必要に応じて立ち上げて使う、というようなことをやっています。 一方で、Kubernetes上でのもろもろ（雑）ももちろんやっていますので、Kubernetes Nativeなワークロード管理に慣れてしまうと、作ったものがそのままコードとして残せて
【Microsoft365参考書】"MailItemsAccessed"や"Send"などの監査ログがE5ライセンス以外でも利用可能に？ - 社畜の所業
メールアイテムアクセスに関する操作を監査ログで確認する場合、Search-MailboxAuditLog にて取得可能な Operations の"MailItemsAccessed" のログを確認することで可能です。 "MailItemsAccessed" は、今までは、E5 または E5 コンプライアンス アドオン サブスクリプションライセンスが付与されているメールボックスでのみ取得可能なログであり、E3 ライセンスが割り当てられているメールボックスでは取得が行えないログでした。 MC711333 では E5 コンプライアンス アドオン サブスクリプションライセンスが付与されているメールボックスのみで取得可能であった以下 3 つのログ取得が E5ライセンス以外が割り当てが行われているメールボックスでも取得可能となり、2024年3月上旬からプレビュー版のロールアウトが開始され、2024
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれの
Pluralithとは？ プラリスと読むみたいです。 Terraformの状態(state)を可視化するツールです。 こんな感じの図が自動で作成できたり、 コストやリソースの変更を可視化することができます。 GitHub ドキュメント 紹介動画 特徴 pluralith graphを実行するだけで構成図を自動作成可能 CIツールに組み込むことで、ドキュメント・構成図の作成を自動化 最新の変更をハイライトして見やすくする コストの可視化ができる(infracostが必要) リポジトリのREADMEを参照のこと 使ってみる Getting Startedに沿って使ってみましょう。 ※今回はRun Locallyで試しています。 インストール Download CLI手順に従います。 $ pluralith version _ |_)| _ _ |._|_|_ | ||_|| (_||| | |
Amazon CloudWatch を使用したクロスアカウントクロスリージョンダッシュボード | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch を使用したクロスアカウントクロスリージョンダッシュボード AWS クラウドをデプロイするベストプラクティスには、複数のアカウントや複数のリージョンを使用することが含まれます。複数のアカウントは、リソースを分離し、問題の影響を軽減するセキュリティと請求の境界を提供します。複数のリージョンにより、高度な分離、エンドユーザーの低レイテンシー、およびアプリケーションのデータ復元力が保証されます。これらのベストプラクティスには、複雑な問題のモニタリングとトラブルシューティングが伴います。 集中運用チーム、DevOps エンジニア、およびサービス所有者は、複数のリージョンおよび多くのアカウントで実行されているアプリケーションを監視、トラブルシューティング、および分析する必要があります。アラームを受信すると、オンコー
# 解説ブログ https://tech.classi.jp/entry/2021/05/20/110000 # 参考リンク - http://shimooka.hateblo.jp/entry/20141217/1418788239 - https://soudai.hatenablog.com/entry/webservice-monitoring # その他紹介したリンク - https://soudai.hatenablog.com/entry/survival-strategy - https://soudai.hatenablog.com/entry/2020/12/31/165940 - https://speakerdeck.com/twada/worse-is-better-understanding-the-spiral-of-technologies-2019-edi
朝活として最高の書籍である『システム運用アンチパターン』を読んだので読書感想文 - じゃあ、おうちで学べる
はじめに SREという信頼性の観点からのプラクティスや運用技術を実施出来るためのプロダクトの開発をしている身からすると『システム運用アンチパターン』はまさに様々な課題がわかりやすく言語化されており素晴らしい書籍で、熟練の運用エンジニアとお話ができるような経験ができました。このエントリーは『システム運用アンチパターン』を読んでみた中での感想文となります。 www.oreilly.co.jp 『システム運用アンチパターン』目次 1章 DevOpsを構成するもの 1.1 DevOpsとは？ 1.2 DevOpsの柱となるCAMS 1.3 また別のDevOps本？ 1.4 本章のまとめ 2章 パターナリスト症候群 2.1 安全装置ではなく障壁を作ってしまう 2.2 ゲートキーパーの導入 2.3 ゲートキーパーの分析 2.4 自動化によるパターナリスト症候群の解消 2.5 承認の目的を把握する 2.
約2年前、Netflixは皆様にインターネットサービスプロバイダの回線速度計測を無料で、瞬時かつ簡単に行っていただけるよう、FAST.comによるサービスを開始しました。それ以来、本サービスは急激に成長しています。ここ数ヵ月でFAST.comの利用量は2倍となっており、*世界中で5億回以上の速度計測の実施にいたっています。 インターネット接続についてもっと多くの情報を知りたいというFAST.com利用者の声にお応えし、Netflixは本日、接続レイテンシとアップロード速度の計測機能をFAST.comに追加いたします。アップロード速度計測では、ユーザーのデバイスからインターネット経由でアップロードされるデータの送信速度を計測します。レイテンシとは、データがユーザーのデバイスからサーバーに送られた後、ユーザーのデバイスに戻ってくるまでの時間を指す言葉で、アンロード済みとロード済みの両方の接続速
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
DockerやKubernetesでGitLab Runnerを実行する場合，GitLab RunnerでDockerイメージをビルドするにはDocker in Dockerの特権モードを構成する必要があります．kanikoを利用すると，特権モードを使わずにDockerイメージをビルドできます． 本稿では，GitLab Runner上でkanikoを利用してDockerイメージをビルドし，Amazon ECRにDockerイメージをpushするまでの流れを紹介します． https://docs.gitlab.com/ee/ci/docker/using_kaniko.html で説明されている内容を元にしています． ここでは，以下の前提とします． Kubernetes上のPodにIAM Roleを割り当てることが可能なこと（kube2iam等を利用） Kubernetes上にGitLab
初めまして。 BtoBマーケの領域でプロダクト開発をしているエンジニアです。 仕事ではGo、React、Google Cloudあたりを使っています。 最近Cloudflareが楽しくて触っているのですが、Honoを使って前々から作りたかったプロフィールサイトとブログページを作成してみました。 完成したサイトはこちらです。 私の名前の姓をそのまま英語にしたドメインを取得しました。 (まぁ悪くないかなと思ってます) 作成したサイトは以下のレポジトリで公開しています。 簡単にどのような形で作ったかを綴っていきます。 技術スタック 以下の技術スタックで作成しました。 Cloudflare Pages D1 Hono Hono プロジェクトの立ち上げ HonoにCloudflare Pages用のスターターが用意されているので、そちらを利用させて頂きました。 Honoのドキュメントは非常に分かりや
プロローグ 自己紹介 初めまして、ライフウッドのキグレアキヒコと申します。フリーランスプログラマーをしていて、主にWebサイトの画面周り（フロントエンド）を開発しています。詳しいプロフィールやSNSなどは下記をご覧ください。 活動履歴 ブログ GitHub Portfolio Twitter 本記事について この記事は以下の方を対象としています。 システム開発に興味ある システム開発をやってみたい システム開発に必要な知識を得るために、超ざっくり版ですが、一通りの流れを学んでいきたいと思います。 今回学んでいくにあたり、必要な知識については公式ドキュメントを紹介します。理由は、公式ドキュメントに必要な事が記載されているからです。公式ドキュメントを読む癖を付けておくと回り道が少なくなります。ただそれでは理解できない方もいるかと思いますので、補助的に参考になる記事を紹介します。 事前準備 今回
なんとなく、「自動化」って言葉のニュアンス、“今の状態にわざわざ苦労して付け加えてやること”みたいな、特別感出していませんか。 それより、わざわざ”手作業”でやる方を「手動化」って言った方が、よくないですか？ 「え？それ手動化でやるんですか、まだまだ人間じゃないと判断できない価値が有る作業なんですねー」みたいに。 どっちを特別視するか？って時に、より「当たり前の方」にはわざわざ名前つけないですよね。特別だと思っているから名前付けるので…だから、手作業の方に名前を付けた方が、その価値に気づきやすいんじゃないかって。 手作業の方が、直接的な作業時間以外にも、さまざまな意味でのコストがかかっていて…例えばどんな些細なことでも「判断する行為」は人の関心量を削って行くんですよ。 そもそも「自動化」の価値って、やってみると案外”自動でやってくれる”ことより、「作業フローが可視化される」「判断基準が明確
Amazon SageMaker Operators for Kubernetes のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker Operators for Kubernetes のご紹介 AWS より、Amazon SageMaker Operators for Kubernetes をご紹介いたします。この新機能を使用すると、開発者およびデータサイエンティストは、Amazon SageMaker における 機械学習 (ML) モデルのトレーニング、チューニング、デプロイを、Kubernetes を介して簡単に行うことができます。Kubernetes クラスターに Amazon SageMaker Operators をインストールすると、Kubernetes API や “kubectl” といったコマンドラインの Kubernetes ツールをネイティブに使用して Amazon SageMaker ジョブを作成することが可能です。
2023 年度の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、おさらいも交えながら説明をさせていただきたいと思います。また、弊社内で実際に利用している BigQuery のデータセットに対し、この変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing (ストレージ料金)と呼ばれるス
Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he
背景 GCSにファイルがuploadされたら、そのイベントをトリガーにそのファイルを処理してBigQueryにLoadする処理を作りたい 先に結論 Cloud Run + Eventarcの組み合わせが良さそうでした コンテナベースでの開発が可能 CloudFunction(1st gen)に比べるとtimeoutやmemoryなど採用できるリソースが大きい 第二世代はCloudRunにかなり寄ってきているらしいがpreviewなのでここでは取り扱わない GCSのファイルuploadをトリガーとする場合はEventarcのdirect eventによるトリガーが良さそうでした Cloud Function? Cloud Run? イベントドリブンと聞いてまず思い浮かんだのはCloud Functionでした。イベントをトリガーとして処理を動かす場合、以前はCloud Functionが一番
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
初歩から解説！BINDでシンプルDNSサーバー構築【構築編】｜ 開発者ブログ ｜ 株式会社アイソルート
プロダクション環境の信頼性を損ねず観測する技術
自宅InfiniBand普及委員会が発足しました！ - クーの自由研究
[お知らせ]現在のワークロードやクエリがが近い将来に非推奨になります | DevelopersIO
【実録】誰でもできる！AWSコスト最適化の流れと考え方 - LIFULL Creators Blog
Elasticsearchのバージョンアップと検索基盤の改善 - ZOZO TECH BLOG
Cloud Run + oauth2-proxy で気軽に認証付きサイト - ローファイ日記
TerraformでAWS ECRのリポジトリを作成してpushする - Qiita
Lake Formation の使い方的な②(データカタログへの権限制御) - Qiita
MLOpsを始めよう!/MLOps-Getting-Started
Anthos for 逸般の誤家庭： ～Anthos VM Runtimeで遊ぶ～ - Qiita
Terraformの状態を可視化するツール、「Pluralith」を試す
当たり前にリリースしていくために必要なこと / Release safely
FAST.comでレイテンシとアップロード速度の計測が可能に - About Netflix
Operation.Execute メソッド (Access)
GitLab RunnerとkanikoでDockerイメージをビルドする - GeekFactory
Cloudflare Pages + D1 + Honoでプロフィールサイトを作ってみた
さくらのVPSを使ってシステム開発に必要な知識を学ぶ 〜第1回〜 | さくらのナレッジ
もう「自動化」って言わなくてよくないですか｜Magnoliak
【コスト最適化】BigQuery Editions などの解説と見積もり方法
Claude 3最強のOpusがついにAWSのBedrockに来た！！ - Qiita
GCPでイベント駆動な構成を検討したときに考えたことメモ - Qiita
www.j-cast.com
3newskininaru.com
www.happykanapy.com
h-pon.doorblog.jp
news.tv-asahi.co.jp
3newskininaru.com