タグ

2023年6月7日のブックマーク (26件)

  • AWSにおけるHudi/Iceberg/DeltaLakeの使いどころと違いについて

  • AWS リソースのタグ管理 〜タグ付けと統制〜(後編) | Amazon Web Services

    Amazon Web Services ブログ AWS リソースのタグ管理 〜タグ付けと統制〜(後編) AWS リソースにタグ付けをすると、リソース整理、コスト配分、アクセス制御などを行うことが可能です。ブログではタグ付け戦略やアカウント分離戦略が検討済であるという前提のもとで、タグ付けの実装に関する情報を前後編に分けてご紹介しています。前編ではタグを効果的に活用するために (1) タグ付けを効果的に行う方法と (2) タグ付けの統制を行う方法を、実際の操作や設定方法の参考となるウェブサイトと共にご紹介しました。後編ではタグ付けの目的に応じて (3)タグ付けと統制を行うための具体的なサンプルをご紹介します。ご紹介するサンプルは AWS CLI を使用した実装例です。 (3)タグ付けと統制を行うための具体的なサンプル a. AWS リソースグループのタグ付け API を用いたタグ付け AW

  • AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う | DevelopersIO

    IAM ポリシーを変更するとそれが伝播するまで待つ必要があります。IAM ポリシーはそのままにして、セッションでのみ有効なセッションポリシーを変更しながら使えばその影響を回避できます。 IAM リソース変更の即時反映を期待してはだめ コンバンハ、千葉(幸)です。 AWS IAM は結果整合性が採用されています。 *1 言い換えれば、変更が即時に反映されることは保証されていません。例えば以下の操作を行ったとします。 IAM ユーザー A に唯一アタッチされた IAM ポリシー P に、EC2 操作を許可する権限を追加する IAM ユーザー A の認証情報を利用して EC2 の操作を行う このとき無条件に 2 が成功することを期待したくなりますが、1 からの実行間隔が短いと失敗することもあります。最終的には結果整合性により「成功する」に収束しますが、数秒なり数分間なりは 1 の変更前の権限で評

    AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う | DevelopersIO
  • チーム開発における技術選定の進め方 - ROUTE06 Tech Blog

    プロダクト開発に利用する技術の選択は、不確実性を伴う決断であることが多いです。 私はROUTE06で働く前は個人事業主でした。仕事の多くは、新規プロダクトのプロトタイプや初期バージョンの作成でした。デザインを含めてプロダクト開発をするのは私一人だったので、おおよその要件とスケジュール、予算が合意できたら、作り方は任せてもらっていました。 当時、私が技術を選択する方法は「開発速度や品質に非線形の変化を与える可能性があると感じたらまずは使ってみる」でした。アルファ版*1でもとりあえず使ってみて、上手くいったらそのまま番稼働させているプロダクトもあります。 足りてない機能や不具合に直面することもありますが、パッチを書いたり開発元にプルリクエストを送りながらプロダクトの開発も進めていました。この進め方は、開発者が一人であれば成果を出せますが、チームで大きな成果を出すのは難しいでしょう。 現在、私

    チーム開発における技術選定の進め方 - ROUTE06 Tech Blog
  • postfixによる大量メール送信にまつわる問題と対処 - エムスリーテックブログ

    【SREチーム ブログリレー2回目】 お疲れ様です。エンジニアリンググループ、コアSREの山です。 前回ブログリレー1回目の記事で大量メール送信のために基設定について書かせていただきました。 www.m3tech.blog 今回はそれを受けて構築したサーバで実際に発生したいくつかの問題、その問題への対処といったものを書かせてください。 エムスリーのメール送信で発生した問題とその対策 特定のメールサーバからの突然のメール拒否 メールの翌日までの滞留 TLS問題 メールがどうしても迷惑メール扱いされるという苦情 postfixのメール処理とステータス メールログの監視 まとめ We are Hiring! エムスリーのメール送信で発生した問題とその対策 実際にここ一年あたりの間に発生した問題とその問題への対応を記述していきたいと思います。postfixを利用して送信していますので設定はpo

    postfixによる大量メール送信にまつわる問題と対処 - エムスリーテックブログ
  • OSSをベースにしたサービス提供の難しさ - knqyf263's blog

    背景 難しさ 利益相反になりがち 競合OSSの存在 コミュニティからのPull Request 競合サービスによる利用 レベニューシェアにならない 利用統計が取れない やっておくべきこと お金を払いたい機能を見極める 境界線を決める ライセンスについて考える 利用統計の取得方法について考える OSSから有償版へのスムーズな移行を考える まとめ 背景 弊社(Aqua Security)ではOSS開発をしており、そのOSSを組み込んだ有償サービスを売ることで利益を上げています。 自分はその中のOSS開発をフルタイムで担当しています。 会社は何を目的としてOSS開発をしているのか、というのは以前発表しました。 speakerdeck.com フルタイムOSS開発者をやってみての感想なども昔書いています。 knqyf263.hatenablog.com 今回はOSSをベースにしたサービス提供の難し

    OSSをベースにしたサービス提供の難しさ - knqyf263's blog
  • New — AWS DMS Serverless: 移行とデータ複製のキャパシティの自動的なプロビジョニングおよびスケーリング | Amazon Web Services

    Amazon Web Services ブログ New — AWS DMS Serverless: 移行とデータ複製のキャパシティの自動的なプロビジョニングおよびスケーリング 現在、膨大な量のデータが作成されているため、組織はフルマネージドデータベースサービスのセキュリティ、信頼性、パフォーマンスを活用するためにクラウドに移行しています。データベースと分析の移行を容易にするため、AWS Database Migration Service (AWS DMS) を使用できます。2016 年に初めて導入された AWS DMS は、データベース移行プロジェクトを自動化するシンプルな移行プロセスを提供し、時間、リソース、コストを節約します。 コンソールから数回クリックするだけで AWS DMS の移行を開始できますが、それでも移行前に調査と計画を行って必要なキャパシティを決定する必要があります。特

    New — AWS DMS Serverless: 移行とデータ複製のキャパシティの自動的なプロビジョニングおよびスケーリング | Amazon Web Services
    fumikony
    fumikony 2023/06/07
  • Security enhancements to required approvals on pull requests

    June 6, 2023 Announcing important changes to what it means for a pull request to be 'approved'. If you use pull requests with protected branches, there are some important security improvements rolling out now that may impact your workflow: Merge commits created locally and pushed to a protected branch will be rejected if the contents differ from the system-created merge. The branch protection for

    Security enhancements to required approvals on pull requests
  • CrowdStrikeとAWSが提携、生成AI構築支援と構築環境のセキュリティ保護を提供

    CrowdStrikeは2023年5月31日(現地時間)、Amazon Web Services(以下、AWS)と共同で新たな生成AI人工知能)アプリケーションの開発に取り組むと発表した。顧客が独自の生成AIアプリケーションを構築できるクラウド環境および、この環境を総合的に保護するクラウドセキュリティソリューションを提供する。 生成AIはガバナンスやセキュリティ上の懸念などもあり、導入に慎重になっている企業も多く存在する。特に学習用データの改ざんや大規模言語モデル(LLM)における機密情報の流出などは問題視されている。CrowdStrikeとAWSの協業はこうした生成AI構築および利用時に考えられる課題の解消を図り、安全なML(機械学習)の利用を促進するものだ。 CrowdStrikeは、自社の生成AIセキュリティアナリスト「Charlotte AI」の開発にAWSのフルマネージド型AI

    CrowdStrikeとAWSが提携、生成AI構築支援と構築環境のセキュリティ保護を提供
  • GoによるSQLクエリテストの取り組み | メルカリエンジニアリング

    この記事は、Merpay Tech Openness Month 2023 の1日目の記事です。 背景 メルペイのバックエンドエンジニアのa-r-g-vとsminamotです。私達はメルペイ加盟店の管理システムを開発しているチームに所属しています。私達のチームには、複雑な条件を持つBigQueryのSQLクエリがいくつか存在しています。例えば、加盟店管理に関する費用計算などの計算クエリのように、外部環境の変化によって要件が定期的に変更され、マイクロサービス化などのシステム化が難しいクエリがあります。このようなクエリは複雑であるだけでなく、テスタビリティにも問題がありました。そのため、開発者がテストを実施することが困難になっており、クエリの変更を安心して行うことができない状態にありました。 クエリの複雑性 抽出条件の複雑さと複数のマイクロサービスへの依存により、クエリが複雑になっていました。

    GoによるSQLクエリテストの取り組み | メルカリエンジニアリング
  • オフライン「リハビリ」勉強会をやってみたらだいぶ良かった! - BASEプロダクトチームブログ

    10点満点でつけてもらったアンケートの回答です。 ごあいさつ はじめましての人ははじめまして、こんにちは!フロントエンドエンジニアのがっちゃん( @gatchan0807 )です テックブログに出てくるのはお久しぶりです 今回の記事では、4月末に社内で実施したイベント 「あの頃のオフライン勉強会の感覚を取り戻そう! オフラインリハビリ勉強会」 という取り組みをご紹介します! どんなイベント? BASE には #iikanji-conference-toudan というワーキンググループがあり、外部カンファレンスやイベントでの登壇の支援をしていく活動をしています (詳しくは2022年のアドベントカレンダーの記事で振り返りを行っているのでそちらをご覧ください!) devblog.thebase.in 今回の「あの頃のオフライン勉強会の感覚を取り戻そう! オフラインリハビリ勉強会」(以下、オフラ

    オフライン「リハビリ」勉強会をやってみたらだいぶ良かった! - BASEプロダクトチームブログ
    fumikony
    fumikony 2023/06/07
  • カプセルトイ「手のひらネットワーク機器」 シスコや古河電工、A10が監修 「インフラエンジニアの存在知って」

    この企画を総合監修したのは、SIerのエーピーコミュニケーションズ(東京都千代田区)。同社は「生活でITは不可欠なものだが、それを支える“インフラエンジニア”を知っている人は多くない」とし「『手のひらネットワーク機器』を通してインフラエンジニアの存在を知ってもらい、少しでもITインフラの仕事に興味をもってもらいたい」と企画趣旨を明かしている。 関連記事 サーバルームへ“お呼ばれ“した時の正しいコーデって? データセンターに行って考えた【全身1万円の参考プラン付き】 Twitter上で「サーバルームに呼ばれた時のコーデ」という投稿が話題になった。ツイートはITネタとして投稿されていたが、ネタではない“真のサーバルームコーデ”を求めてさくらインターネットのデータセンターを見学してきた。 カプセル自販機のハンドルがカプセルトイに 「THE! ガチャハンドル」10月発売 タカラトミーアーツは、自社

    カプセルトイ「手のひらネットワーク機器」 シスコや古河電工、A10が監修 「インフラエンジニアの存在知って」
    fumikony
    fumikony 2023/06/07
  • IaC で作る さくらのクラウド デザインパターン① - Qiita

    前書き IaC(Infrastructure as code) してますか、ということで、プリセールスなのに IaC 大好きな者として、技術職ではないながらも、こういうことやってます、というのを公開してみようと思います。 Terraform くらいしか触れないので、そんなのは Infrastructure as config だ、と言われてしまうかもしれませんが、IaC をこれからはじめてみようかなという方や、同じく技術職では無い方に向けての入門的なご紹介、としつつ、詳しい方が見てくださって、もっといい方法あるよとかの情報もらえたらラッキーだな、ということで、記事にしてみようと思います。 それでいて、実践的な仕事にも役立つように、今回はさくらのクラウドを例にして、デザインパターンとして構成図や見積もりも交えて、どんな構成が手軽に作れるのか、というのをイメージしやすいようにしてみたい

    IaC で作る さくらのクラウド デザインパターン① - Qiita
  • GCPの監査ログの出力設定をTerraformでおこなう【GCP/Audit Logs/Terraform】 - Qiita

    やりたいこと GCPの監査ログの出力設定をTerraformでおこなう GCPの4種の監査ログのうち、自分であれこれ設定できる「データアクセス監査ログ」について、Terraformで有効化したい。 やりかた google_project_iam_audit_configを使用する。 audit_log_configには、有効化したいデータアクセス監査ログの種別を設定する。 全部のサービスをいっきに有効化したい場合 resource "google_project_iam_audit_config" "sample" { project = "sample_project" service = "allServices" # 有効化したい監査ログの種別を列挙する audit_log_config { log_type = "ADMIN_READ" } audit_log_config { l

    GCPの監査ログの出力設定をTerraformでおこなう【GCP/Audit Logs/Terraform】 - Qiita
  • とにかく日本の住所のヤバさをもっと知るべきだと思います|inuro

    「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが(2023年6月6日)、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン

    とにかく日本の住所のヤバさをもっと知るべきだと思います|inuro
  • [AWS CDK] Amazon Aurora DBクラスターのCAを指定してみた (新API対応版) | DevelopersIO

    AWS CDKでAmazon Aurora DBクラスターのCAを指定したいな こんにちは、のんピ(@non____97)です。 皆さんはAWS CDKでAmazon Aurora DBクラスターの認証局(CA)を指定したいなと思ったことはありますか? 私はあります。 Aurora DBクラスターのデフォルトのCAはrds-ca-2019です。 以下記事で紹介している通り、rds-ca-2019のCAの失効日は2024/8/23です。 そのため、どうせならrds-ca-rsa2048-g1など失効期限までの猶予がより長いCAを使いたいところです。 ただし、AWS CDKのL2 ConstructではCAを指定することができません。その対応としてみんな大好きEscape hatchを使うことになります。DevelopesIOでもそのような記事が紹介されています。 しかし、以下記事で紹介してい

    [AWS CDK] Amazon Aurora DBクラスターのCAを指定してみた (新API対応版) | DevelopersIO
  • AWS KMS のAWSマネージドキーとカスタマーマネージドキーの違いをまとめてみた | DevelopersIO

    AWSマネージドキーは、AWSが作成、管理、使用するKMSキーです。 一方、カスタマーマネージドキーは、ユーザーが作成、所有、および管理できます。 カスタマーマネージドキーでできる管理内容 *1、まとめの表の「管理」項目では、カスタマーマネージドキーは、ユーザー管理と記載しておりますが、管理とは具体的に以下のことができます。 キーポリシー IAM ポリシー グラント 有効化と無効化 暗号化マテリアルのローテーション タグの追加 エイリアス キー削除のスケジューリング それぞれの機能について説明します。 キーポリシー キーポリシーは、AWS KMSキーのリソースポリシーであり、KMSキーへのアクセスを制御する役割を果たします。 IAMポリシーやグラントを使用しても、キーポリシーで明示的に許可されている必要があります。 キーポリシーで許可されていない場合は、IAMポリシーを使用してもKMSキー

    AWS KMS のAWSマネージドキーとカスタマーマネージドキーの違いをまとめてみた | DevelopersIO
  • 「子供部屋おじさん」が合理的なのかは、実は深い問いだ

    やまざき・はじめ/1958年、北海道生まれ。東京大学経済学部卒業。現在、楽天証券経済研究所客員研究員。株式会社マイベンチマーク代表取締役。東京大学を卒業後、三菱商事に入社。野村投信、住友生命、住友信託、メリルリンチ証券、パリバ証券、山一証券、明治生命、UFJ総研など、計12回の転職を経験。コンサルタントとして資産運用分野を専門に手掛けるほか、経済解説や資産運用を中心に、メディア出演、執筆、講演会、各種委員会委員等を務めた。2024年1月1日、永眠。 山崎元のマルチスコープ 旬のニュースをマクロからミクロまで、マルチな視点で山崎元氏が解説。経済・金融は言うに及ばず、世相・社会問題・事件まで、話題のネタを取り上げます。 バックナンバー一覧 「子供部屋おじさん(おばさん)」とも呼ばれる、成人後も親と同居を続ける中年の増加が日で取り沙汰されてきたが、米国や英国でもそうした人々やその予備軍が増えつ

    「子供部屋おじさん」が合理的なのかは、実は深い問いだ
  • オープンソースビジネスの挑戦と現実|Rui Ueyama

    いい感じのオープンソース・ソフトウェアを書いて、それを元に起業することを考えてみたことがある人は結構いるようだ。実際に僕はここ1年半ほど、自作のオープンソース・ソフトウェアを元にビジネスを立ち上げようと試行錯誤してきた。その経験についてここでシェアしてみようと思う。 あらすじ薄々予期していたことではあったけれど、結論から言うと、そんなにはうまくいかなかった話ということになる。要点をまとめると次の通りだ。 「moldリンカ」というオープンソースのツールを開発して、それを元にビジネスを行おうとしていた そこそこ稼ぐことはできたものの、大きなリターンを得るのは難しかった ほとんどの企業はオープンソースを大々的に活用していても「無料のソフトウェア」にはお金を払うつもりはないし、払いたくても社内制度上できない 大きなリターンを得たいのならば、自作のオープンソース・ソフトウェアを元にサービスを立ち上げ

    オープンソースビジネスの挑戦と現実|Rui Ueyama
    fumikony
    fumikony 2023/06/07
  • 大人の方が速い?「滑り台」の疑問を学生が謎とき | 立教大学

    OBJECTIVE. 立教大学(東京都豊島区、総長:西原廉太)理学部の村田次郎教授と同学部4年次生(当時)の塩田将基氏は、「重い人ほど滑り台を速く滑るのはなぜか」という一見もっともらしくも物理学的に考えると実は不思議に思える謎を、卒業研究のテーマとして探究しその性質を解明しました。 ピサの斜塔の実験で知られるように、重いものも軽いものも、空気抵抗がなければ同じ加速度で落下します。自由落下の一様性と呼ばれるこの性質は、高校の物理で学習した通りなら滑り台など摩擦力がはたらく状況でも変わらないと予想されます。ところが公園で親子が滑り台で遊ぶと、多くの場合に大人は子どもよりずっと速く滑ってしまいます。学生時代に物理をしっかり勉強した多くの大人を悩ませるこの謎に、大学生が挑戦しました。 塩田氏と指導を担当した村田教授は、質量が異なるが大きさは同じ物体を実際の滑り台で滑らせて詳しく観測しました。観測に

    大人の方が速い?「滑り台」の疑問を学生が謎とき | 立教大学
  • Optics: 「パス」に型を付ければ、データ全体に型を付ける必要はない - Lambdaカクテル

    あまり知られていない関数型言語のおもしろ概念として、Opticsというものがある。 Opticsとは、オブジェクト指向言語で言うところのSetter/Getterを一種の関数として捉え、いくつかの便利な特性を付与したものの総称だ。この便利な特性によって、Setter/Getter以上のことをパワフルにこなせる。 最も有名なOpticsはLensであり、色々な解説資料が(主にHaskell向けに)出ている。 blog.recruit.co.jp さて、これまでのOpticsを紹介する資料はSetterとGetterとしての側面に注目しがちだったので、じゃあOpticsの何が良いのか、Scalaでやる意義は何か、という側面をこの記事で紹介しようと思う。 Optics -- vs. copyメソッド地獄 Opticsは合成可能である Opticsはボトムアップのアプローチである Opticsがう

    Optics: 「パス」に型を付ければ、データ全体に型を付ける必要はない - Lambdaカクテル
  • スタートアップを取り巻く環境について 〜スタートアップとエンジニアリング〜

    東京大学 松尾研究室 様向け講演資料

    スタートアップを取り巻く環境について 〜スタートアップとエンジニアリング〜
  • 「41歳で逝ったBL漫画家」明るく描いた闘病の軌跡

    コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能(広告ブロック機能を持つ拡張機能等)を無効にしてページを再読み込みしてください。 ✕

    「41歳で逝ったBL漫画家」明るく描いた闘病の軌跡
    fumikony
    fumikony 2023/06/07
  • 世界標準のストック・オプション実務|増島雅和

    皆さんご存じのとおり、5月29日に国税庁から信託型ストック・オプションが給与所得に該当するとの解釈がでました。これと同時に国税庁は、税制適格ストック・オプションの権利行使価額を決めるために必要な付与契約時の株価算定ルールについて、新たな通達を設けてパブリックコメントにかけました。この通達は、ストック・オプションが税制適格となるために必要な「権利行使価格がストック・オプション付与時の普通株式の株価以上であること」という要件について、権利行使価格を配当還元方式の算定や、純資産価額方式により純資産から残余財産優先分配額を差し引いた額をベースに算定することができることを認めたもので、効きの良い(すごく儲かる)ストック・オプションを出せるようにしたものです。 大きなインセンティブを持つストック・オプションを税制優遇のもとで発行することができるようになりましたので、信託型ストック・オプションを導入して

    世界標準のストック・オプション実務|増島雅和
  • グーグル、育休社員にも退職勧奨 大規模リストラの一環で | 共同通信

    Published 2023/06/06 19:44 (JST) Updated 2023/06/06 20:01 (JST) IT大手グーグルの日法人から退職勧奨を受けたのは、育休中であることを理由とした不利益な取り扱いに当たるとして、元社員の女性が東京労働局に指導を求めたことが6日、分かった。女性の加入する労働組合によると、グーグルが進める大規模リストラの一環で、女性を含め産休・育休中の男女少なくとも6人が同様の勧奨を受け、うち4人は退職した。 労組「アルファベットユニオン支部」は育児・介護休業法などに違反すると主張。5月に労働局に指導を要請した。 グーグルは1月、全世界で約1万2千人の従業員を解雇すると発表。労組によると、日法人では3月に一部社員に、退職に応じるよう促すメールが届いた。

    グーグル、育休社員にも退職勧奨 大規模リストラの一環で | 共同通信
    fumikony
    fumikony 2023/06/07
  • 物件に怪しい箇所があったのでサーモカメラを使ったら問題がクッキリ可視化された「そんな使い方あるんだ」

    コーキングパパ🚰 @papagaiheki 外壁工事屋をしております。雨漏りを止めています。たまにコーキングもしております。アパートマンションの外壁工事が得意です。#全ツイ建 運営の人 #外壁にシリコン打つな note.com/chintaigaiheki

    物件に怪しい箇所があったのでサーモカメラを使ったら問題がクッキリ可視化された「そんな使い方あるんだ」