並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 12 件 / 12件

新着順 人気順

datapipelineの検索結果1 - 12 件 / 12件

  • すぐに役に立つものはすぐに陳腐化してしまうから方法ではなく設計の本を読む - API Design Patterns の読書感想文 - じゃあ、おうちで学べる

    あなたがさっきまで読んでいた技術的に役立つ記事は、10年後も使えるでしょうか?ほとんどの場合でいいえ はじめに 短期的に効果的な手法や知識は、ソフトウェア開発の分野において、急速に価値を失う傾向があります。この現象は、私たちが何を重点的に学ぶべきかを示唆しています。最も重要なのは、第一に基本的な原理・原則、そして第二に方法論です。特定の状況にのみ適用可能な知識や即座に結果を出すテクニックは、長期的には有用性を失う可能性が高いです。これは、技術や手法が時間とともに進化し、変化していくためです。 learning.oreilly.com 「API Design Patterns」は、このような考え方を体現した書籍です。しかも480 ページもあります。本書は単なる手法の列挙ではなく、Web APIデザインの根幹をなす原則と哲学を探求しています。著者のJJ Geewax氏は、APIを「コンピュータ

      すぐに役に立つものはすぐに陳腐化してしまうから方法ではなく設計の本を読む - API Design Patterns の読書感想文 - じゃあ、おうちで学べる
    • AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば

      ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ(隙あらばダイマしていく方針)。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝

        AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
      • メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング

        こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更(新規作成、削除、変更など)を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ

          メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング
        • 【SAP試験対策】IAMの勉強であやふやな理解だったポイントをしっかり整理する | DevelopersIO

          AWS認定のSolution Architect Professional試験用に、AWS IAMに関連したキーポイントを断片的にまとめました。 「SAPの試験問題って、大学センター試験の国語に似てね?」 UdemyにあるAWS認定のSAP模擬試験を4本こなした結果、問題の傾向として気づいたことです。どう考えても絞りきれない選択肢が2つ3つあるんですよね〜。 私は受験教科の中で国語が一番苦手でだったので、塾の先生から「問題文に書いてあることに沿って、合っているものではなく、間違ってないものを選べ」と、しょっちゅう教えられていたことを思い出しました。SAPの試験でも同じように「問題の要件と関係ない用語が含まれている選択肢をまず消去し、選択肢が2つ残ってしまったら、問題文に書いてあることに沿った、間違っていない選択肢を選ぶ」ことが大事だなと感じています。 さて、「間違っていないかどうか」を判断

            【SAP試験対策】IAMの勉強であやふやな理解だったポイントをしっかり整理する | DevelopersIO
          • すべての AWS サービス(ただし名前空間を基準とする)をコマンド一発で一覧出力するワンライナーが完成した | DevelopersIO

            コンバンハ、千葉(幸)です。 「結局 AWS サービスって何個あるの……?」「似た名前のものがあり過ぎない?」「よく名前を聞くあれはサービスの一つなの?機能なの?」 そんな疑問が思い浮かぶ場面は皆さん多々あるのではないでしょうか。 それらにバチッと応えてくれる唯一の手法、それはコマンドによる一覧出力を置いて他に存在しないですよね。そしてコマンドを実行するからには何回も打鍵したくない、一発で行いたいというのが便利さに慣れきった現代人が辿り着く至高の思考であり嗜好ですよね。 そんな要求に応えるため、私は調査に明け暮れました。そして苦節 74 分、ついにワンライナーでの出力に成功しました。今回はその内容をご紹介します。 (なお、動作確認ができているのはzshとbashのみです。) ( Windows は早々に諦めましたが詳しい方がいたら教えてください。 あっという間に社内のメンバーが作成してくれ

              すべての AWS サービス(ただし名前空間を基準とする)をコマンド一発で一覧出力するワンライナーが完成した | DevelopersIO
            • AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)の学習方法とマシンラーニング・ディープラーニングの基礎知識が学べる学習リソースの紹介 - NRIネットコムBlog

              小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 機械学習 – 専門知識」とは 「AWS 認定

                AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)の学習方法とマシンラーニング・ディープラーニングの基礎知識が学べる学習リソースの紹介 - NRIネットコムBlog
              • [アップデート]AWS Control Towerのランディングゾーン3.2がリリース!Security Hubサービスマネージド標準のドリフトが検出できるようになりました! | DevelopersIO

                [アップデート]AWS Control Towerのランディングゾーン3.2がリリース!Security Hubサービスマネージド標準のドリフトが検出できるようになりました! みなさん、こんにちは。 明るい笑顔がトレードマーク、ルイボスティーが大好きな芦沢(@ashi_ssan)です。 AWS Control Towerのランディングゾーン3.2がリリースされました! 例のごとく、AWS What’s newよりアップデートブログが公開されています。 ブログではControl TowerとSecurity Hubの統合と書かれていますが、実質的にはランディングゾーン3.2のリリースだと理解したので本ブログのタイトルにはそのように表記しました。 概要 ランディングゾーンとは? そもそもランディングゾーンとは、AWSのベストプラクティスに基づいて構成したアカウントをスケーラブルに展開していくた

                  [アップデート]AWS Control Towerのランディングゾーン3.2がリリース!Security Hubサービスマネージド標準のドリフトが検出できるようになりました! | DevelopersIO
                • AWS認定ソリューションアーキテクト-アソシエイトに合格した話 - Qiita

                  ごあいさつ 新年明けましておめでとうございます。 毎年アドベントカレンダーを書いてましたが、書きそびれたので、個人的に投稿します。 去年はアドベントカレンダーを書き、とうとうぼっちマスを二年連続で挑み切りました。エンジニアの本田です!(一人でつくったローストビーフがなんかしょっぱかったです 10月まではエキサイトで人工知能レコメンドエンジンwisteriaの運用保守や機械学習APIの開発などを担当していましたが、12月からレコチョク株式会社でマイクロサービスのAPI開発を行っております! 今日は12/21にAWS認定ソリューションアーキテクトアソシエイトに合格したので、その話を書こうと思います。 AWS認定とは 公式から抜粋すると クラウドの専門知識を検証し、専門家が需要の高いスキルを強調し、組織が AWS を使用してクラウドイニシアチブにおける効果的で革新的なチームを構築するのに役立ちま

                    AWS認定ソリューションアーキテクト-アソシエイトに合格した話 - Qiita
                  • 既存インフラをコード化する時に気を付けること

                    新年最初のJAWS-UGイベントに参加したときに、発表した内容をより詳しく補足している記事になります。 概要 昨年の12月から社内のAWSインフラシステムをコード管理(IaC=Infrastructure as Code)しようという動きが始まりました。 新規リソースをTerraformやAWS CDKなどを活用してコード化する事例は数多く紹介されていましたが、意外と既存インフラをコード化する方法については数が少なく結構大変なことがありました。 この記事では私が直面した既存インフラのコード化でハマった点について紹介していきます。 背景 2020年まで社内のインフラチームは2人しかおらず、うち1人はマネージャーで基本的にビジネス職とのコミュニケーションがメインだったため実質1人でインフラ構築や運用、新規メディアサーバーの作成を担当していました。 1人で検証環境のEC2インスタンス含め数百台の

                      既存インフラをコード化する時に気を付けること
                    • AWS CDKにAWS IoT Coreの実装がなかったからコントリビュートしてみた | DevelopersIO

                      IoT事業部のやまたつです! AWS CDKにコントリビュートしてAWS IoT Coreの機能を作ってみたので、それについて綴りたいと思います! 今後、コントリビュート時のtipsなども記事にしていこうと思っています。 始まりと成果物 AWS IoT Coreのtopic ruleを素振りすべく、AWS CDKを使ってみたところ、Cfnプレフィックスがついたクラスしかないことに気がつきました。 このCfnがついたクラスはL1と呼ばれ、CloudFormationのインターフェースから自動生成しただけのクラスです。 これしかない、ということはつまり、自動生成コード以外の実装が存在しないことを意味します。 「じゃあコントリビュートしてみるか」ということでコントリビュートしてみました。(かっこつけて軽い感じで書いてみましたが、かなり一念発起でしたw) いくつかのPRがマージされた結果として、以

                        AWS CDKにAWS IoT Coreの実装がなかったからコントリビュートしてみた | DevelopersIO
                      • API Gateway + Lambda + DynamoDB サーバレスWebAPI開発まとめ - Qiita

                        とりあえず「API Gateway + Lambda + DynamoDB」の構成でWebAPIを開発する際には以下が参考になると思います。 まずは簡単なサーバーレスアプリケーションを作成して感覚を掴むのが良いと思います。 初めてのサーバーレスアプリケーション開発 ~DynamoDBにテーブルを作成する~ 初めてのサーバーレスアプリケーション開発 ~LambdaでDynamoDBの値を取得する~ 初めてのサーバーレスアプリケーション開発 ~API GatewayからLambdaを呼び出す~ スマホアプリなどのクライアントからのHTTPリクエストは、API Gatewayで受け付けてLambda関数で処理されます。API GatewayではLamba関数に渡す前のデータ形式を調整し、Lambda関数から返ってきたデータの形式を調整してクライアントにHTTPレスポンスとして返却します。 初期設

                          API Gateway + Lambda + DynamoDB サーバレスWebAPI開発まとめ - Qiita
                        • 【コラム】AWS認定勉強メモ〜その1〜 - IT資格取得~受験料の節約~

                          部屋を整理していたら、AWS認定試験勉強時のメモが出てきたので、復習がてらひたすら書き込んでみる。 ”気になる→調べる→メモのこす”ってサイクルだったので順不同、間違った解釈だったらすみません。結構な量があったので、何回かに分けて掲載予定。 Route53 ヘルスチェックの間隔は10秒  OR 30秒。ヘルスチェッカーが正常性を確認。18%がOKしたらOK。 [ヘルスチェックの種類] HTTP/HTTPSのステータスコード TCPヘルスチェック。TCP接続の確立 HTTP/HTTPSのステータスコード&文字列一致(レスポンスボディを検索) SWF(Simple Workflow Service) ワークフロースターター:トリガーのこと ディサイダー:SWFを受け取ったタスクを元に次のタスクを実行。ユーザー自身がプログラミングをして設定。 ワーカー:自分でプログラミング Lambda:Lam

                            【コラム】AWS認定勉強メモ〜その1〜 - IT資格取得~受験料の節約~
                          1