ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、CTOの藤門（@mikanmarusan）です。 2019年10月12日、関東に上陸した台風の中では過去最大級となる台風19号が上陸し、大きな被害をもたらしました。台風の被害にあわれました皆様にお見舞い申しあげるとともに、犠牲になられた方々とご遺族の皆様に対し、深くお悔やみを申しあげます。 この日、ヤフーのサービス開発現場では、昨年発生した平成最大の水害とも言われる平成30年7月豪雨レベルを想定して準備していましたが、メディア関連サービスを中心に想定を超えるアクセスが急増し対応に追われました。各所でサーバーを増強しながら、機能ごとの負荷対策を実施し、ユーザーの皆様への情報提供を行っていました。 ヤフーでは「自然災害に負

Amazon Web Services ブログ S3 の Access Analyzer を使用して、Amazon S3 バケットを監視、確認、保護する AWS のセキュリティは単なる機能ではありません。考え方です。本日、私たちは S3 の Access Analyzer を発表しました。これは、ユーザーの代わりにリソースポリシーを監視する新機能です。デフォルトでは、S3 で作成されたすべてのバケットとオブジェクトはプライベートに設定されています。AWS では、アクセスコントロールリスト (ACL) やバケットポリシーなどのメカニズムを使用して、詳細なアクセスレベルを設定できます。S3 の Access Analyzer はアクセスポリシーを監視する新しい機能です。これにより、ポリシーは S3 リソースへの意図したアクセスのみを提供するようになります。S3 の Access Analyze

Amazon Web Services ブログ Amazon Managed Apache Cassandraサービス（MCS）がアナウンスされました 大規模なデータベース管理は決して簡単ではありません。キーと値や表形式を含む大量の構造化データを保存、取得、管理するオプションの1つにApache Cassandraがあります。Cassandraでは、表現力豊かなCassandra Query Language（CQL）  を使用して、アプリケーションを迅速に構築できます。 ただし、大規模なCassandraクラスターの管理は困難な場合があり、多くの時間がかかります。基盤となるインフラストラクチャのセットアップ、構成、および保守には専門的な専門知識が必要であり、Apache Cassandraオープンソースソフトウェアを含むアプリケーションスタック全体を深く理解するひつようがります。ノードを

Amazon Web Services ブログ AWS Fargate 上の Amazon EKS を一般公開 本日より、皆さんは、Amazon Elastic Kubernetes Service を使用して、AWS Fargate の上でKubernetes ポッドを利用できます。Amazon EKS と Fargate は、AWS 上での Kubernetes ベースのアプリケーションの実行をわかりやすいものにします。ポッドを用意して、そのインフラストラクチャを管理する必要がなくなるからです。 AWS Fargate では、コスト最適化され、可用性の高いクラスターを稼働するのに、Kubernetes 運用の専門的な知識は必要ありません。Fargate は、お客様が Amazon EKS クラスターのためにEC2 インスタンスを作成し、管理する必要をなくします。 もはや、クラウド上で

Amazon Web Services ブログ AWS DeepComposer – 生成的な機械学習モデルを使用して音楽を作成する 本日、世界初の機械学習対応のミュージカルキーボードである AWS DeepComposer を発表します。読み間違えではありません。 機械学習 (ML) には、数学、コンピューターサイエンス、コード、およびインフラストラクチャの知識がかなり必要です。これは非常に重要なことですが、意欲的な ML 開発者の多くは圧倒され、時には (あえて言うと) 退屈に感じさえするでしょう。 誰もが実用的な ML について学び、それを楽しんでいただけるように、ML を搭載したデバイスをいくつか導入しました。AWS re:Invent 2017 では、世界初の深層学習対応カメラである AWS DeepLens を導入し、開発者がコンピュータービジョンの ML について学習できるよ

この記事は suusan2go Advent Calendar 2019 - Adventar の4日目の記事です。 フリーランス始めてから、エムスリーでお世話になった @maeharin さんがCTOをしてる ANNONE という会社をお手伝いしています。自分はその中で、Goによるアプリ向けのAPI，Reactによる管理画面、Flutterアプリ、CloudSQL=> BQの同期、新規事業のRails newなどと幅広く色々とやらせてもらっているのですが、今回はあのね というアプリ向けに作られたGoのAPIのDBアクセスをSQLBoilerに切り替えた話をします。 Go APIの構成 特定のフレームワークは使っておらずルーティングには gorilla/mux、DBアクセスには sqlxを使っていて、シンプルなレイヤードアーキテクチャを採用した以下のような構成になっています。 api ├─

こんにちは、かたいなかです。 Kubernetesを仕事で触っていて、CodePipeline/CodeBuildとKustomizeを組み合わせての継続的デプロイを検証する機会があったので備忘録として記事にまとめてみます。 Kustomizeとは KustomizeはkubernetesのYAMLファイルをパッケージングするツールです。ベースの構成をもとにSTG/PRDなどの環境ごとに変えたい設定などを上書きすることができます。Kustomizeで生成されたYAMLを、kubectl applyする形で使用します。将来的にkubectlへの統合が前提に開発されているそうです。 今回はこのKustomizeをCodePipeline/CodeBuildと組み合わせて使用し、継続的デプロイできるようにしていきます。 パイプラインの構築 今回は以下の図のようなパイプラインを組んでいきます。 前

概要 ゼットラボではいくつかの CI/CD ツールを利用していますが、その中の一つが Concourse です。Concourse はパイプラインベースの CI/CD ツールで Pivotal により開発されています。Concourse から Kubernetes にアプリケーションをデプロイするための Concourse リソースに我々の要件を満たすものが存在しなかったため、新たに開発し OSS (MIT License) として公開しています。 zlabjp/kubernetes-resource: A Concourse resource for controlling the Kubernetes cluster Kubernetes にどのようにアプリケーションをデプロイするか Kubernetes にアプリケーションをデプロイするには Kubernetes を操作するための C

概要 vulcand という HTTP プロキシを使って Docker コンテナをブルーグリーンデプロイするという話。 Consul と Nginx を組み合わせて動的にロードバランスするという話とやりたいことは同じだと思う。 vulcand とは vulcand は、Mailgun というメール系 SaaS の開発チームが作った HTTP プロキシ。 etcd をバックエンドに利用した HTTP プロキシ 再起動なしで設定を反映できる HTTP API と CLI プラガブルなミドルウェア ゼロダウンタイムデプロイのサポート リアルタイムメトリクスレポート TLS と certificate の管理 といった特徴を持つ。設定ファイルを etcd に保存して再起動なしで設定反映できるというのが非常に便利なポイントだと思う。 vulcand の仕組み vulcand に 以下の 2 つの主要

本記事 本記事はConcourse Advent Calendarの23日目の記事になっています。 もうすぐ学部を卒業するので、積極的にアウトプットしようと思って、以下のAdvent Calendarも参加したので、もし興味がございましたらご覧ください。 Vue.js Advent Calendar 2018 www.1915keke.com CircleCI Advent Calendar 2018 www.1915keke.com Kubernetes Advent Calendar 2018 www.1915keke.com オフィスや自宅を快適にするIoT byゆめみ③ Advent Calendar 2018 www.1915keke.com 動機 本記事を書こうと思ったのは、Concourseのバージョンアップに伴い、実際に動作させることができるチュートリアルやリファレンスがあ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

本連載では、2019年7月の「Cloud Native Days Tokyo 2019」でCo-chairを務めた青山真也氏と草間一人氏に、クラウドネイティブに関してじっくり語ってもらった対談の内容を、4回に分けて掲載している。前回の「クラウドネイティブは、どう誤解されているか」に続き、今回は第2回として、「CNCFのCloud Native Trail Mapを、クラウドネイティブ活動の指針としてどう考えるか」をテーマとした部分をお届けする。 Cloud Native Trail Mapのアプローチはいいが…… ――クラウドネイティブを目指すと決めた人たちが次に考えるのは、「ツール、製品、技術として何を採用するか」ということだと思います。これを考えるための材料として、Cloud Native Computing Foundation（CNCF）の「Cloud Native Trail M

Rancher Meetup Tokyo #19で発表した資料です。 Concourseの紹介と活用例についてお話しました。Read less

概要 KubernetesでGitOpsを実現するツールであるArgo CDとKubernetesでblue/grennデプロイやカナリアリリースを実現するためのデプロイメントコントローラーであるArgo Rolloutsを使用して、カナリアリリースを実現する方法を２回に渡ってご紹介します。 今回はセットアップ編となります。 Arog CDのオフィシャルサイト https://argoproj.github.io/argo-cd/ 構成図 構成要素 GKE GCR ※今回は登場なし Cloud Build　※今回は登場なし Cloud Load balancer(ingress) GitHub argo cd argo rollouts 前提条件 Googleアカウントがあること GitHubアカウントがあること デプロイしたいアプリケーションがあること 今回は例としてオフィシャルサイトが

広く使われている継続的インテグレーション（CI）/継続的デリバリ（CD）ツールの1つに「Jenkins」がある。このJenkinsの開発チームが、Kubernetesに特化したCI/CDツール「Jenkins X」を発表した。今回はこのJenkins Xの特徴やインストール、基本的な使い方を紹介する。 昨今ではソフトウェア開発を迅速に進めるために「継続的インテグレーション（CI）」と呼ばれる手法が広く採用されている。CIはバージョン管理システムなどと組み合わせて使われるのが一般的で、たとえばバージョン管理システムへのコミットをトリガーとして自動的にビルドやテスト、パッケージ作成を実行する仕組みなどを構築できる。また、最近では「継続的デリバリ（CD）」という手法も使われる。CDはCIと似ているが、運用環境へのデプロイまでも自動で行うという仕組みだ。 CIツールとして著名なものの1つに、以前紹

5GキャリアのエッジロケーションにAWSを設置、モバイルデバイスから利用できる「AWS Wavelength」発表。国内ではKDDIが提携。AWS re:Invent 2019 AWSは米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」で、5GキャリアのエッジロケーションにAWSのインフラを設置する「AWS Wavelength」を発表しました。 これにより5Gのモバイルデバイスから非常に小さなレイテンシでエッジロケーションに置かれたAWSのコンピュートやストレージなどにアクセスできるようになります。 次世代のモバイル通信サービスとして期待されている、いわゆる「5G」は、大容量で低レイテンシなネットワークを実現します。 しかしこの5Gネットワークを通じて、モバイルデバイスからAWSのようなパブリッククラウドへアクセスしようとすると、5Gキャリアのネットワークからイン

こんにちは。メルカリアドベントカレンダー4日目担当、JPメルカリ SREチーム @siroken3 です。 本日はメルカリで利用されているAWSの技術について、どんなことに使ってきたか、2019年末までのふりかえりと現在そしてちょっと未来(?)についてお送りしたいと思います。 2019年末までのふりかえり メルカリでは2014年の創業以来、Amazon Web Services、AWSを採用しそのマネージドサービスを活用してきました。 Amazon S3 みんな信頼しているS3。当社ではお客さまが出品時に投稿した商品画像を格納している他、アクセスログのバックアップ先、MySQLのバックアップ先として活用しています。その他あまり表には出てこないのですが、パートナー企業様とのデータ連携でS3を使う場面が多いです。特にSFTPで連携する場合はAWS Transfer for SFTPが使えるよう

Amazon Web Services ブログ 新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング 本日、AWS ECS Cluster Auto Scalingを発表します。この機能は、スケールアウトを高速化し信頼性を向上させる、クラスター内の空きキャパシティ管理の提供と、スケールイン時に終了されるインスタンスの自動管理を提供し、クラスターの自動スケーリングをより使いやすいものにします。 ECS Cluster Auto Scalingを有効にするには、Capacity Providerと呼ばれる新たな項目を設定する必要があります。1つのCapacity Providerは1つのEC2 Auto Scaling Groupに関連づきます。あるAuto Scaling GroupにECS Capacity Providerを関連付け