はじめに この仕事を始めた当初(約20年前)はオンプレミスという言葉がありませんでした。いや厳密には私の周りではパブリッククラウドとオンプレミスを分けて話す人はおらず、インフラ構築といえば今でいうオンプレミスが中心でした(世の中的にはパブリッククラウドがサービスとして存在していました)。オンプレミスみたいに新しい概念が出てきた時にそれまでの概念を説明するためにできる言葉をレトロニムというそうです。 私が本格的にパブリッククラウドの仕事をし始めたのは約3年前でAWSでした。研修ではAzureを先に触れていたのと、この本を読んでいたという知識があった程度です。 ここではずっとオンプレミスのインフラ構築をしていた私がAWSに触れて最初に戸惑ったことを記事したいと思います。また、戸惑いましたということだけ書いても学びがないため対応したことも併せて記載します。AWSに慣れている人からすれば常識ですが
【AWS】 代表的なクラウドデザインパターン紹介
はじめに AWSの豊富なサービス群を活用することで、高可用性かつ高スケール性を実現するシステムを構築することが可能です。 しかし、クラウドサービスの特性を最大限に活かすためには、適切なデザインパターンを理解し、実践することが重要です。そこで今回は、AWSを利用して「高可用性」かつ「高スケール性」を実現するための代表的なクラウドデザインパターンを紹介します。 1. EC2インスタンスを利用した動的コンテンツの配信 動的コンテンツとは？ 動的コンテンツとは、ユーザーのリクエストに応じて生成されるコンテンツのことを指します。たとえば、ユーザーのログイン状況や入力内容に基づいて異なるページを表示するようなケースです。 AWSサービスの簡単な解説 Amazon EC2 (Elastic Compute Cloud): スケーラブルなコンピューティングリソースを提供するサービスです。必要に応じて、イン
オープンソースとは違う新しい取り組み「Fair Source」登場。ビジネスの持続性とソースコード公開の両立を目指す
企業がソフトウェアビジネスを持続的に行えることと、ソフトウェアのソースコードを公開することの両立を実現するための新しいライセンスへの取り組みとして「Fair Source」が登場しました。 意訳すると、ソースコードが公開され、開発者のビジネスを守るための最小限の制約がありつつもコードの利用や変更、再配布が可能で、計画的に一定期間後にオープンソースとなるもの、と言えるでしょうか。 具体的なライセンスとしては「Functional Source License (FSL)」が推奨されているのに加えて、「Fair Core License」「Business Source License (BSL)」が該当するとされています。 Fair Sourceの目的とは 公式Webサイトでは、Fair Sourceの目的が次のように説明されています。 The purpose of Fair Source
まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全
10年以上にわたりAWSのElastic Block Store(EBS)の開発に関わってきたマーク・オルソン氏が、EBSが共有ドライブに依存する単純なブロックストレージサービスから、毎日140兆回以上の操作を実行する大規模なネットワークストレージシステムへ発展するまでを振り返るブログ記事を投稿しました。 Continuous reinvention: A brief history of block storage at AWS | All Things Distributed https://www.allthingsdistributed.com/2024/08/continuous-reinvention-a-brief-history-of-block-storage-at-aws.html EC2がベータ版で使用可能になってから2年後の2008年にEBSはサービスを開始しました
Search and analytics, data ingestion, and visualization – all at your fingertips.
ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表。AWSがフォークに投資し、市場の混乱は解決されたと
ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表。AWSがフォークに投資し、市場の混乱は解決されたと オランダに本社を置くElasticは、ElasticとKibanaのライセンスにオープンソースライセンスであるAGPLを追加すると発表しました。 3年前の2021年、同社はElasticをマネージドサービスとして提供しているAWSを名指しで非難しつつ、ElasticのライセンスをApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更しました。 それ以来、ElasticとKibanaはオープンソースではなくなっていました。 同社CEO Shay Banon氏は、今回のオープンソースへの復帰を発表したブログの
外資系IT企業で、ソリューションアーキテクトとして働く ～技術力とあわせて必要になる英語力 外資系ITのイメージとは？ 外資系IT企業と聞くと、みなさんはどのようなイメージをまず思い浮かべるでしょうか？ 一言で外資系といっても、GAFAM[1]のような世界的な大企業から日本に進出してきたばかりのスタートアップ企業まで大小さまざまです。企業によって違いはあれど、共通してまず気になるのが「言語の壁」でしょう。ごく一部の日本法人を除くと、日常業務において英語は必須スキルとなります[2]。例えば社内ドキュメントが英語のみだったり、入社面接も英語で行われるところがほとんどです。 これを聞いて「自分は英語ができないから外資系には入れないな」と思う方が多いかもしれません。英語が必要であることには変わりありませんが、そう結論づけるのは早計といえます。 私のキャリアは日本のIT企業でソフトウェアエンジニ
KEELチームの相原です。 前回のエントリは「LLMを利用したPlatform Engineering」でした。 www.lifull.blog 今回は、小さい経路最適化ミドルウェアを実装してAZ間通信を削減した話を書きたいと思います。 背景 我々KEELチームはKubernetsベースの内製PaaSであるKEELを開発しており、LIFULLのほとんどのサービスがこのKEEL上で動いています。 www.lifull.blog そして、KEELは巨大なマルチテナントのKubernetesクラスタとしてAWSの複数のAvailability Zone(以下AZ)に展開されていて、多くのmicroservicesが互いに通信しあっています。 そのためAZ間通信はプラットフォームとして重要な関心事の一つです。 レイテンシやAWSのAZ間通信に対する課金を最小限に抑えるため、なるべくAZ間通信を減ら
Security best practices when using ALB authentication | Amazon Web Services
Networking & Content Delivery Security best practices when using ALB authentication At AWS, security is the top priority, and we are committed to providing you with the necessary guidance to fortify the security posture of your environment. In 2018, we introduced built-in authentication support for Application Load Balancers (ALBs), enabling secure user authentication as they access applications.
Amazon ECS provides the ability to restart containers without requiring a task relaunch - AWS
Amazon ECS provides the ability to restart containers without requiring a task relaunch Amazon Elastic Container Services (Amazon ECS) now improves container resiliency by giving you the ability to define a flexible container restart policy for restarting individual containers locally, without requiring a full task relaunch. With local container restarts, Amazon ECS can recover your containers fro
Continuous reinvention: A brief history of block storage at AWS
Continuous reinvention: A brief history of block storage at AWSAugust 22, 2024 • 4802 words Marc Olson has been part of the team shaping Elastic Block Store (EBS) for over a decade. In that time, he’s helped to drive the dramatic evolution of EBS from a simple block storage service relying on shared drives to a massive network storage system that delivers over 140 trillion daily operations. In thi
Kubernetesパターン 第2版
TOPICS System/Network 発行年月日 2024年09月 PRINT LENGTH 392 ISBN 978-4-8144-0088-1 原書 Kubernetes Patterns, 2nd Edition FORMAT Print PDF EPUB マイクロサービスとコンテナの進化に伴い、開発者がソフトウェアを設計、構築、実行する方法は大きく変わりました。これらのアーキテクチャは、分散システムの新しい構成要素を提供し、多くの開発者やアーキテクトが慣れ親しんだものとは異なる一連のプラクティスを必要とします。本書は、Kubernetes上でクラウドネイティブアプリケーションを設計および実装するための再利用可能なパターンを解説します。 はじめに、コンテナベースのクラウドネイティブなアプリケーションを作るための基本原理とプラクティスを紹介し、コンテナとプラットフォーム間の様々な
本論文が既存の実装の課題の一つとして指摘するのは、上記のように、CPU コアの割り当てモデルは性能に大きな影響を与える要素でありながら、多くの既存の性能に最適化された TCP/IP スタック実装は、TCP/IP スタック実装利用者が任意の CPU コア割り当てモデルを適用することを許容するような設計になっておらず、本来達成可能な性能を発揮できない構成を強要することです。 例えば、mTCP [10] という実装では unified モデルは採用できず、TAS [12] という実装では、split モデル以外適用できません。 2.2 組み込みやすさ・可搬性を考慮した実装 (Portability-aware TCP/IP Stacks) 2.2.1 NIC オフロード機能への配慮の欠如 (Unaware of NIC hardware offloading features) 大きなデータを転
Elasticは2024年8月30日、今後数週間以内に同社が開発するサーチエンジンElasticsearch、および可視化ツールKibanaのライセンスにAGPL（GNU Affero General Public License）を追加することを発表した。 Elasticsearch is Open Source, Again | Elastic Blog "Being able to call Elasticsearch and Kibana Open Source again is pure joy." — Shay Banon, Elastic Founder and CTO. Read more from @kimchy: https://t.co/PWgXVqyr8M#Elasticsearch — Elastic (@elastic) August 29, 2024 Elas
とまでは言っていないが、クルーグマンがパウエルFRB議長のジャクソンホール講演を引きながら、インフレに関する自分の見解を改めてまとめた連ツイを立てている。 Today Powell more or less endorsed the Long Transitory view of inflation. And I thought maybe I should lay out my stylized version of what happened (for wonks only!) 1/ This is oversimplifying, but think of the economy as producing goods and services; relative demand depends on relative price, relative supply much less e
目次[非表示] 1.はじめに 2.SQLとElastic Searchの違いとは？ 3.Elastic Searchの環境構築(Mac) 4.何を検証するのか 4.1.レコード数での比較 4.1.1.テストデータの準備 4.1.1.1.SQL側の準備 4.1.1.2.Elastic Search側の準備 4.1.2.検証 4.1.3.結果 4.2.文字数の速度比較 4.2.1.テストデータの準備 4.2.2.検証 4.2.3.結果 4.3.重複文字で比較 4.3.1.テストデータの準備 4.3.2.検証 4.3.3.結果 5.まとめ 5.1.結果の分析 5.2.結果 6.お悩みご相談ください はじめにこんにちは、株式会社divxでエンジニアをしている清水です。 以前、私はプロジェクト内でElastic Searchを導入するか、あるいはSQLのフルテキストインデックスを使用して全文検索を行
AWSで学ぶクラウド時代のサーバ＆ストレージ基礎知識 本連載「AWSで学ぶクラウド時代のサーバ＆ストレージ基礎知識」は、これまで仮想マシン（Virtual Machine：VM）は使っていたけど物理的なサーバに触れてこなかったエンジニアやサーバ管理者、情報システム部門担当者（情シス）などを対象に、サーバとストレージの基礎知識を「Amazon Web Services」（AWS）の操作を例に解説しています。 本連載は全7回の予定で、各回は下記のテーマで基礎知識を解説して、テーマに関連するAWSのサービスを紹介していきます。 連載3回目となる今回は、第1回で解説した「Amazon Elastic Compute Cloud」（以下、Amazon EC2）にとって欠かせない技術である「仮想化」についてあらためて解説します。AWSを触るときには意識しない部分ですが、仮想化を知ることで、AWSのよう
Amazon Web Services ブログ AWS で実現するゲーム開発体験授業 – カプコンと近畿大学の産学連携 株式会社カプコンは、近畿大学の学生を対象に、AWS のクラウドサービスを活用したゲーム開発の体験型授業を提供します ( プレスリリース )。この授業ではカプコンの自社開発ゲームエンジン「RE ENGINE」を AWS 上で利用し、ゲームの企画から実装まで一連の開発工程を実践的に学びます。産学連携によるこの取り組みを通じて、教育機関の発展と優秀な人材の育成を支援し、ゲーム業界全体の活性化につなげることを目指しています。 この記事では AWS のクラウドサービスが、体験型授業をどの様に支えているかについてご説明します。 「RE ENGINE」とは カプコンの自社開発ゲームエンジン「RE ENGINE」は、実写に匹敵するフォトリアルなグラフィックスを実現しながら、複雑な技術を開
ネットワーク技術者の仕事は近年、クラウドサービスと連携するシステムやサイバーセキュリティー関連のシステムにも広がっている。そこでクラウドやセキュリティー分野の図も広義のネットワーク図と捉え、名人たちの作例を紹介しよう（表3-3）。 クラウドサービスでは一般に、物理的なネットワークをユーザー側が意識しなくて済む。その影響で、これまで見てきた物理構成図や論理構成図とは図の描き方が一味異なる。具体的には、ユーザー側で自ら設定するサブネットのIPアドレスや、ノード間の通信の流れを示すことが多い。 クラウドの図も位置ぞろえがコツ もっとも、ノードの位置をそろえるなどの基本的なコツはクラウドの図も同じだ。アイシーティーリンクのICTイノベーション1部1課課長代理である山田真也さんが作製した、クラウドサービス「Amazon Web Services（AWS、アマゾン・ウェブ・サービス）」上で稼働するシス
関連キーワード VMware vSphere | VMware | 仮想マシン（VM） | サーバ仮想化 仮想化ソフトウェアベンダーVMwareを買収したBroadcomは、VMware製品の買い切り型の永続ライセンスを廃止し、CPUのコア数に基づくサブスクリプションライセンスのみを提供するなど、製品やサービスの提供方法に変更を加えている。こうした同社の動きは、ユーザー企業の関心を競合ベンダーの製品に向けさせる可能性がある。BroadcomのVMware製品ポートフォリオ再編の具体的な内容と、競合する仮想化ベンダーの選択肢とは。 VMware再編で市場激変 Broadcom vs. 競合ベンダー 併せて読みたいお薦め記事 連載：VMwareの製品ポートフォリオ再編が進む 前編：VMware続行か、脱却か――ユーザー企業の方針が決まらない訳 VMware製品はどう変わるのか AHV、ESXi
◾️はじめに 以前、AWSのセミナーを受けた際のアウトプットとして、本資料では、AWSを活用することで得られる価値や主要サービスの概要について解説し、実際にAWSを始める手順を紹介します。本資料を通じて、AWSの基本的な理解を深め、実際のビジネスでの活用方法を具体的にイメージできるようになっていただければ幸いです。 ◾️AWS活用で得られる価値 スモールスタートで迅速に始められる 従来、オンプレミスでITシステムを稼働させるためには、サーバーやネットワーク機器、ソフトウェアなどを自社で保有し、運用する必要がありました。しかし、AWSを活用することで、これらのインフラ調達やセットアップにかかる時間と労力を大幅に削減し、必要なITリソースをすぐに利用開始できます。また、不要になれば削除すればよいということです。 必要な時に必要な分だけ利用可能 オンプレミスでのITシステム運用では、常にリソース
ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表 「AWSがフォークに投資し、市場の混乱は解決された」と
この記事は新野淳一氏のブログ「Publickey」に掲載された「ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表。AWSがフォークに投資し、市場の混乱は解決されたと」（2024年8月30日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 オランダに本社を置くElasticは、ElasticとKibanaのライセンスにオープンソースライセンスであるAGPLを追加すると発表しました。 3年前の2021年、同社はElasticをマネージドサービスとして提供しているAWSを名指しで非難しつつ、ElasticのライセンスをApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更しました。 それ
How We Migrated onto K8s in Less Than 12 months | Figma Blog
Migrating onto Kubernetes can take years. Here’s why we decided it was worth undertaking, and how we moved a majority of our core services in less than 12 months, all while making our compute platform easier to use. At high-growth companies, resources are precious. At Figma, we need to be sure that any decision we make—whether it’s about user-facing features or back-end infrastructure—will leave t
Amazon Elastic Container Services (Amazon ECS) では、タスクを完全に再起動せずに、個々のコンテナをローカルで再起動するための柔軟なコンテナ再起動ポリシーを定義できるようになったため、コンテナの耐障害性が向上しました。コンテナをローカルで再起動すると、Amazon ECS は予期しない障害から数秒以内にコンテナを回復できるため、不要なタスク再起動を回避することでタスク全体の安定性が向上します。 Amazon ECS では、ネットワークの中断やコンテナの予期せぬ停止などの一時的な障害からコンテナを復旧するために、自動的にコンテナをインプレースで再起動できるようになりました。データのロガー、コレクター、フォワーダーなど、再起動によって不確定な状態が解消されるようなフォールトトレランスが必要なコンテナでは、エラーコードで再起動するポリシーを作成して、ミ
NetBox のオンプレから Amazon ECS 移植を CDK で実現する - NTT Communications Engineers' Blog
チームの管理情報を溜めていたオンプレ基盤で動く NetBox を Amazon Elastic Container Service へ AWS Cloud Development Kit を用いて移植しました。 今まで NetBox をオンプレで動かしていた際には以下のような運用の難しさがありました。 DB も Docker コンテナによって管理されており、冗長化もなかったため DB コンテナが落ちてしまうとサービス提供できなくなる可能性があった Docker Compose で動かしているので、サービスの作り直しを実施するとそれまでのログが削除される そもそも NetBox を動かしている場所で法定停電があり、定期的に NetBox のサービスがとまっていた NetBox を AWS へともっていくことでオンプレ運用時に発生していた手間を簡素化し、メンテナンス等も一部 AWS にマネージ
Add macOS to your continuous integration pipelines with AWS CodeBuild | Amazon Web Services
AWS News Blog Add macOS to your continuous integration pipelines with AWS CodeBuild Starting today, you can build applications on macOS with AWS CodeBuild. You can now build artifacts on managed Apple M2 machines that run on macOS 14 Sonoma. AWS CodeBuild is a fully managed continuous integration service that compiles source code, runs tests, and produces ready-to-deploy software packages. Buildin
全文検索エンジン「Elasticsearch」とデータ可視化ツール「Kibana」が再びオープンソースに
オランダのElasticの創設者でCTO（最高技術責任者）を務めるシャイ・バノン氏は2024年8月30日（オランダ時間）、同社の分散型RESTful検索／分析エンジン「Elasticsearch」とデータ可視化ツール「Kibana」の新たなライセンスオプションとして、数週間以内に「AGPL」（Affero General Public License）を追加すると公式ブログで発表した。これにより、「ElasticsearchとKibanaは、再びオープンソースと呼べるようになる」としている。 両製品が再びオープンソースとなることで、Elasticの社員全員が、「文字通り、興奮して飛び跳ねている」と、バノン氏はブログ記事で喜びを述べている。 再びオープンソースにした理由 関連記事 Elasticsearchは新アーキテクチャの実装へ、その他の新機能を含めてElasticのCEOに聞いた El
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オンプレエンジニアがAWSを触って思ったのと違うと感じたこと - Qiita
pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside
AWSのブロックストレージがどのように進化してきたのかを中の人が語る
Elasticsearch is Open Source, Again
外資系IT企業で、ソリューションアーキテクトとして働く ～技術力とあわせて必要になる英語力 | gihyo.jp
小さい経路最適化ミドルウェアを実装してあらゆるAZ間通信を削減する - LIFULL Creators Blog
性能と可搬性に配慮した TCP/IP スタック実装 | IIJ Engineers Blog
Elasticsearchが再びOSSに ―ライセンスにAGPLを追加 | gihyo.jp
問題は相対需要だよ、馬鹿者！ - himaginary’s diary
SQLのFULLTEXT INDEXとElastic Searchの速度比較 | 株式会社divx（ディブエックス）
仮想化の仕組みがイマイチ分からない――クラウドをより深く理解したい人のための「仮想化」超入門
AWS で実現するゲーム開発体験授業 – カプコンと近畿大学の産学連携 | Amazon Web Services
東京海上日動システムズの技術者らが実践、セキュリティーやAWSの図を描くコツ
“VMware再編”で市場激変 「Broadcom」対「競合ベンダー」の行方
AWS 超入門 〜AWSを始めよう〜 - Qiita
Amazon ECS がタスクを再起動せずにコンテナを再起動する機能を提供 - AWS