2019年12月に発表された、Amazon独自設計のARMプロセッサ「Graviton 2」は、すでにAWS EC2のM6gインスタンスなどで利用することができます。そのGraviton 2について、オンラインストレージサービス「MinIO」のエンジニアであるFrank Wessels氏がIntelやAMDのCPUとの性能を比較してみたところ、その結果に衝撃を受けたと語っています。 Intel + ARM Performance Characteristics for S3 Compatible Object Storage https://blog.min.io/intel_vs_gravitron/ MinIOはApacheライセンスに準拠したAWS S3互換のオンラインストレージです。高いパフォーマンスを維持するため、MinIOはGoによって開発されているとのこと。MinIOが使用す
Google CloudからOracle Cloud（OCI）に移行したらコストが半分以下になった話 - Qiita
みなさん、マルチクラウドやってますか！僕は案件ではAWS、Azure、個人や自社ではGoogle Cloudが多かったのですが、このたびOracle Cloud（OCI）にメインの運営サービスを移管しまして、パフォーマンスよくコストも半分以下になったので記事にまとめました。ただし、万人にお勧めというわけでもないのでそのあたりは記事をご覧ください。 円安しんどい なぜ我々の収入はドル建てじゃないのに支出はドル建てなのか、月980円じゃなく9.8ドルにしてたら今頃は売り上げも1.5倍くらいになってたのに1。そんな気持ちを抱えながら増え続けるクラウドコストに苦しんでいました。また、サービスがおかげさまで成長し、トラフィックの課金もお小遣いと呼べないレベルになってきました。 安いクラウドサービスを探し続け、CDN、VPS、もちろんN大クラウドもチェックし「どうせPHP/MySQLなんだからエックス
本記事について Lokiについてまったく知識のない状態の人にとって、1からキャッチアップしていくのは とても大変なことです。 特にLokiはマイクロサービスで構成されているため、何を知るべきなのかの全体像が見えにくいと思っています。 そのため、Lokiをまったく知らない状態から実際に運用検証を開始するために必要なインプットを体系的にまとめました。 具体的には下記の項目で整理します。 Lokiの機能 Lokiを構成するアーキテクチャ Lokiを構成するプロセス Lokiのモニタリング Lokiでのログのリテンション管理 Lokiのデプロイ Lokiでのデータキャッシュ Lokiのベストプラクティス ※前提として、Prometheusについての基本的な知識があれば本記事についてもすぐに理解できるかと思います。 1. Lokiの機能 Grafana Lokiとは？ Lokiは3大監視項目である、
Add defense in depth against open firewalls, reverse proxies, and SSRF vulnerabilities with enhancements to the EC2 Instance Metadata Service | Amazon Web Services
AWS Security Blog Add defense in depth against open firewalls, reverse proxies, and SSRF vulnerabilities with enhancements to the EC2 Instance Metadata Service July 27, 2021: We’ve updated the link to the 2019 re:Invent session on this topic. Since it first launched over 10 years ago, the Amazon EC2 Instance Metadata Service (IMDS) has helped customers build secure and scalable applications. The I
この記事では、Cloudflare Workers を使用してウェブサイトのメンテナンスモードを実現する方法を解説しています。また、作業中のユーザーにはオリジンサイトを、一般ユーザーにはメンテナンスページを表示させる方法を説明しています。 こんにちは。Classmethod Europe でフロントエンドエンジニアをしている watsuyo です。 ベルリンに来てから 1 ヶ月半が経過し、肌寒く、そして日照時間の短い冬の気配が感じられる季節になりました。 さて、ウェブサイトに大規模な変更を加える際、サイトの一時的な利用停止が必要な場面があります。Cloudflare で管理されているウェブサイトの場合、Waiting Room を使用することで、コードの編集を行わずに一時的なメンテナンスページを表示できます。 しかし、Cloudflare の契約プランによっては、Waiting Room
Bufstream replaces traditional disks with object storage, the most reliable and cost-effective cloud storage primitive. By eliminating expensive network-attached volumes and delegating cross-zone data replication to object storage Bufstream reduces cloud costs 10x compared to Apache Kafka — while remaining fully compatible with Kafka clients, connectors, and tools. Bufstream eliminates bad data at
Announcing Cloudflare R2 Storage: Rapid and Reliable Object Storage, minus the egress fees
Announcing Cloudflare R2 Storage: Rapid and Reliable Object Storage, minus the egress fees2021-09-28 We’re excited to announce Cloudflare R2 Storage! By giving developers the ability to store large amounts of unstructured data, we’re expanding what’s possible with Cloudflare while slashing the egress bandwidth fees associated with typical cloud storage services to zero. Cloudflare R2 Storage inclu
AST vs. Bytecode: Interpreters in the Age of Meta-Compilation
233 AST vs. Bytecode: Interpreters in the Age of Meta-Compilation OCTAVE LAROSE, University of Kent, UK SOPHIE KALEBA, University of Kent, UK HUMPHREY BURCHELL, University of Kent, UK STEFAN MARR, University of Kent, UK Thanks to partial evaluation and meta-tracing, it became practical to build language implementations that reach state-of-the-art peak performance by implementing only an interprete
TL;DR** We are live on HackerNews!** We designed a serverless & cost-efficient metrics observability system that delivers fast performance at any scale. Try out our playground with 13M+ active time series/hr & 13B+ samples/day Explore all features with live data via Quick Signup Instant exploration (<5min): Run one command to stream synthetic metrics to your account Easy integration (<15min): Expl
Highlights from Git 2.26
Open SourceHighlights from Git 2.26Take a look at some of the new features in the latest Git release. The open source Git project just released Git 2.26 with features and bug fixes from over 64 contributors, 12 of them new. Here’s our look at some of the most exciting features and changes introduced since Git 2.25. Protocol version 2 is now the default You may remember when Git introduced a new ve
AWS previews Mountpoint, a specialized open source Rust client to mount S3 storage into the file system • DEVCLASS
Interview AWS has introduced Mountpoint, an open source client for Linux that connects to S3 (Simple Storage Service) using file APIs, enabling applications to traverse S3 files as if they are in the file system. It is a specialized client aimed at data analytics, and not designed for general-purpose use. According to advance information from AWS, “with Mountpoint, file operations map to GET and P
CloudNative Days Tokyo 2023 での登壇資料です
Building and operating a pretty big storage system called S3
Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda
OpenIO | High Performance Object Storage for Big Data and AI
The Best Object Storage Offer on the Market OpenIO has joined OVHcloud, the leading European alternative cloud provider Learn more Object Storage on-prem, cloud-hosted, or at the edgeOpenIO is a software-defined open source object storage solution ideal for Big Data, HPC and AI. With its distributed grid architecture and unique self-learning ConsciousGrid™ technology, OpenIO scales easily without
This post introduces a new feature called Profiles, which allows you to create a specific Kubernetes application platform to meet your business needs. We show how you can enable machine learning operations or MLOps with specific Profiles for two different types of Kubernetes instances - EKS and Kubernetes with Firekube. If you ask an application developer what they want from Kubernetes, the answer
GitHub - ToolJet/ToolJet: Low-code platform for building business applications. Connect to databases, cloud storages, GraphQL, API endpoints, Airtable, Google sheets, OpenAI, etc and build apps using drag and drop application builder. Built using JavaScri
ToolJet is an open-source low-code framework to build and deploy internal tools with minimal engineering effort. ToolJet's drag-and-drop frontend builder allows you to create complex, responsive frontends within minutes. Additionally, you can integrate various data sources, including databases like PostgreSQL, MongoDB, and Elasticsearch; API endpoints with OpenAPI spec and OAuth2 support; SaaS too
This post is also available in Deutsch, Español, Français, 繁體中文, 简体中文, 日本語 and 한국어. Developers who build Worker applications focus on what they're creating, not the infrastructure required, and benefit from the global reach of Cloudflare's network. Many applications require persistent data, from personal projects to business-critical workloads. Workers offer various database and storage options ta
[Cloud] 無料クラウドへの旅路―AWSからOCIへの移行／Journey To The Free Cloud - Migrating From AWS To OCI
Oracle Blogsの主としてテクノロジー製品のエントリを日本語でご紹介します（オリジナルのエントリを投稿することもあります）。厳密性をご所望の方は原文をどうぞ。よい内容でしたら原文に対し、"Good Entry, thanks!"でもいいので、是非コメントお願いします（Typoや誤訳はコメント欄からどうぞ）。なお、このエントリは個人の見解であり、所属する会社の公式見解ではありません。また、エントリ内でご紹介している製品・サービスは国内導入時期が未定の場合もありますのでご了承下さい。 Good entries on Oracle Blogs are put into Japanese. Mainly this blog covers technology products. Opinions expressed in this blog is my personal one and d
![[Cloud] 無料クラウドへの旅路―AWSからOCIへの移行／Journey To The Free Cloud - Migrating From AWS To OCI](https://cdn-ak-scissors.b.st-hatena.com/image/square/b887679f768b7897c92d54787a4eab2d270cf25b/height=288;version=1;width=512/https%3A%2F%2Flh4.googleusercontent.com%2Fproxy%2F-ddrSBilecqxTq79fXCukvbTlf_XGQN8J8SjyIu4liSkZeyqpFoUZ6gk4d4rtXY49YLT2uKgDKQOcRAqMqLlvLAG_OqKVmkPeXOuc-IWT1lGlGpe1FEYTLKO6RNYPxTNVAxx4iwzdzXFc6pth9EWN2jnIevTKz4KvbuLyvslX4Bfuo1YO6PxFCS6lNoDNl4pDJZABLvY2gJixOpo3nWc0cEXgst2Eb5Xzw6LceUo3xuW7V02MWxZ_xjVSi8qpZUMLa2UZxhfalgf%3Dw1200-h630-p-k-no-nu)
はじめに 近年IT界隈では、IaaS(Infrastructure as a Service)やPaaS(Platform as a Service)などの~~ as a Serviceという言葉をよく聞くと思います。 ここでは、それらをまとめて、 [A-Z]aaS と呼びたいと思います。 FirebaseなどのBaaS(Backend as a Service)やAWS LambdaなどのFaaS(Function as a Service)など色々な[A-Z]aaSを聞く機会が増えてきたんじゃないでしょうか。 今回は色々な[A-Z]aaSを探してみました。結果としては 910個 もの[A-Z]aaSを見つけることができました。（探した結果を全て、後半に表示してあります。） [A-Z]aaSの探し方 最初の二文字を固定して、グーグル検索のサジェストに表示されるものを収集することにします。
Introduction These release notes for Ubuntu 20.04 LTS (Focal Fossa) provide an overview of the release and document the known issues with Ubuntu 20.04 LTS and its flavors. For details of the changes applied since 20.04, please see the 20.04.6 change summary. The release notes for 20.04, 20.04.1, 20.04.2, 20.04.3, 20.04.4 and 20.04.5 change summary are available as well. Support lifespan Maintenanc
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
A New Hope for Object Storage: R2 enters open beta2022-05-11 This post is also available in 简体中文, 日本語, Deutsch, Français and Español. In September, we announced that we were building our own object storage solution: Cloudflare R2. R2 is our answer to egregious egress charges from incumbent cloud providers, letting developers store as much data as they want without worrying about the cost of access
Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events | Amazon Web Services
AWS News Blog Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events I wrote the blog post that announced Amazon Simple Storage Service (Amazon S3) fifteen years ago today. In that post, I made it clear that the service was accessed via APIs and that it was targeted at developers, outlined a few key features, and shared pricing information. Developers found that post, started to write co
Today is a big day for OpenTofu! After four months of work, we're releasing the first stable release of OpenTofu, a community-driven open source fork of Terraform. OpenTofu, a Linux Foundation project, is now production-ready. It’s a drop-in replacement for Terraform, and you can easily migrate to it by following our migration guide. Roni Frantchi wrote a great article prior to the holidays, descr
MySQL Shell's dump loading utility util.loadDump(), introduced in MySQL Shell 8.0.21, supports the import into a HeatWave Service DB System or a MySQL Server instance of schemas or tables dumped using MySQL Shell's Section 11.5, “Instance Dump Utility, Schema Dump Utility, and Table Dump Utility”. The dump loading utility provides data streaming from remote storage, parallel loading of tables or t
「LINEマンガ」サービスを提供しているLINE Digital Frontier株式会社のエンジニア採用説明会で、マンガサービス開発室室長の山本一成氏がLINEマンガの開発全体について、小澤正幸氏がサーバーサイドエンジニアとしてのお仕事について紹介しました。 DL数2,700万以上を誇る「LINEマンガ」 山本一成氏（以下、山本）：LINEマンガの開発全体を見ている山本と申します。よろしくお願いいたします。私からは、主にこの5つについてお話したいと思います。 まずはLINEマンガについて、簡単に紹介いたします。LINEマンガ自体はもともとはLINEのファミリーサービスで、2013年4月にサービスを開始しました。今はLINE Digital Frontierという会社に分社化しまして、独自の会社としてサービスを運営しています。 サービス規模については、こちらに記載したとおり、2020年4月
PostgreSQL isn’t just a simple relational database; it’s a data management framework with the potential to engulf the entire database realm. The trend of “Using Postgres for Everything” is no longer limited to a few elite teams but is becoming a mainstream best practice. OLAP’s New Challenger In a 2016 database meetup, I argued that a significant gap in the PostgreSQL ecosystem was the lack of a s
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog この記事は UIT 新春 Tech blog 4 日目の記事です。 こんにちは。LINE フロントエンド開発センターの前川です。主にフロントエンド開発センターで働く方々のDX改善や、社内サービスの運用を行なっています。 私の所属しているチームは、フロントエンドと名前はついているものの、実際はフロントエンドとそれ以外の業務の割合が2:8程度という珍しいチームです。そのため、技術記事というカテゴリからはやや外れてしまいますが、その業務内容をご紹介したいと思います。 LINEを支えるプラットフォーム 本題に入る前に、まずはLINEのプロダクトがどのようなプラットフォームの上で動作しているか説明します。 LINEでは、Verdaという
Awesome AWS Workshops¶ (Unofficial) Curated list of awesome workshops found around in the internet. As we all have been there, finding that workshop that you have just attended shouldn't be hard. The idea is to provide an easy central repository, in a collaborative way. Contributing¶ Your contributions are always welcome! Please take a look at the contribution guidelines first. We will keep pull r
The inside story on Mountpoint for Amazon S3, a high-performance open source file client | Amazon Web Services
AWS Storage Blog The inside story on Mountpoint for Amazon S3, a high-performance open source file client UPDATE (8/9/2023): Mountpoint for Amazon S3 is now generally available. For details, please read the What’s New post. Amazon S3 is the best place to build data lakes because of its durability, availability, scalability, and security. Hundreds of thousands of data lakes are built on S3, storing
Preview – AWS Backup Adds Support for Amazon S3 | Amazon Web Services
AWS News Blog Preview – AWS Backup Adds Support for Amazon S3 Starting today, you can preview AWS Backup for Amazon Simple Storage Service (Amazon S3). AWS Backup is a fully managed, policy-based service that lets you to centralize and automate the backup and restore of your applications spanning across 12 AWS services: Amazon Elastic Compute Cloud (Amazon EC2) instances, Amazon Elastic Block Stor
Introducing Amazon S3 Storage Lens – Organization-wide Visibility Into Object Storage | Amazon Web Services
AWS News Blog Introducing Amazon S3 Storage Lens – Organization-wide Visibility Into Object Storage When starting out in the cloud, a customer’s storage requirements might consist of a handful of S3 buckets, but as they grow, migrate more applications and realize the power of the cloud, things can become more complicated. A customer may have tens or even hundreds of accounts and have multiple S3 b
Try the Erasure Code Calculator to configure your usable capacity Try Now MinIO is the creator of MinIO Object Storage, an open source object storage platform. We strongly believe in keeping our software open source - the best quality software is made with community collaboration, so people are free to innovate and improve. Open source licenses are essential to ensuring people know where their sof
This post is also available in: English (英語) 概要 ここ数カ月、ランサムウェアやRaaS（Ransomware-as-a-Service）による攻撃がサイバーセキュリティ業界の話題の中心となっていますが、犯罪者やハッカーは、金銭的な利益を得るために企業やビジネス、個人の電子メールも侵害し続けています。これらの詐欺、つまりビジネスメール詐欺（BEC）と個人用のメールアカウント侵害（EAC）は、日々ユーザーに報告されるサイバー脅威の中でもとくに広くみられるもので、対応コストも非常に高いものになっています。米国連邦捜査局（FBI）は最新の年次レポートで「BECおよびEACは、2020年に米国国内において少なくとも18億6,000万ドルの損失要因となっており、これは2019年に報告された損失との比較で5%の増加である」と報告しています。米国で報告された2
SOSP21 で best paper 賞を受賞した S3 の論文 "Using Lightweight Formal Methods to Validate a Key-Value Storage Node in Amazon S3" を読んでみる。 Abstract This paper reports our experience applying lightweight formal methods to validate the correctness of ShardStore, a new key-value storage node implementation for the Amazon S3 cloud object storage service. By “lightweight formal methods" we mean a pragmatic approac
Parquet and Postgres in the Data Lake | Crunchy Data Blog
Static Data is Different A couple weeks ago, I came across a blog from Retool on their experience migrating a 4TB database. They put in place some good procedures and managed a successful migration, but the whole experience was complicated by the size of the database. The size of the database was the result of a couple of very large "logging" tables: an edit log and an audit log. The thing about l
LINEユーザーとビジネスの価値をつなぐためのSREとは、いったいどんなことをするのか。LINEの7つの領域から9名が登壇し、業務内容や体制、開発における課題、働く個々人のやりがいなどについて話します。加藤俊弥氏は、LINEのコンテンツプラットフォームのSREについて紹介しました。 Redisのヘビーユーザー 加藤俊弥氏：加藤から「コンテンツプラットフォームのSRE」についてご紹介したいと思います。 まず私の紹介から失礼します。2014年に株式会社ドワンゴに入社しまして、niconicoのバックエンドのエンジニアをやっていました。 アプリケーションのエンジニアとして、ScalaやJavaなどを書いて、その後Web API GatewayのチームのリードやOAuthチームのリードを担当し、Redisのヘビーユーザーでもあったので、RedisのDBAも兼任していました。。 Redisのほうから
経緯 CKSの勉強を始めるにあたってTwitter経由でRedHatのWalid Shaariさんのリポジトリを知りました。 そのリポジトリでなぜか kind によるkubernetesのローカル開発環境に関して、わざとCNIを抜いた状態で構築し、その状態について説明する動画が上げられていました。 なんとなく気になって全部見てしまったのだけれど、そのままだと、へーそうなんだで終わってしまう話なので自分なりにまとめた内容と合わせてここに残します。 興味とともにあっちこっちいきます。 kindとは kind(Kubernetes IN Docker)とは、Dockerコンテナをノードとして使用して、ローカルのKubernetesクラスターを実行するツールです。 開発環境として利用したり、feature gateを有効にして、CloudベンダーのManagedKubernetesには降りてない最
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 現在、ヤフーではLINEと協働して、最新ハードウェアを有効活用する独自のMySQLストレージエンジンの研究開発を行っています。まずは共同研究開発の動機となる「Unleash the Power of Data：データの力を解放する」のコンセプトについて説明します。 データが人々の活動を支えると同時に、人々の活動も有益なデータを生み出します。人々の知る、買う、つながる、楽しむといった活動はデータによって支えられています。 例えば、インターネットで物を買う場合、商品情報はデータベースにデータとして保存されます。インターネットで音楽を楽しむ場合に、音楽のデータもデータベースに保存されます。ヤフーとLINEでも、インターネットにおける人々
This post is also available in 简体中文, 日本語, Français, Deutsch, Español, Polski and Pусский. R2 gives developers object storage, without the egress fees. Before R2, cloud providers taught us to expect a data transfer tax every time we actually used the data we stored with them. Who stores data with the goal of never reading it? No one. Yet, every time you read data, the egress tax is applied. R2 give
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon設計のARMプロセッサ「Graviton 2」の性能はIntel製CPUにどれほど迫っているのか？
最短で理解して運用するGrafana Loki - Enjoy Architecting
Cloudflare Workersでメンテナンスモードを実装する | DevelopersIO
Buf
High-Performance, Low-Cost Metrics Observability System
Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
MLOps on Kubernetes with portable Profiles
Building D1: a Global Database
AaaSからZaaSまで「as a Service」を探したら色々なサービスが見えた話 - Qiita
FocalFossa/ReleaseNotes - Ubuntu Wiki
Kubeflow 1.0: Cloud Native ML for Everyone
A New Hope for Object Storage: R2 enters open beta
OpenTofu is going GA | OpenTofu
MySQL :: MySQL Shell 8.0 :: 11.6 Dump Loading Utility
PerlからJavaへ DL数3000万以上を誇る「LINEマンガ」の裏側
Postgres is eating the database world
フロントエンド開発の業務を支えるちょっと珍しいチームのご紹介
Awesome AWS Workshops - Build On!
Nutanix Objects Violates MinIO’s Open Source License
マルウェアを使わない大規模クレデンシャルハーベスティング（認証情報詐取）
SOSP21 で best paper 賞を受賞した S3 の論文を読んでみる - ablog
Reliabilityを高めるために最短距離を走る LINEのコンテンツプラットフォームSREの仕事
kind(Kubernetes IN Docker)とCNIに関する備忘録
最新ハードウェアを活用するMySQLストレージエンジンの共同研究
R2 is now Generally Available