Originally we implemented a feature to persist an event-stream into DynamoDB to allow customers to retrieve them. This proved effective, serving as a strong use case for a key/value storage, yet the drawback was its high cost. Moving to provisioned billing-mode reduced cost by ~50%, but that was not going to be sustainable as we scaled to more customers. We also kept multiplying the cost each time
先月配信したブログ記事、インドネシア語を学ぶメリットの中で、インドネシア語とマダガスカルの国語であるマダガスカル語（以下、マラガシ）が同じオーストロネシア語族に属するため、似た特徴をもつと記載しました。 読者の中には、「インドネシアの言語とアフリカのマダガスカルの言語が似ているってどういうこと？」と疑問を持たれた方がいらっしゃるかもしれませんね。 青色がカリマンタン島（ボルネオ島）、赤色がマダガスカル島 この点に関して実は2005年に、イギリスの研究チームがマダガスカル人のミトコンドリアDNAを分析したところ、彼らの先祖が現在のカリマンタン島（ボルネオ島）から来たことが判明しています。 カリマンタン島からマダガスカル島への移住時期には諸説ありますが、およそ1000年から2000年前とされています。 マダガスカル島はアフリカ大陸の東側に位置していますが、アフリカ大陸の東部に住んでいた民族より
【インターンレポート】LINEの大規模ETL batch pipelineにおけるdbtの導入によるデータ分析での課題解決の検証
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、早稲田大学政治経済学経済学科 学部3年の滝田愛澄と申します。2023年8月7日から6週間、LINE株式会社のIU Data Connectチームにて、就業型インターンシップに参加させていただきました。本インターンでは、LINEの大規模ETL batch pipelineであるVinitusが現在抱えている課題を解決することを目的に、data build tool (dbt) の調査とdbtを用いた新たなworkflowのプロトタイプの設計・実装に取り組みました。このレポートでは、現在のVinitusが抱えている課題を確認し、dbtの導入によってどのようにそれらの課題を解決できるか、具体的にこのプロトタイプでは何をど
Post Mortem on Cloudflare Control Plane and Analytics Outage
Post Mortem on Cloudflare Control Plane and Analytics Outage Loading... This post is also available in 繁體中文, Français, Deutsch, Español, Português, 한국어, 简体中文 and 日本語. Beginning on Thursday, November 2, 2023, at 11:43 UTC Cloudflare's control plane and analytics services experienced an outage. The control plane of Cloudflare consists primarily of the customer-facing interface for all of our service
Amazon Web Services ブログ 組織内での AWS CDK 利用拡大のためのベストプラクティス 企業はクラウド移行の加速を常に追求しています。Infrastrcture as Code (IaC) は、クラウドリソースを効率的に自動化および管理するうえで不可欠です。AWS Cloud Development Kit(AWS CDK) を使用すると、お気に入りのプログラミング言語でクラウドインフラストラクチャをコードとして定義し、AWS CloudFormation を使用してデプロイできます。この記事では、組織内での CDK の採用を加速するための戦略とベストプラクティスについて説明します。この記事での議論は、組織がパイロットプロジェクトを成功裏に完了した後に始まります。この記事を読むことで、パイロットプロジェクトから得た教訓をプラットフォームエンジニアリングを通じて組織全
2024年5月、Microsoft の開発者向けイベント「Microsoft Build 2024」が開催されました。Windows の最新 AI 機能 (Copilot+PC) が開催前日に発表されるなど、Copilot を中心として Microsoft が AI に対する投資を積極的に行っていることをアピールする場になっていました。 数多くあったアップデート・アナウンスのうち、本稿ではインフラ エンジニア[1]の観点から重要だと思われるものをピックアップして、簡単に紹介していきます。 仮想マシン: 第一世代 Cobalt 100 (Preview) Azure Cobalt 100 プロセッサを使用した第一世代の Azure 仮想マシン シリーズが提供開始されました (Dpsv6 / Dpdsv6 / Dplsv6 / Dpldsv6)。 Cobalt 100 は、Microsoft
Axon Framework で簡単にEventSourcing+CQRSなアプリケーションを作る - エムスリーテックブログ
この記事はエムスリーAdvent Calendar 2023の13日目の記事です。 こんにちは、製薬企業向けプラットフォームチームエンジニアの桑原です。 前回のJJUG CCC の登壇についてのブログで Axon Framework について軽く触れました。今回はAxon Frameworkがどのようなもので、どういった使い方をするかを紹介したいと思います。 背景：CommandとQueryに最適なモデルが異なる CommandとEvent追記型との相性は良かった QueryがEvent追記型との相性は良くなかった 苦肉の解決策 Axon Framework ざっくりアーキテクチャ Command EventからReadModelへのマッピング Query まとめ 参考記事 We are Hiring! 背景：CommandとQueryに最適なモデルが異なる 上述のリンクで紹介したメッセー
とも ちゃ日記(Tomo cha) - 元大学生のＯＬ日記-
わたしの日記は日々の出来事の鬱憤晴らしの毒だし日記がメインです。 相当病んでいます。くだを巻いています。許容出来る方のみのアクセスをお願いします。 また、この日記へのリンクは原則自由にして頂いても結構ですが、 写真への直リンクを張るのはご遠慮下さい。内容に関しては、一切保証致しません。 カテゴリ一覧 Network, Internet, IPv6, DC, NTT, Comp, Linux, Debian, FreeBSD, Windows, Server, Security, IRC, 大学, Neta, spam, 食, 生活, 遊び, Drive, TV, 仕事, seirios氏がAmazonでポチって面白いデバイスを持ってきたので、軽く検証、面白い結果が得れたので私も合計で5台ほど調達することにした。 検証した機器は、 八丁 seekswan XikeStor SKS8300-8
Elly Loel Front-end development’s identity crisis 🔗 https://ellyloel.com/blog/front-end-development-s-identity-crisis/ Created on March 29, 2024 •Last modified on March 29, 2024 • Complete • BlogWorkingWeb design I’m not a “[full-stack] developer”, regardless of what my last job title says. I’m not even a front-end developer, thanks to the JavaScript–industrial complex. I’m a front-of-the-front-e
How Figma's Databases Team Lived to Tell the Scale | Figma Blog
Our nine month journey to horizontally shard Figma’s Postgres stack, and the key to unlocking (nearly) infinite scalability. Vertical partitioning was a relatively easy and very impactful scaling lever that bought us significant runway quickly. It was also a stepping stone on the path to horizontal sharding. Figma’s database stack has grown almost 100x since 2020. This is a good problem to have be
Apple シリコンの macOS で “Docker Desktop vs OrbStack” を検証してみた - PLAY DEVELOPERS BLOG
こんにちは。今年の4月に入社したプラットフォーム技術部の杉森です。データ分析基盤の構築を行っております。 弊社のとあるアプリケーションの開発環境として Docker を使用しているのですが、 Apple シリコンの macOS での開発環境の立ち上げに多くの時間がかかっており、その問題を改善できないか調査したのでご紹介します。 問題 原因 解決策 “Rosetta 2 の使用” Docker Desktop “Rosetta for Linux” OrbStack 試してみる Docker Desktop “Rosetta for Linux” OrbStack 結論 “Docker Desktop vs OrbStack” おわりに 問題 開発環境の立ち上げプロセスにおいて現在最も時間がかかっているのは webpack によるフロントエンドアプリケーションのビルドです。 Apple シリ
FlutterアプリにおけるUI Component Architecture #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。バクラク申請・経費精算 ネイティブアプリエンジニアのyoheiです。 最近はこたけ正義感の逆転裁判プレイ動画を見ながら法律の勉強してます。好きなラジオは真空ジェシカのラジオ父ちゃんです。M-1も応援してます！ この記事はLayerXテックアドカレ2023の26日目の記事です。前回は 赤羽さん が「Go言語のORMであるGORMをv1からv2へのマイグレーションした話」を書いてくれました。27日目の記事 id:itkq さんより「勤怠をいい感じにする社内Slackアプリ #LayerXテックアドカレ - LayerX エンジニアブログ」ポストされました。一緒にご覧いただけたらと！ バクラク申請・経費申請では現在のモバイルアプリをFlutterでのリプレースを進めています。そのうえでチームとしてUIコンポーネント(Widget)をどの用に作っていくか設計(UI Component
Google Open Source Peer Bonus Award受賞 | IIJ Engineers Blog
Linux Kernel Library (LKL) への貢献が認められ、Google Open Source Peer Bonus Award というものを受賞しました。 https://opensource.googleblog.com/2023/05/google-open-source-peer-bonus-program-announces-first-group-of-winners-2023.html この賞は特定のオープンソースへの貢献が認められたものへ、Google 社員の推薦により授与されるもので、2012年あたりより実施されているようです。LKL の開発者は現在 Google の社員なので、なかば内輪よりの推薦という意味では少し弱いものかとも思われますが、どんな形にせよ活動が誰かに役立っていたという事を確認するのはとてもうれしい事でした。 この機会に便乗して、僕個人と
TSKaigi2024の資料まとめ
はじめに 2024年5月11日に行われたTSKaigiの資料まとめです。 Track1 フロントエンドもバックエンドもインフラも… 全てをTypeScriptで統一したらこうなった！ TypeScript化の旅: Helpfeelが辿った試行錯誤と成功の道のり 新サービス Progate Path の演習で TypeScript を採用して見えた教材観点からの利点と課題 PMF達成の立役者！Full TypeScript Architecture の選定背景と構成 TypeScript 関数型バックエンド開発のリアル TypeScript の抽象構文木を用いた、数百を超える API の大規模リファクタリング戦略 Step by Stepで学ぶ、ADT(代数的データ型)、モナドからEffect-TSまで ハードウェアを動かすTypeScriptの世界 TypeScriptとGraphQLで実
Since its inception in "Attention Is All You Need", transformer architecture has led to revolutionary advancements in NLP. The attention layer within the transformer admits a sequence of input tokens $X$ and makes them interact through pairwise similarities computed as softmax$(XQK^\top X^\top)$, where $(K,Q)$ are the trainable key-query parameters. In this work, we establish a formal equivalence
はじめに Xの投稿にて、GroqのLLM Inferenceが超絶速いというのが流れてきます。 groq.com にアクセスすると、 Mixtral 8x7B-32K LIama 2 70B-4k が動きます。デフォルトは、Mixtral 8x7B-32K のようです。 とりあえず、質問してみました。 GroqのTSPがLLM推論で速い理由を2000文字程度で説明してください。 458.03 T/s 回答 Groq's Tensor Streaming Processor (TSP) is designed to accelerate machine learning workloads, including large language models (LLMs) like me, by providing a highly parallel and specialized archit
How Instagram scaled to 14 million users with only 3 engineers
Instagram scaled from 0 to 14 million users in just over a year, from October 2010 to December 2011. They did this with only 3 engineers. They did this by following 3 key principles and having a reliable tech stack. Instagram’s Guiding PrinciplesKeep things very simple. Don’t re-invent the wheel. Use proven, solid technologies when possible. Before I continue… I want to introduce SWE Quiz. It’s a
I previously wrote a bit about What Rails Components and why don't we have them are at a very high level. Rails Components are shareable, encapsulated, and interoperable pieces of functionality that can be dropped into your Rails application. They are essentially the equivalent of React Components, styled, functional, interactive pieces of frontend that you can just drop into your application and
This post is also available in 简体中文, 繁體中文, 日本語, 한국어, Español, Português, Français, Deutsch and Polski. On Thanksgiving Day, November 23, 2023, Cloudflare detected a threat actor on our self-hosted Atlassian server. Our security team immediately began an investigation, cut off the threat actor’s access, and on Sunday, November 26, we brought in CrowdStrike’s Forensic team to perform their own indep
UIがないサービスがめちゃくちゃ出てくるかもしれない 相野谷直樹氏（以下、相野谷）：こういう流れは以前の技術トレンドでもあったと思います。例えばマイクロサービス志向とか、Service Oriented Architectureみたいなところで細かくAPIを切って、でかい基幹システムがそれらをオーケストレーションして扱えるような世界観。そういうのが何回かあったと思うんですが、今回は本当にそうなるんじゃないかなと思っていて。そのあたりを中野さんに好奇心で質問してみたかったんですけど、どう思われます？ 中野仁氏（以下、中野）：そうですね。「SOAとかってあったね」って話だし、「microservices、あったね」って話だけど。これは先ほどのジェネレータとかと同じ話だと思っています。 ジェネレータも結局夢の技術で10年20年実用化されていないというか、一部のところでは使われてはいたけど、結局は
Direct VPC egress in Cloud Run sends traffic over a VPC easily | Google Cloud Blog
Announcing Direct VPC egress for Cloud Run: better performance and lower costs We’re launching Direct VPC egress for Cloud Run in Preview today. This feature enables you to send traffic to a VPC network, without setting up a Serverless VPC Access connector. Direct VPC egress is easier to set up, is faster, can handle more traffic and has lower costs. This is a very exciting update to Cloud Run. Be
ゼロからはじめるOpenShift Virtualization（1）OpenShiftのインストール - 赤帽エンジニアブログ
Red Hatでソリューションアーキテクトをしている田中司恩(@tnk4on)です。 この連載はvSphere環境上にOpenShift Container Platform（以下、OpenShift）およびOpenShift Virtualizationの環境構築を解説するシリーズです。 可能な限り最小構成での検証環境の構築を目指し、1台のESXi上にOpenShiftをインストールしてネスト仮想環境でOpenShift Virtualizationを実行する方法を解説します。 また環境の構築後はvSphere上の仮想マシンを移行ツール（Migration Toolkit for Virtualization）を使ってOpenShift Virtualization上へ移行することもできます。 初回の本記事ではOpenShiftのインストールについて解説します。 今後の連載予定は下記の通
Introducing a foundational multimodal model for speech translation
Today, we’re introducing SeamlessM4T, a foundational multilingual and multitask model that seamlessly translates and transcribes across speech and text. SeamlessM4T supports: Automatic speech recognition for nearly 100 languagesSpeech-to-text translation for nearly 100 input and output languagesSpeech-to-speech translation, supporting nearly 100 input languages and 35 (+ English) output languagesT
Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO
Amazon MemoryDBではトランザクションログサービスへの耐久性のオフロード、スナップショット用にephemeralクラスタを作成、形式手法(TLA+)で一貫性の検証などが活躍しています Amazon MemoryDB for RedisはAWSが2021年から提供するRedis互換でありながら高速なパフォーマンスと耐久性を兼ね備えたエンタープライズなインメモリデータベースです。このAmazon MemoryDBの仕組みについて説明した論文が、2024年6月にチリ・サンティアゴで開催される国際的なデータベース学会の「SIGMOD/PODS 2024」で採択されました。 The 2024 ACM SIGMOD/PODS Conference: Santiago, Chile - Welcome Amazon MemoryDB: A fast and durable memory-fi
初めまして。9月から10月にかけて、インターンとしてミラティブのバックエンド基盤に関わっていた、logicaと申します。 今回は、期間中に扱っていたある1つのタスクにフォーカスしながら、インターンを振り返りたいと思います。 割り当てられたタスク 背景 すぐに終わる想定だった 検証用環境で問題発生！ 管理画面へのログインができない タスクの続行 原因究明 403エラー CSRFトークン セッションの非永続性 対処 そもそもCSRFトークンは永続化するべきか セッション用Clientのみ、一定確率で値を返さなくする対応を止める 今回のタスクを振り返って 終わりに 割り当てられたタスク 比較的簡単な1つ目のタスクを終え会社の雰囲気にも慣れてきた頃、出された次のタスクは「開発環境のみ一定確率でmemcachedの値を返さないようにする」というものでした。 背景 Mirrativのバックエンドは設計
When a single-page application needs to fetch data from a remote source, it needs to do so while remaining responsive and providing feedback to the user during an often slow query. Five patterns help with this. Asynchronous State Handler wraps these queries with meta-queries for the state of the query. Parallel Data Fetching minimizes wait time. Fallback Markup specifies fallback displays in marku
Zenbook 14 OLEDでみるCore Ultra内蔵GPUのゲーミング性能。内蔵GPUのレイトレ性能はどのくらい？（西川善司のバビンチョなテクノコラム） | テクノエッジ TechnoEdge
テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。 Core Ultra搭載のノートPCのサンプル評価機が我が家にやってきた。 モデル名はASUS「Zenbook 14 OLED UX3405」。 西川Zen司という名前でありながら、ASUSのZenbookを実際に自宅で触るのは初めてのことである（Ry"Zen"の方は初代から愛用してはいたが）。 本機の搭載CPUは、Core Ultra 7 155Hで、ラインアップ上の中間グレードに位置するモデルとなる。 搭載CPUはCore iシリーズではなく、Intelが昨年末から投入を開始した新シリーズ「Core Ultra」を採用。本機は、いわゆるIntelが2024年以降に強力に推進する「AI PC」だ。 わざわざ「
さて、米国連邦政府のクラウド戦略その3である。その1とその2はこちらからどうぞ。今回は、米国の連邦政府という組織と法令という観点からクラウド戦略を見ていきたいと思う。これらはエンジニアからすると周辺的なことと思われるかもしれないが、実際にクラウドを活用していくには欠かすことのできない観点である。 それでは初めにまずは組織の観点から見ていこう。 クラウドシフトを支える組織エンジニアの直接雇用と内製文化連邦政府はよく知られているように多くのエンジニアを直接雇用しており、伝統的に内製による開発を行ってきた。連邦政府が雇用しているITエンジニアの人数は8万人弱という大所帯である（ソースはこちら）。デカければいいというものではないにしろ、純粋に物量で負けていることが分かる。 連邦政府が雇用するITエンジニアの数（軍が）すごくおっきいの・・・。 軍関係が上位に来るのは、予算の多さからも納得できる（国防
GitHub - arm-university/Introduction-to-Computer-Architecture-Education-Kit: Gain an understanding of the fundamental topics and concepts of computer architecture including the application of these with modern Arm processors
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Today, we reached over 1,000,000 users on Bluesky! We’re grateful to the early users and developers who have helped us reach this point. Thank you for joining us early on this journey and helping test all aspects of the network before the open public launch. We’re excited for many more people to join soon. Our current focus is on preparing to open up and getting the network to a state that can sup
Cloudflare Gen 12 Server: Bigger, Better, Cooler in a 2U1N form factor
Cloudflare Gen 12 Server: Bigger, Better, Cooler in a 2U1N form factor Loading... This post is also available in 简体中文, 繁體中文, 日本語, 한국어, Español, Français and Deutsch. Two years ago, Cloudflare undertook a significant upgrade to our compute server hardware as we deployed our cutting-edge 11th Generation server fleet, based on AMD EPYC Milan x86 processors. It's nearly time for another refresh to our
New: complete set of figures in PDF format available for download This book offers a comprehensive introduction to the central ideas that underpin deep learning. It is intended both for newcomers to machine learning and for those already experienced in the field. Covering key concepts relating to contemporary architectures and techniques, this essential book equips readers with a robust foundation
Today is a big day for OpenTofu! After four months of work, we're releasing the first stable release of OpenTofu, a community-driven open source fork of Terraform. OpenTofu, a Linux Foundation project, is now production-ready. It’s a drop-in replacement for Terraform, and you can easily migrate to it by following our migration guide. Roni Frantchi wrote a great article prior to the holidays, descr
State of CSS 2023 の結果公開など : Cybozu Frontend Weekly (2023-08-29号)
State of CSS 2023 の結果公開など : Cybozu Frontend Weekly (2023-08-29号) こんにちは！サイボウズ株式会社 フロントエンドエキスパートチームの @mugi_uno です。 はじめに サイボウズ社内では毎週火曜日に Frontend Weekly と題し「一週間の間にあったフロントエンドニュースを共有する会」を開催しています。 今回は、2023/08/29 の Frontend Weekly で取り上げた記事や話題を紹介します。 取り上げた記事・話題 <search> が Chrome118 で実装予定 検索や絞り込み要素に関するコンテナ要素である <search> が Chrome 118 で実装予定とのことです。Firefox や Safari にはすでに実装済みのため、メジャーブラウザの多くで利用可能になります。 Fresh 1.4
App UI | App UI | 1.0.6
Warning FOR INTERNAL UNITY USE ONLY. THIS FRAMEWORK IS NOT SUPPORTED AND IS USED AT YOUR OWN RISK. Introduction Welcome to App UI, a powerful and flexible framework for building beautiful, high-performance user interfaces in Unity. The App UI framework is designed to help you create great apps with ease, by providing a set of UI components and patterns that you can use to quickly build and customi
By now you've noticed nodejs.org's fresh new look! We've taken great care in approaching this design with a nod to the past and look to the future. The site has many converging use cases, thousands of pages, and is a daily resource to many. The whole story had some dead ends and detours. But in the end it was a collective effort; coming to life with the contributions of over three dozen contributo
In the early days of high-performance computing, the major tech companies of the day each invested heavily in developing their own closed source versions of Unix. It was hard to imagine at the time that any other approach could develop such advanced software. Eventually though, open source Linux gained popularity – initially because it allowed developers to modify its code however they wanted and
Introducing Copilot+ PCs - The Official Microsoft Blog
An on-demand recording of our May 20 event is available. Today, at a special event on our new Microsoft campus, we introduced the world to a new category of Windows PCs designed for AI, Copilot+ PCs. Copilot+ PCs are the fastest, most intelligent Windows PCs ever built. With powerful new silicon capable of an incredible 40+ TOPS (trillion operations per second), all–day battery life and access to
BPFAgent: eBPF for Monitoring at DoorDash - DoorDash Engineering Blog
Patrick RogersPatrick Rogers is a software engineer at DoorDash since early 2019. Initially a member of the merchant integrations and order platform teams, he now works on the Observability team with a focus on leveraging eBPF and distributed tracing data to improve understanding & reliability of DoorDash's distributed systems. Author's Linkedin As DoorDash experienced rapid growth over the last f
Introducing SafeTest: A Novel Approach to Front End Testing
by Moshe Kolodny In this post, we’re excited to introduce SafeTest, a revolutionary library that offers a fresh perspective on End-To-End (E2E) tests for web-based User Interface (UI) applications. The Challenges of Traditional UI TestingTraditionally, UI tests have been conducted through either unit testing or integration testing (also referred to as End-To-End (E2E) testing). However, each of th
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Moving from DynamoDB to tiered storage with MySQL+S3
マダガスカルとインドネシアのつながりについて - 語学で活きる
組織内での AWS CDK 利用拡大のためのベストプラクティス | Amazon Web Services
Microsoft Build 2024 - インフラ関連アップデートまとめ
Front-end development’s identity crisis
Transformers as Support Vector Machines
GroqのLLM Inferenceが超絶速い件に対する感想 - Vengineerの戯言
Ruby on Rails Components Necessity
Thanksgiving 2023 security incident
ChatGPTによって跳ね上がったデータの価値 “踏み台にされ続けた”データ基盤のこれから
インターン中、タスクに付随する予想外のエラーと戦った話 - Mirrativ Tech Blog
Data Fetching Patterns in Single-Page Applications
米国連邦政府におけるクラウド戦略 - クラウドシフトを支える組織と法令｜ミック
Reaching 1 Million Users - Bluesky
Deep Learning - Foundations and Concepts
OpenTofu is going GA | OpenTofu
Node.js — Diving into the Node.js Website Redesign
Open Source AI Is the Path Forward | Meta