How Instagram scaled to 14 million users with only 3 engineers
Instagram scaled from 0 to 14 million users in just over a year, from October 2010 to December 2011. They did this with only 3 engineers. They did this by following 3 key principles and having a reliable tech stack. Instagram’s Guiding PrinciplesKeep things very simple. Don’t re-invent the wheel. Use proven, solid technologies when possible. Before I continue… I want to introduce SWE Quiz. It’s a
Netflix Japan - Watch TV Shows Online, Watch Movies Online
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
I’ve spent quite a lot of time messing with x86_64 page tables, understanding address translation is not easy and when I started learning about it I felt like a lot of the material out there on how it works was hard for me to wrap my head around. So in this blog post I am going to attempt to provide a kind of “what I wish I had when learning about paging”. Quick note, I’ll only be discussing pagin
How to use container queries now Stay organized with collections Save and categorize content based on your preferences. Recently, Chris Coyier wrote a blog post posing the question: Now that container queries are supported in all browser engines, why aren't more developers using them? Chris's post lists a number of potential reasons (for example, lack of awareness, old habits die hard), but there'
GoogleのAI（人工知能）部門であるGoogle DeepMindは2024年8月2日（米国時間、以下同）、生成AI技術が現在、どのように悪用されているかを分析した論文を発表した。 同論文は、GoogleのJigsaw部門およびGoogle.orgと共同で作成され、査読前論文を投稿するサーバ「arXiv」で2024年6月21日に公開された。Jigsawは、開かれた社会に対する脅威を探求し、拡張可能な解決策を生み出す技術を開発している。Google.orgは、Googleの慈善事業部門。同論文は、責任あるAIの開発、使用を推進するGoogleの取り組みの一環として執筆された。 論文をまとめた研究チームは、既存の学術文献を踏まえ、2023年1月から2024年3月までにメディアで公開された、生成AI技術の悪用事例に関する約200件の報道記事を定性的に分析した。これにより、生成AIを悪用する一
この記事はエムスリーAdvent Calendar 2023の18日目の記事です。 AI・機械学習チームの高田です。 AI・機械学習チームではデータパイプラインを構築する機会が多く、パイプラインの中でpandasを活用しています。 今回はpandasのSeries型を扱う関数の単体テストにMagicMockを使った際にハマったポイントを紹介したいと思います。 Series.mapの活用例 単体テスト 何が起きているのか 修正結果 おわりに We are hiring!! Series.mapの活用例 データの前処理工程ではDataFrameやSeriesの値を利用して別のSeriesを作成することが多くあります。 例えばアンケートの自由記述回答のうち、一定の文字数以上のデータのみ扱うために、テキストデータのSeriesから文字列長のSeriesを作成する場合が考えられます。 Seriesか
Suicide Mission
A Boeing Dreamlifter sits on the tarmac at their campus in North Charleston, South Carolina, May 30, 2023. John Barnett had one of those bosses who seemed to spend most of his waking hours scheming to inflict humiliation upon him. He mocked him in weekly meetings whenever he dared contribute a thought, assigned a fellow manager to spy on him and spread rumors that he did not play nicely with other
［GDC 2024］Epic Gamesのキーマンに聞く「Unreal Engine 5.4」の新機能の見どころはこれだ！
［GDC 2024］Epic Gamesのキーマンに聞く「Unreal Engine 5.4」の新機能の見どころはこれだ！ ライター：西川善司 GDC 2024会期中の米国時間2024年3月20日に行われたEpic Gamesの開発者向けイベント「State of Unreal 2024」において，同社のゲームエンジン「Unreal Engine」の2024年最新版「Unreal Engine 5.4」（以下，UE 5.4）に実装される新しいグラフィックス機能についての説明が行われた（関連記事）。 本稿では，Epic GamesのCTO（最高技術責任者）であるKim Libreri氏への単独インタビューで得た情報と合わせて，これら新機能のポイントについて紹介したい。 Epic GamesのCTOを務めるKim Libreri氏（右，Chief Technology Officer，Epic
BPFAgent: eBPF for Monitoring at DoorDash - DoorDash Engineering Blog
Patrick RogersPatrick Rogers is a software engineer at DoorDash since early 2019. Initially a member of the merchant integrations and order platform teams, he now works on the Observability team with a focus on leveraging eBPF and distributed tracing data to improve understanding & reliability of DoorDash's distributed systems. Author's Linkedin As DoorDash experienced rapid growth over the last f
The teeth are not the only problem 2023-11-05 Table of contents (This is not) a performance review Pulling back the curtain Engine and architecture Attachment issues Renderdoc analysis DOTS instance data update Simulation Virtual texturing cache update Skybox generation Pre-pass The teeth controversy Pre-pass continued, featuring the high poly hall of shame Motion vectors Roads and decals Main pas
In this blog, I am going to explain the important concepts of Heap and use the ptmalloc in the Glibc 2.31 library as an example. The heap is a beautiful mess :) I really like the saying shown above. The word Heap we always use refers to the dynamically allocated segment in the virtual memory space of a process, but it actually stands for the implementation of the memory pool(the dynamic memory all
Opening windows in linux with sockets, bare hands and 200 lines of C | Hereket
Opening windows in linux with sockets, bare hands and 200 lines of C Intro In this post I want to create a single file C file program to open a windows inside Linux without using xlib or any similar libraries. The idea is to explore X11 protocol and see how it is used to interact with X server to create windows. Before I had strong association that X11 was some magic thing to manipulate windows an
Docker Desktop 4.23: Updates to Docker Init, New Configuration Integrity Check, Quick Search Improvements, Performance Enhancements, and More | Docker
Docker Desktop 4.23: Updates to Docker Init, New Configuration Integrity Check, Quick Search Improvements, Performance Enhancements, and More Docker Desktop 4.23 is now available and includes numerous enhancements, including ASP.NET Core support in Docker Init, Configuration Integrity Check to alert on any configuration changes that require attention, and cross-domain identity management. This rel
Introducing Catalyst: A modern UI kit for React - Tailwind CSS
Today’s the day — we just published the first development preview of Catalyst, our first fully-componentized, batteries-included application UI kit for React, just in time for your holiday hacking sessions. Today’s the day — we just published the first development preview of Catalyst, just in time for your holiday hacking sessions. Catalyst is our first fully-componentized, batteries-included appl
Overture Maps Foundation Releases General Availability of its Open Maps Datasets – Overture Maps Foundation
New data on 200 million+ addresses added in alpha release SAN FRANCISCO, Calif. —July, 24 2024 — The Overture Maps Foundation, a collaborative effort to enable current and next-generation interoperable open map services and products, today announced the General Availability (GA) of several of its global open maps datasets, paving the way for new and expanded use cases for a wide range of commercia
Happy New Year: GPT in 500 lines of SQL - EXPLAIN EXTENDED
Translations: Russian This year, the talk of the town was AI and how it can do everything for you. I like it when someone or something does everything for me. To this end, I decided to ask ChatGPT to write my New Year's post: "Hey ChatGPT. Can you implement a large language model in SQL?" "No, SQL is not suitable for implementing large language models. SQL is a language for managing and querying d
Have you heard about CRDTs and wondered what they are? Maybe you've looked into them a bit, but ran into a wall of academic papers and math jargon? That was me before I started my Recurse Center batch. But I've spent the past month or so doing research and writing code, and it turns out that you can build a lot with just a few simple things! In this series, we'll learn what a CRDT is. Then we'll w
はじめに こんにちは。計測システム部、研究開発ブロックの皆川です。普段はコンピュータービジョンに関わる研究開発を担当しています。 2024年の3月に3次元コンピュータービジョンの国際学会である3DV 2024がスイスのダボスで開催され、幸運にも参加できたので、発表の内容や参加した感想をご紹介いたします。 目次 はじめに 目次 3DV 2024とは なぜ参加したのか 開催地のダボスと、会場のダボスコングレスセンターについて 学会のスケジュール 印象に残った発表 全体的な感想 3D Computer Vision for Dynamic Scene Understanding by Daniel Cremers ドライバーアシスト ドローンを使った研究 バンドル調整 初期のSLAM 直接的なSLAM ニューラルネットワークとSLAM さいごに おまけ 3DV 2024とは 先述の通り、3DVは
In Chrome M117 we introduced a new optimizing compiler: Maglev. Maglev sits between our existing Sparkplug and TurboFan compilers, and fills the role of a fast optimizing compiler that generates good enough code, fast enough. Background # Until 2021 V8 had two main execution tiers: Ignition, the interpreter; and TurboFan, V8’s optimizing compiler focused on peak performance. All JavaScript code is
An Introduction to Asynchronous Programming in Rust and a High-level Overview of Tokio's Architecture
An Introduction to Asynchronous Programming in Rust and a High-level Overview of Tokio's Architecture Asynchronous programming allows the development of services that can handle millions of requests without saturating memory and CPU utilization. Support for asynchrony is usually baked into the programming language; we take a look at async support in Rust, a type-safe and memory-safe systems progra
Building a serverless document chat with AWS Lambda and Amazon Bedrock | Amazon Web Services
AWS Compute Blog Building a serverless document chat with AWS Lambda and Amazon Bedrock This post is written by Pascal Vogel, Solutions Architect, and Martin Sakowski, Senior Solutions Architect. Large language models (LLMs) are proving to be highly effective at solving general-purpose tasks such as text generation, analysis and summarization, translation, and much more. Because they are trained o
GraphRAGの簡易検証 ~Azure Document Intelligence, Neo4jを用いて~ - Qiita
GraphRAGの簡易検証 ~Azure Document Intelligence, Neo4jを用いて~rag事前学習生成AILLMDocumentIntelligence はじめに 本記事の背景 Retrieval-Augmented Generation（RAG）は、クエリに基づいた情報検索を行い、その結果を基に回答を生成する技術です。これは大規模言語モデル（LLM）の活用法の一つであり、新しい知識や企業文書などに対しても効果的に利用できます。しかし、RAGにはいくつかの課題があり、特に情報の関連付けや意味的理解の不足が精度の低下につながることがあります。 通常のRAGは、主にベクトル類似性を利用して情報を検索します。これは、情報断片の表面的な類似性を評価するものであり、深く複雑な関連性を捉えることが難しいです。また、ベクトル化された情報は独立したエンティティとして扱われるため、文
クラスター株式会社でSoftware Engineerをしている thara です。 私たちは今年、clusterのシステム分割という重要なプロジェクトを完了しました。この取り組みは、私たちのメタバースプラットフォームの進化と持続可能な成長にとって欠かせないものでした。 本記事では、システム分割の技術的なアプローチとその過程で直面した課題とプロジェクトの結果について説明します。 背景 解決策 システム分離プロジェクトにおける課題 課題を解消するための実施手法 Gatewayによる隔離 dual writeによる段階的移行/dual readによる差分検証 状態スナップショットによる差分検証 諦めの局所化 分離プロジェクトの結果と反省 今後の展望 背景 clusterがリリースされて6年が経過しました。 prtimes.jp 当初はバーチャルイベントプラットフォームとして展開されていましたが
TOKYO Night & Light東京の夜を彩る新たな観光資源を作るため、東京のランドマークの一つである都庁第一本庁舎をキャンバスに、光と音で多彩なアートを表現するプロジェクションマッピングを通年で上映しています。 上映初日には、ライブパフォーマンスを交えたオープニングイベントを開催。 プロジェクションマッピングの上映時間中は「TOKYO Night & Light」の詳細ページにて、現地で流れているものと同じ音楽をお聞きいただけます。 ぜひ、都庁舎が見える様々な場所からTOKYO Night & Lightをお楽しみください。 ※上映前にホームページを閲覧している場合は、上映時間になりましたら、ホームページのリロードをお願いいたします。リロードを行わない場合はご視聴できない可能性がございます。 ※コンテンツごとで音楽が変わりますので、その都度リロードをお願いいたします。 ※『残響
Why Having a Tech Lead or Manager as Scrum Master is a Bad Idea
Have you ever had friends or family ask, “I know you’re called a scrum master, but what does that mean? What do you actually do?” Go ahead. Tell them that the role of ScrumMaster is as a servant-leader, coach, and facilitator, navigating the dynamics of the team to ensure Scrum practices are followed and value is delivered effectively. Then watch their eyes glaze over. Being a ScrumMaster is an i
Last year, Kristina Shen and I expressed our anticipation for a “Wave 2” of B2B AI applications focused on synthesizing information, which we referred to as “SynthAI.” If the first wave of generative AI applications was about creating new content — like emails, lists, or marketing copy — this second wave focuses on condensing information in a manner that saves users time. The crux of this is to ow
Regular, Recursive, Restricted Jun 4, 2024 A post/question about formal grammars, wherein I search for a good formalism for describing infix expressions. Problem statement: it’s hard to describe arithmetic expressions in a way that: declaratively captures the overall shape of expression, and has a clear precedence semantics Let’s start with the following grammar for arithmetic expressions: Expr =
Balancing Old Tricks with New Feats: AI-Powered Conversion From Enzyme to React Testing Library at Slack - Slack Engineering
Balancing Old Tricks with New Feats: AI-Powered Conversion From Enzyme to React Testing Library at Slack In the world of frontend development, one thing remains certain: change is the only constant. New frameworks emerge, and libraries can become obsolete without warning. Keeping up with the ever-changing ecosystem involves handling code conversions, both big and small. One significant shift for u
AWS CDKのAPIGateway/Lambdaスタック分割の落とし穴と解消法 | DevelopersIO
この記事では、cdkでスタック分割を利用してAPIGateway, Lambda の構成を作る際に起こる問題と解消法について紹介しています。 スタック分割構成を利用している方、検討している方の参考になる情報となっています。 はじめに 概要 この記事では、cdkでスタック分割を利用してAPIGateway, Lambda の構成を作る際に起こる問題と解消法について紹介しています。 理想的な形はスタックを分割せずに同一スタックで管理することですが、CloudFormationのリソース数上限(500個)やファイル上限(51,200バイト)などの制限により、スタック分割の構成を選択することがあります。 スタック分割の構成ではcdk deploy時に以下のような問題が起こります。 スタック分割を行うと新たにAPIのパスを追加した際に、自動デプロイされない問題 ステージ設定を変更した際に昔のデプロイ
Note The release of 2.0 is in progress and the current release overview and highlights are still in a draft state. However, the highlights should already list the most significant changes detailed in the full notes below, and those full notes should be complete (if not copy-edited well enough yet). NumPy 2.0.0 is the first major release since 2006. It is the result of X months of development since
SREチームの橋本です。SRE連載の11月号になります。 AWSの多くのリソースはIAMでアクセスを一元管理されていますが、Lambdaではユーザーが実行したり他のAWSサービスから実行されたりする都合上、様々なポリシーが絡んでいます。 特に「Lambdaを呼び出す許可」についてはID（アイデンティティ）ベースのポリシーとリソースベースのポリシーで内容が被るため、どちらで設定するか混乱しているケースも見られます。 本記事ではこうしたポリシー事情をterraformの例と共に整理し、権限設定のベストプラクティスも検討します。 そもそもIAMのポリシーについて ドキュメントによればAWSのポリシーは実に6種類ものタイプがありますが、「使用頻度の高いものから」とあるように最初のIDベースが非常に多くのサービスで共通して使われており、次いで2番目のリソースベースが一部サービスで必要になるでしょう。
Let’s Write a Tree-Sitter Major Mode Creating a standard programming major mode presents significant challenges, with the intricate tasks of establishing proper indentation and font highlighting being among the two hardest things to get right. It's painstaking work, and it'll quickly descend into a brawl between the font lock engine and your desire for correctness. Tree-sitter makes writing many m
Benefits for LWN subscribersThe primary benefit from subscribing to LWN is helping to keep us publishing, but, beyond that, subscribers get immediate access to all site content and access to a number of extra site features. Please sign up today! Linux graphics developers often speak of modern Linux graphics when they refer to a number of individual software components and how they interact with ea
LCEL は LangChain の chain を簡単に構築するための方法です。2023 年後半から開発が盛んに進んでおり、現在(2024 年1月)は LangChain のコードを記述するには、基本 LCEL を使って書く(以前の書き方もできますが)ことが推奨されています。LCEL のメリットについてはオフィシャルドキュメントの LCELを参考すると良いでしょう。 しかしながら、LCEL を書き始めると、オフィシャルドキュメント通りに書けば動くけど、ちょっとでもアレンジして書こうとするうまく動かなくなったりします。これは一重に LCEL の挙動を理解していなからなのですが、オフィシャルドキュメントやチュートリアルでは、LLM+RAG のコードなど、LCEL 使うとこんなにシンプルに書けるんだ、というコードは多くのっているのですが、LCEL の挙動についてはあまりのっておらず、のっていて
When helping teams and companies shift towards the product model, one of the key concepts introduced is practicing product discovery. Prior to this shift, a typical scenario starts with a stakeholder—someone up top—sharing detailed requirements on what to build. This approach leaves the so-called “feature team” with very limited opportunity to influence the solution. Now, contrary to the old way o
はじめに 株式会社Hajimariが展開するプロパートナーズサービス（フリーランスと企業様のマッチング支援事業を展開しています）を利用していただいている、 稼働者・企業担当者の双方に提供している自社開発の稼働管理ツール【Haijmari Works】のプロダクトオーナーをやっています。 野澤です。 今回は実例マッピングをチームで何回かやってみて、さまざまなことを学びながら、やっと最近チーム内で標準化するところまでやったのでその過程や学んだこと、ステークホルダーの方々の声、実際にどういうルールで実例マッピングをやっていくことにしたのかの紹介ができたらいいなと思っています。 実例マッピングを知らない方のために 参考記事 https://speakerdeck.com/nihonbuson/example-mapping https://speakerdeck.com/nametake/exam
Personalize your generative AI applications with Amazon SageMaker Feature Store | Amazon Web Services
AWS Machine Learning Blog Personalize your generative AI applications with Amazon SageMaker Feature Store Large language models (LLMs) are revolutionizing fields like search engines, natural language processing (NLP), healthcare, robotics, and code generation. The applications also extend into retail, where they can enhance customer experiences through dynamic chatbots and AI assistants, and into
静音窒息PCでCore i7 13700Kを空冷で冷やしきるためのお手軽BIOS設定はこれだッ！｜ゆう ＠Flower Photographer
13世代インテルCPUは爆熱！？OSインストール編を先に書こうと思ったんですが、初期設定を終えて不具合がないか確認するために負荷テストを行ってびっくり。Cinebenchを使ってマルチのテストを始めたところ、瞬間でCPU温度が100度突破！ 急いで中断しました（＾＾； 調べてみると、最近のCPUはスペック競争に明け暮れているようで、この電気代の高いご時世にもかかわらず「とにかく消費電力が高い」＝「発熱が凄い」という恐ろしい状況になっているようです。 さらに私が使っているPCケースは静音重視の設計です。つまり、熱が内部にこもりやすい！ 余計に最新のCPUとは相性が悪いようで…もっといえば、使っているCPUクーラーが空冷というのもあります。最新のハイエンドCPUはもはや360mm以上のハイエンド水冷クーラーでないと完璧には冷やしきれないようです。 でも、安心ください！ 本日の記事を読み、実践い
Localizing and Editing Knowledge In Text-to-Image Generative Models (ICLR2024) 今回はtext-to-imageの概念消去に戻ってDiffQuickFixという手法をみます. 論文は60ページ以上あり, 非常に多くの結果が提供されていますが主にmain paperの部分を見ていきます. 図や表はことわりのない限り論文からの引用です. 書籍情報 Samyadeep Basu and Nanxuan Zhao and Vlad I Morariu and Soheil Feizi and Varun Manjunatha. Localizing and Editing Knowledge In Text-to-Image Generative Models. The Twelfth International Con
Research A generalist AI agent for 3D virtual environments Published 13 March 2024 Authors By the SIMA Team We present new research on a Scalable Instructable Multiworld Agent (SIMA) that can follow natural-language instructions to carry out tasks in a variety of video game settings Video games are a key proving ground for artificial intelligence (AI) systems. Like the real world, games are rich l
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Understanding x86_64 Paging
How to use container queries now | Blog | web.dev
生成AIは何に悪用されている？ Google DeepMindなどGoogleの3部門が論文を発表
pandasのSeriesとMagicMockの併用でハマった件 - エムスリーテックブログ
Why Cities: Skylines 2 performs poorly
Understanding the Heap - a beautiful mess
An Interactive Intro to CRDTs | jakelazaroff.com
【イベントレポート】3DV 2024に参加しました - ZOZO TECH BLOG
Maglev - V8’s Fastest Optimizing JIT · V8
無停止で機能開発を継続した、clusterのシステム分割事例 - Cluster Tech Blog
Tokyo Projection Mapping Project
Owning the Workflow in B2B AI Apps | Andreessen Horowitz
Regular, Recursive, Restricted
NumPy 2.0.0 Release Notes — NumPy v2.1.dev0 Manual
AWS Lambda のアクセス許可を紐解く - KAYAC engineers' blog
Let's Write a Tree-Sitter Major Mode
The Linux graphics stack in a nutshell, part 1 [LWN.net]
LangChain の LangChain Expression Language (LCEL) を理解する - A Day in the Life
The Discovery Illness - Crisp's Blog
実例マッピングを実施し、チームでやり方を標準化するまでの過程の話 - Qiita
Stable Diffusionからの概念消去⑤：DiffQuickFix (論文)
A generalist AI agent for 3D virtual environments