Our previous post in this series “What is Distributed SQL?” highlights the common architectural principles as well as the business benefits of distributed SQL databases. In this post, we compare distributed SQL databases against NewSQL databases so that we can better understand their differences. Before we dive into NewSQL, it is important to understand why NoSQL databases like MongoDB and Apache
TechCrunch
ICONIQ Growth has raised $5.21 billion across two funds associated with the seventh growth fund family, according to SEC filings. However, the firm’s actual fundraise was $5.75 billion, accordin
AWS Lambda Under the Hood
Transcript Danilov: We'll talk about AWS Lambda, how it's built, how it works, and why it's so cool. My name is Mike Danilov. I'm a Senior Principal Engineer at AWS Serverless. A decade ago, I joined EC2 networking team, and it was a fantastic ride. Then, five years back, I heard about Lambda. I really liked the simplicity of the idea. We run your code in the cloud, no servers needed, so I joined
プログラミング言語C標準規格における改行文字(new-line character)と改行コードCR, LFとの関係性について。 まとめ： C標準規格ではプログラム内部で扱う「改行文字」と、外部ファイルにおける具体的なCR, LF等の「文字コード」を区別する。*1 *2 改行文字をファイル上でどう表現するかについて何ら規定しない。CR/LFを使わない方式も想定されている。 UNIX互換システムの場合、改行文字==改行コードLF(0x0A)となる。 Windows OSの場合、改行文字は2個の改行コードCRLF(0x0D 0x0A)で表現される。 上記のような改行コードによる行区切り表現だけでなく、メタ情報を利用した行区切り位置表現、長さプレフィックスと文字列データ表現、固定長レコードと特殊パディング文字表現（！）*3など、多種多様なテキストデータの表現方式を許容する。 仮想ターミナルなどの
GitHub - orioledb/orioledb: OrioleDB – building a modern cloud-native storage engine (... and solving some PostgreSQL wicked problems) 🇺🇦
(... and solving some PostgreSQL wicked problems) OrioleDB is a new storage engine for PostgreSQL, bringing a modern approach to database capacity, capabilities and performance to the world's most-loved database platform. OrioleDB consists of an extension, building on the innovative table access method framework and other standard Postgres extension interfaces. By extending and enhancing the curre
漁船の最大75％が位置を公開せず追跡を回避して「闇漁業」を行っている可能性があることがAIを用いた全世界規模の調査で判明
海洋における産業価値は2030年までに倍増すると予想されており、違法漁業や乱獲を防ぐための取り組みがますます重要視されています。この取り組みの一環として、各国の船舶がどこでどのように活動しているのかを明らかにした研究により、実に全体の75％もの船が位置を公開せずに航海していることが明らかになりました。 Satellite mapping reveals extensive industrial activity at sea | Nature https://www.nature.com/articles/s41586-023-06825-8 We used AI and satellite imagery to map ocean activities that take place out of sight, including fishing, shipping and energy
オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録
はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 下記の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke Imoto, Shinnosuke Takamichi, Ryosuke Yamanishi, Takahiro Fukumori and Yoichi Yamashita, "Onoma-to-wave: Environmental Sound Synthesis from Onomatopoeic Words", APSIPA Transactions on Signal and Information Processing: Vol. 11: No.
Highlights from Git 2.38
EngineeringOpen SourceHighlights from Git 2.38Another new release of Git is here! Take a look at some of our highlights on what's new in Git 2.38. The open source Git project just released Git 2.38, with features and bug fixes from over 92 contributors, 24 of them new. We last caught up with you on the latest in Git back when 2.37 was released. To celebrate this most recent release, here’s GitHub’
Modern Emacs Typescript Web (React) Config with lsp-mode, treesitter, tailwind, TSX & more - Ovi Stoica
Table of Contents Introduction Part 1: Treesitter for Typescript & TSX LSP Support Completion setup Linter setup LSP Setup Eslint (Optional) Tailwind LSP Server LSP Performance Emacs LSP Booster Structural editing Formatting buffers with Prettier Other resources Conclusion Introduction I've worked within the JS ecosystem for the past 8 years using editors like Webstorm and VSCode, I started using
Best practices for developing cloud applications with AWS CDK | Amazon Web Services
AWS DevOps Blog Best practices for developing cloud applications with AWS CDK April 20, 2022: Updates are available in the Best practices topic of the AWS CDK documentation. The documentation is the most up-to-date resource going forward. In this post, we discuss strategies for organizing the development of complex cloud applications with large teams, using the AWS Cloud Development Kit (AWS CDK)
RFC 9114: HTTP/3
Stream: Internet Engineering Task Force (IETF) RFC: 9114 Category: Standards Track Published: June 2022 ISSN: 2070-1721 Author: RFC 9114 HTTP/3 Abstract The QUIC transport protocol has several features that are desirable in a transport for HTTP, such as stream multiplexing, per-stream flow control, and low-latency connection establishment. This document describes a mapping of HTTP semantics over Q
米インテルは2019年7月、「CPUの1000倍速く、1万倍高効率」（同社）という脳型（neuromorphic）演算システム「Pohoiki Beach†（開発コード名）」を開発したと発表した。ロボットなどが移動しながら自らの位置を把握する技術「SLAM（Simultaneous Localization And Mapping）」や経路探索、スパースコーディング、義足などへの応用を想定しているという。 †Pohoiki Beach（ポホイキビーチ）＝ハワイ島の東端にある黒い砂の海岸。
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
米Googleの親会社であるAlphabetは、AIを使った創薬事業を手掛ける新会社「Isomorphic Labs」を設立すると発表。CEOは、タンパク質の立体構造解析AI「AlphaFold」などを開発した英DeepMindの創業者のデミス・ハサビス代表が兼務する。 米Googleの親会社である米Alphabetは11月4日（現地時間）、AIを使った創薬事業を手掛ける新会社「Isomorphic Labs」を設立すると発表した。CEOは、遺伝子情報からタンパク質の立体構造を解析するAI「AlphaFold」や、囲碁AI「AlphaGo」を開発したAlphabet傘下の英DeepMind創業者、デミス・ハサビス代表が兼務する。 デミス代表はブログで、「DeepMindは10年以上にわたり、AIの最先端を切り開いてきた。その技術や手法は、科学的発見など現実世界の問題に適用できるほど強力で洗
An introduction to WebAssembly for JavaScript Developers
If you transmit a number whereas an integer encoded on 64 bits is expected you will get an exception: let run = async () => { try { let bytecode = await fetch("add/add.wasm"); let wasm = await WebAssembly.instantiateStreaming(bytecode); console.log(wasm.instance.exports.addInt64(1,2)); } catch(e) { console.error(e); } }; > run().then(); TypeError: wasm function signature contains illegal type Call
ChatGPT Retrieval Pluginに任意のベクトル検索エンジンProviderを実装する - エムスリーテックブログ
Overview エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 エムスリーではChatGPTの可能性にいち早く注目して活用を検討している段階ですが、本格的なデータ投入にはまだ懸念もあり、セキュリティチームと検討を進めている段階です。 そんな中で個人または組織のドキュメントのセマンティック検索と取得を可能にするChatGPTプラグイン「ChatGPT Retrieval Plugin」が登場しました。 github.com 情報検索好きとしては黙っていられず、外部公開用のエムスリーAI・機械学習チームのメンバー紹介ドキュメントを使ってローカルで試してみました。 # 用意したドキュメント 中村弘武は東京都在住で、エムスリーという企業で働いでいます。 エムスリーの検索基盤を主に担当しています。また、書
#yapcjapan YAPC::Kyoto 2023に行ってきた・喋ってきた - その手の平は尻もつかめるさ
yapcjapan.org 2023年3月19日に開催されたYAPC::Kyoto 2023に参加してきました。もう2週間も前の話になるんですね......USに戻ってきてから色々あり、すっかりブログを書くのが遅くなってしまいました。 YAPC::Kyotoの様々な感想については「にゃんこ酒場.fm」で id:papix、id:karupanerura さんら運営の方々と喋ったPodcastが公開されているので是非お聴きくださいませ！ nyanco-sakaba-fm.hatenablog.com 面白かったトーク ジョブキューシステムFireworqのアーキテクチャ設計と運用時のベストプラクティス id:tarao さんの発表。Fireworqが発表されたあたりって、スケーラビリティが高くなおかつ複数の言語から良い感じで使えるジョブキューのプロダクトについて「何使えば良いんだろうねえ」っ
こんにちは、サービス開発課の丸山です。 本日はタイトルの通り、サービス開発課で開発している Cloud Automator の新機能の開発前の段階で行っている取り組みについてご紹介したいと思います。 とは言っても、うまくいっているベストプラクティスというほどのものではなく「今のところ実験も兼ねてこんな感じで回しています」という温度感のものです。 そのため、うまくいった取り組みや利点はもちろんのこと、課題に感じている部分も紹介していければなと思っております。 開発前に行っている取り組み 今回は次の3つの取り組みを紹介したいと思います。 Working Backwards ユーザーストーリーマッピング Example Mapping これらの取り組みは実装に着手する前に1~3の順番で行っています。 Working Backwards 背景 Working BackwardsとはAmazon社内
How Netflix Scales its API with GraphQL Federation (Part 2)
In our previous post and QConPlus talk, we discussed GraphQL Federation as a solution for distributing our GraphQL schema and implementation. In this post, we shift our attention to what is needed to run a federated GraphQL platform successfully — from our journey implementing it to lessons learned. Our Journey so FarOver the past year, we’ve implemented the core infrastructure pieces necessary fo
国立感染症研究所 2021年2月12日18:00時点 PDF 要約 ウイルスのヒトへの感染性・伝播のしやすさや、すでに感染した者・ワクチン接種者が獲得した免疫の効果に影響を与える可能性のある遺伝子変異を有する複数の新型コロナウイルス（SARS-CoV-2）の新規変異株として、特にVOC-202012/01, 501Y.V2, 501Y.V3の流行が懸念されている。いずれも感染性・伝播のしやすさに影響があるとされるN501Y遺伝子を有するが、特にVOC-202012/01については、2次感染率の増加や、死亡リスクの増加の可能性が疫学データから示唆されている。501Y.V2と501Y.V3については、さらに抗原性に影響を与える可能性があるE484K変異も有する。特に501Y.V2については、過去の感染によって得られた免疫や承認されているワクチンによって得られた免疫を回避する可能性が指摘されてお
深海探索ゲーム『In Other Waters』Switch/Steam向けに正式発表。AIと宇宙生物学者が紡ぐ、孤独で優しい海の旅 - AUTOMATON
パブリッシャーFellow Travellerは2月5日、『In Other Waters』を正式発表。2020年春に発売すると発表した。対応プラットフォームはPC・Mac（Steam）およびNintendo Switch。 本作は昨年、フランス・パリで行われたCapital Games主催「IndieCade Europe 2019」にて審査員賞を受賞した期待作だ。2018年2月にはKickstarterキャンペーンを実施しており、約2万8000ポンドを集めている。 『In Other Waters』は、深海探索シミュレーションゲーム。公式サイトでは「ユニーク・ナラティブ探索ゲーム」と紹介されている。内容としては、プレイヤーが「AI」として未知の世界を探索する「人間」をサポートするというユニークなもの。トレイラーでは、記号的でありながら宇宙や深海をイメージさせるようなグラフィック、誰もい
Androidのエンジニア (Google Developers Expert for Androidでもある) なので、Androidが多めです。 特に驚いたところを太字で書いています。驚いたところもAndroidのものが多めです。 あとからもう一度見たものに☆をつけます。 なにか間違っているところなどあれば修正するので教えて下さい (他は割とてきとうにしか見れていないです) Keynote 以下に9分でまとまっている動画があるので見てみるとテクノロジーの進化を感じられて楽しいです！ Smart canvas Notionみたいなもの。ビデオチャットしながら更新したりできる 順次公開ということで、まだ公開日程は決まっていないみたい。 Advancing AI Advancing AI LaMDA language model すごく自然に会話できるのでデモ必見 (まだリサーチ段階らしい)
Lessons from Writing a Compiler
The prototypical compilers textbook is: 600 pages on parsing theory. Three pages of type-checking a first-order type system like C. Zero pages on storing and checking the correctness of declarations (the “symbol table”). Zero pages on the compilation model, and efficiently implementing separate compilation. 450 pages on optimization and code generation. The standard academic literature is most use
Rust: state of GUI, December 2022 There was a recent call for blogs about Rust GUI. So, Are we GUI yet? Contents: Categorised listing of toolkits State of KAS State of GUI Categorised listing of toolkits Lets start by categorising entries from Are we GUI yet, ignoring those which appear abandoned or not very functional. Bindings Wrappers around platform-specific toolkits: Mac OS / iOS - cacao - Ru
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米カリフォルニア大学サンディエゴ校、米Oregon Health and Science University、米マサチューセッツ総合病院による研究チームが開発した「Human brain mapping with multithousand-channel PtNRGrids resolves spatiotemporal dynamics」は、1024個または2048個の皮質脳波記録 （ElectroCorticoGram 、ECoG）センサーを高密度に配列した、薄くて柔軟なシート状の電極（グリッド）だ。 脳の表面に貼り付け、脳の電気信号を捉える。現在手術によく使われているECoGグリ
これは何？ この記事は、東京大学工学部電子情報工学科/電気電子工学科の後期実験「大規模ソフトウェアを手探る」のレポートとして作成されました。この実験では、各班がOSSを1つ選び、開発技法を学びながら新たな機能追加やバグ修正などを試みます。私たちの班(@irungo_ic, @yutyan_ut, @ncrpy)はCPython を選びました。 CPythonとは プログラミング言語であるPythonの、C言語による実装です。つまり、C言語で書かれたPythonのインタプリタです。 CPythonを選んだ理由 班員全員にCとPythonの経験があり、言語処理系などの基盤的なソフトウェアに興味があるメンバーが集まったためです。特にCPythonは公式ドキュメントが非常に充実していること、Buildの方法がそれほど大変ではないことなども選択の大きな理由になりました。 追加した機能 私たちの班は次
Agile Testingのエッセンス #devlove / Agile Testing Essence 20201117
以下のイベントの投影資料です。 https://devlove.doorkeeper.jp/events/112966 実際の発表で説明した「実例マッピング」の部分は、別スライドにしています。こちらもどうぞ。 事例から学ぶ実例マッピングのやり方 https://speakerdeck.com/nihonbuson/example-mapping 【発表資料中のURL】 「第○章 P△△より」という記述は全て、書籍『Agile Testing Condensed Japanese Edition』( https://leanpub.com/agiletesting-condensed-japanese-edition )の記載 その他の記載内容については下記の通り P4 Agile Testing: A Practical Guide for Testers and Agile Teams
AWS CloudFormationのテンプレート、長！となったのは私だけでしょうか。同志の皆さん、一緒にテンプレートを少しずつ確認して、テンプレート職人を目指しましょう。こちらを読む際、是非テンプレートも横に開きながら、読んでみてくださいね！ みなさんどうも、新卒エンジニアのたいがーです。 今年も半年が過ぎましたね。早いものです。 それぞれのリソースの立ち上げはマネジメントコンソールやAWS CLIでやってみたけど、そろそろInfrastructure as Codeを触ってみたい!!Cloud Formationを使ってみよう!!という気持ちになっていらっしゃる方はいませんか？ 私です。 しかし、実際のAWS CloudFormatinのテンプレートを見てみるも、長いな…どこから始めたらいいんだ…となってしまった方はいませんか？ そうです、私です。 そんな今回は、CloudFormat
GitHub - apple/password-manager-resources: A place for creators and users of password managers to collaborate on resources to make password management better.
The Password Manager Resources project exists so creators of password managers can collaborate on resources to make password management better for users. Resources currently consist of data, or "quirks", as well as code. "Quirk" is a term from web browser development that refers to a website-specific, hard-coded behavior to work around an issue with a website that can't be fixed in a principled, u
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 東京工業大学 渡辺研究室の研究チームが開発した「Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control」は、複数台のプロジェクタを使い、対象物の前に物体があっても影を作らず動的シーンを投影するダイナミックプロジェクションマッピングシステムだ。影を除去しながら対象物全面に投影し続ける。 動く物体に追従し、ぴったり張り付いているかのように投影するダイナミックプロジェクションマッピングでは、対象物の前に物体があると影が生じる。 こうした影を除去するため
How it works: The novel HTTP/2 ‘Rapid Reset’ DDoS attack | Google Cloud Blog
Hear monthly from our Cloud CISO in your inboxGet the latest on security from Cloud CISO Phil Venables. Subscribe A number of Google services and Cloud customers have been targeted with a novel HTTP/2-based DDoS attack which peaked in August. These attacks were significantly larger than any previously-reported Layer 7 attacks, with the largest attack surpassing 398 million requests per second. The
【Android】Jetpack Composeの活用法について - Mirrativ Tech Blog
Mirrativ Androidエンジニアのmorizoooです。 MirrativのAndroidアプリでは、Jetpack Composeの1.0がリリースされた2021年7月から導入をはじめています。 今回の記事では、導入に至った経緯と、ミラティブで採用しているFluxアーキテクチャの中でJetpack Composeをどのように活用しているかについてお話します。 導入に至った背景 Jetpack Compose導入の背景としては公式ドキュメントにもあるように以下の点をメリットに感じて導入しました。 コード量が削減できること ステートレスコンポーネントを簡単に作成できること developer.android.com また、Jetpack Composeの開発に深く携わっているJim Sprochさんもツイートでも、旧Android Viewはメンテナンスモードと宣言されており、Je
AWS Cloud Development Kit(CDK)でURL短縮サービスを作ってみた | DevelopersIO
サーバーレスなURL短縮サービスを Python 版 AWS CDK で作るウェビナーを見つけたので、動かしてみました。 最終的には下図のようなサーバーレスなインフラを構築します。 ※図はウェビナーから引用 構築された URL 短縮サービスを触ってみます。 targetUrl に URL を渡し、短縮 URL を生成します。 $ curl https://go.example.info?targetUrl=https://aws.amazon.com/cdk/ Created URL: https://go.example.info/4692efec 短縮 URL でアクセスすると、元の URL にリダイレクトされます。 $ curl -I https://go.example.info/4692efec HTTP/2 301 date: Wed, 09 Oct 2019 10:03:35
The GNU Name System
The GNU Name System Abstract This document provides the GNU Name System (GNS) technical specification. GNS is a decentralized and censorship-resistant domain name resolution protocol that provides a privacy-enhancing alternative to the Domain Name System (DNS) protocols.¶ This document defines the normative wire format of resource records, resolution processes, cryptographic routines, and security
はじめに AdventCalender論文24日目担当のぱしふぃんです。 突然ですが,最近このような論文1が出ました。 テスト https://t.co/QoXamqHB9w — ぱしふぃん (@pacifinapacific) December 21, 2019 なんとただの１枚絵をVtuberのモデルにできちゃうのです。ニコニコに上がっている解説動画では賞賛のコメントが多数寄せられていました。 これはすごい！ということで私も読んだのですが、データセットを作る段階ですごい労力を費やしているようでした。３ｄモデル1つ1つを目を閉じたり、開けたり、顔を傾けたりと差分をとり、ラベル付けしていくのはとても大変です。 「そんなラベル付けの手間を失くして似たようなことがやりたい！！」 その一つの可能性として今回StyleGANに着目してみます。StyleGANは滅茶苦茶綺麗な画像を生成できるモデルで
module bundler を作った
このフロントエンドの魔境に生まれたからには一度は俺が考えた最強の module bundler を作りたい。みんなそう思ってると思う。作った。 mizchi/bundler: hobby bundler tldr このコードが // foo.js export default 1; // index.js import foo from "./foo.js"; console.log(foo); export const index = 1; こうなる // @mizchi/bundler generate const _$_exported = {}; const _$_import = (id) => _$_exported[id] || _$_modules[id]((_$_exported[id] = {})); const _$_modules = { "/foo.js": (_
David Chase and Russ Cox 19 September 2023 Go 1.21 includes a preview of a change to for loop scoping that we plan to ship in Go 1.22, removing one of the most common Go mistakes. The Problem If you’ve written any amount of Go code, you’ve probably made the mistake of keeping a reference to a loop variable past the end of its iteration, at which point it takes on a new value that you didn’t want.
この記事では，私の研究分野であるGPU向けコンパイラの最適化の紹介と論文のサーベイを行う． 以下，随時更新． 分岐発散 （Branch Divergence） 分岐発散とは Independent Thread Scheduling 分岐発散に対する最適化 Software based approaches Hardware based approaches その他 サーベイ論文 カーネル融合 （Kernel Fusion） Kernel Fusionとは 垂直融合（vertical fusion） 水平融合（horizontal fusion） Inner Thread Block Inter Thread Block カーネル融合に関する論文 その他のGPU関連の論文 Dimensionally redundant instruction elimination Others 分岐発散
Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日本語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基本的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー
Posted on Monday, April 1, 2024. Updated Wednesday, April 3, 2024. Over a period of over two years, an attacker using the name “Jia Tan” worked as a diligent, effective contributor to the xz compression library, eventually being granted commit access and maintainership. Using that access, they installed a very subtle, carefully hidden backdoor into liblzma, a part of xz that also happens to be a d
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Distributed SQL vs. NewSQL | YugabyteDB
改行コード(CR/LF)と改行文字と標準C - yohhoyの日記
CPUコアより1000倍速い演算システム、インテルが脳細胞の機能を模して実現
Data Movement in Netflix Studio via Data Mesh
Google親会社のAlphabet、AI創薬の新会社設立 DeepMind創業者がCEOに
新機能の開発前に行っている3つのプラクティスを紹介します - サーバーワークスエンジニアブログ
感染・伝播性の増加や抗原性の変化が懸念される 新型コロナウイルス（SARS-CoV-2）の新規変異株について （第6報）
Google I/O 2021で驚いたところ - Qiita
State of GUI 2022 - KAS blog
脳に貼り付ける高性能センサー、解像度は従来の100倍 将来的には無線化で埋め込みも
Pythonのlistをもっと便利に +α 【大規模ソフトウェアを手探る】
AWS CloudFormationのテンプレートを細かく分けて確認してみた | DevelopersIO
「重なっても影ができない」プロジェクションマッピング 東工大が開発
StyleGANを遊び尽くせ!! ~追加学習不要の画像編集~ - Qiita
Fixing For Loops in Go 1.22 - The Go Programming Language
GPU向けコンパイラの最適化の紹介と論文のサーベイ - Jicchoの箱
research!rsc: Timeline of the xz open source attack