How to shuffle songs? - Spotify Engineering
At Spotify we take user feedback seriously. We noticed some users complaining about our shuffling algorithm playing a few songs from the same artist right after each other. The users were asking “Why isn’t your shuffling random?”. We responded “Hey! Our shuffling is random!” So who was right? As it turns out, both we and the users were right but it’s a bit more complicated than that. It also tells
The tar archive format, its extensions, and why GNU tar extracts in quadratic time - Mort's Ramblings
Date: 2022-07-23 Git: https://gitlab.com/mort96/blog/blob/published/content/00000-home/00014-tar.md (If you're here from Google and just need help with tar being slow: If you trust the tar archive, extract with -P to make tar fast.) A couple of days ago, I had a 518GiB tar.gz file (1.1 TiB uncompressed) that I had to extract. At first, GNU tar was doing a great job, chewing through the tar.gz at a
LOG関数で2を底とする対数(二進対数)とO(logN)の意味を知ることは情報処理の基本である【Excel】 - わえなび ワード＆エクセル問題集 waenavi
対数のlogを勉強するときにまず最初に習得するのは常用対数です。 【LOG・LOG10関数】Excelで10の累乗と常用対数が使えたら数値の桁数が計算できます 常用対数を習得したら次に習得するのが2の累乗と2を底とする対数です。学生の時に、2，4，8，16，32・・・と2の累乗を覚えた人もいるのではないでしょうか？ 大人であれば、2を10回かけたら1024（=約1000）になることを知っておいても損はないでしょう。携帯電話の「ギガ」はもともと2を30回かけると約10億＝1ギガの情報量になるところからきています。2の累乗と2を底とする対数を理解することは情報処理を理解する第一歩と言っても過言ではありません。 そこで、今回は、Excelで2の累乗と2を底とする対数を求める方法とその応用について解説します（2進数については深入りしません）。 目次 １．まずはExcelで２の累乗の性質を考えてみよ
「AI技術がコモディティ化している」はウソ？~研究者が企業で活躍するためにこれから求められるスキル~｜田村浩一郎@ACES
0. 自己紹介皆さんこんにちは、株式会社ACESの代表の田村(@7142857)です。簡単に自己紹介させていただくと、私は東京大学の工学系研究科博士課程で松尾研究室に所属し、Deep Learningの金融への応用について研究しつつ、株式会社ACESという会社を経営しております。先週はIPOのタマゴにも出させていただきました。 【IPOのタマゴ～磨けイノベーション】テーマは「人の知見を数式化する」。ACES 田村 浩一郎社長をゲストに迎え、今後の事業展開や戦略を聞く。視聴は→https://t.co/8KbwDmPBWM pic.twitter.com/go4nZTnDy1 — 日経CNBC (@NIKKEI_CNBC) September 9, 2021 1. AI技術がコモディティ化しているという主張の理解 Deep Learningが登場してから、"AIブーム"が続いていました。 -
Compiling Rust is NP-hard
Compiling Rust is NP-hard July 7, 2021 · 11 minute read ...though it's not the flagship borrow checking that's at fault. What I noticed, and would like to share with you today, is that the exhaustiveness checking performed by the Rust compiler on match patterns is a superset of the SAT problem. Exhaustiveness checking Consider the following code (playground): fn update_thing(old_thing: Option<Thin
中学・高校数学で学ぶ、数学×Pythonプログラミングの第一歩
中学・高校数学で学ぶ、数学×Pythonプログラミングの第一歩：数学×Pythonプログラミング入門 「Pythonの文法は分かったけど、自分では数学や数式をプログラミングコードに起こせない」という人に向けて、中学や高校で学んだ数学を題材に「数学的な考え方×Pythonプログラミング」を習得するための新連載がスタート。連載コンセプトから、前提知識、目標、本格的に始めるための準備までを説明する。 連載目次 この連載では、中学や高校で学んだ数学を題材にして、Pythonによるプログラミングを学びます。といっても、数学の教科書に載っている定理や公式だけに限らず、興味深い数式の例やAI／機械学習の基本となる例を取り上げながら、数学的な考え方を背景としてプログラミングを学ぶお話にしていこうと思います。 今回は、それに先だって、プログラミングを学ぶ上で数学を使うことのメリットや、Pythonでどのよう
Sorting colors in JavaScript
Sorting colors in JavaScriptJune 22, 2021How to sort colors in JavaScript? Let me tell you a story first. In the project I'm working on right now we used to have 134 colors in use! WTF?! you say. Once I discovered that I thought I'm going to show that to my colleagues, and we will address the problem. Unfortunately, I'm a very visual person (so to say) and I couldn't stand the very random order of
Compressing JSON: gzip vs zstd – Daniel Lemire's blog
JSON is the de facto standard for exchanging data on the Internet. It is relatively simple text format inspired by JavaScript. I say “relatively simple” because you can read and understand the entire JSON specification in minutes. Though JSON is a concise format, it is also better used over a slow network in compressed mode. Without any effort, you can compress often JSON files by a factor of ten
optimizing hashmaps even more
optimizing hashmaps even more — 2021-05-08 hashmaps and hashing algorithms enums as keys static strings as keys hybrid static + dynamic keys looking ahead conclusion In our last post we took a look at possible ways we could improve the ergonomics of Rust's refcounting APIs. In this post we'll be looking at Hashmap: how it's currently implemented, how we could optimize it further, and finally direc
Ruby Garbage Collection Deep Dive: Compaction
So far in this series, we’ve discussed GC::INTERNAL_CONSTANTS, the Tri-Color Mark and Sweep algorithm, Generational GC and Incremental GC. We’ll build on what we’ve learned in this post about the newest addition to Ruby’s GC: compaction. Fragmentation Before we dive into compaction, we need to learn about fragmentation. Fragmentation is the term we use to describe memory when it’s allocated non-co
Slack、1月の大規模障害の原因を説明。「AWS Transit Gateway」がトラフィックの急上昇に対応できず、AWSはアルゴリズムを見直すと
Slack、1月の大規模障害の原因を説明。「AWS Transit Gateway」がトラフィックの急上昇に対応できず、AWSはアルゴリズムを見直すと AWSのネットワーク基盤の一部が飽和していた 1月4日、サービス内部のエラー率上昇によって始まったSlackの障害は、太平洋標準時の午前6時ごろからはSlackのWeb層の負荷が高まり、パケットロスを発生しはじめるなど徐々に深刻化。7時頃にはついにサービス停止にまで発展してしまいます。 負荷の解消のためにWeb層をスケールアウトさせるなどの対処を行い、なんとかサービスが復旧し始めたころに、AWSから障害の引き金となった現象についての報告が次のようになされたとのこと。 「Slack’s Outage on January 4th 2021」から引用します。 By the time Slack had recovered, engineers
ノーフリーランチ定理（No Free Lunch theorem）とは？
連載目次 用語解説 機械学習におけるノーフリーランチ定理（No Free Lunch theorem：「無料のランチはない」定理）とは、あらゆる問題を効率よく解けるような“万能”の「教師ありの機械学習モデル」や「探索／最適化のアルゴリズム」などは存在しない（理論上、実現不可能）、ということを主張する定理である。 教師ありの機械学習モデルに対するノーフリーランチ定理は、数学者のDavid H. Wolpert氏が1996年の論文の中で提示した。また、探索／最適化のアルゴリズムに対するノーフリーランチ定理は、David H. Wolpert氏とWilliam G. Macready氏が1997年の論文で提示している（※特にこちらの論文が有名）。2000年前後には多くの研究者が、この他にもさまざまな形でノーフリーランチ定理を証明／実証している（参考：「No Free Lunch Theorems
Graph Neural Network を用いたグラフの木幅予測 - Preferred Networks Research & Development
本記事は、2019年夏のインターンシップに参加された中野裕太さんによる寄稿です。 皆様はじめまして。2019 年 PFN 夏季インターンシップに参加していた北海道大学の中野裕太です。本ブログでは、私が夏季インターンで取り組んだテーマである、「Graph Neural Network を用いたグラフの木幅予測」について説明します。 要旨 与えられた無向グラフがどれくらい木に近いかを表す値である木幅は、グラフ上の組み合わせ最適化問題に対するアルゴリズムの効率性や解そのものと深く関係しています。しかし、木幅を計算することは NP 困難なため、木幅を計算するには頂点数に対し指数時間かかってしまいます。そこで、今回 Graph Neural Network を用いた 2 つの方法でこの問題にアプローチしました。1 つ目は、よく知られた既存のアルゴリズムと組み合わせ探索木の枝刈りを行い高速化を図り計算
本当に不足しているIT人材を知るために、本当に必要なもの | ウェブ電通報
2030年には高度IT人材が数十万人不足するといわれていますが、実は、日本にはプログラミング能力が世界トップレベルの高度IT人材が多数いることを知っていますか？ 本連載では、企業の業績を左右するほど重要になった高度IT人材の採用と育成について、競技プログラミングコンテストAtCoderの高橋直大代表に解説いただきます。自身も世界トップクラスのプログラマーである高橋氏から見た、日本の高度IT人材事情とは？ 「従来型IT人材」は余る？本当に必要となるIT人材とは？ こんにちは、AtCoderの高橋です。AI産業に注目が集まっていて、各企業が優秀なエンジニアを集めていることは、皆さんご承知の通りでしょう。あらゆる仕事をAIに置き換えていく流れを考えると、AI人材はIT企業だけではなく、あらゆる企業に求められ始めています。日本ではAI人材、高度IT人材が今後数十万人不足するといわれており、人材の育
秘匿化ブロックチェーン 「Zerochain」プロジェクト始動
A privacy-oriented blockchain on Substrate. Contribute to LayerXcom/zero-chain development by creating an account on… Zerochainの特徴Zerochainのゴールは、さまざまな秘匿化データを利用したアプリケーションを開発するための土台となることです。 「秘匿化データを利用したアプリケーション」の分かりやすい例は秘匿送金です。例えば、イーサリアムのスマートコントラクト上に記録されたコインの残高は公開されており、世界中の誰でも見ることができてしまいます。つまり、これは自身の銀行口座の中身をインターネットを介して世界中に公開しているのと同じことです。 Zerochainではこのようなプライバシーの問題を解決するために下図のように残高は全て暗号化して記録しています。 Conf
コンピュータを進化させてきた偉大なるアルゴリズムまとめ
By Kai Schreiber IT技術の進化のスピードには目を見張るものがありますが、それを支えているのはアルゴリズムと呼ばれる処理方法(技術的アイデア)です。さまざまなアルゴリズムの中でも、コンピュータの進化に革命的な影響をもたらしたとされる偉大なアルゴリズムは以下の通りです。 Great Algorithms that Revolutionized Computing http://en.docsity.com/news/interesting-facts/great-algorithms-revolutionized-computing/ ◆ハフマン符号(圧縮アルゴリズム) Huffman coding(ハフマン符号)は、1951年にデービッド・ハフマン氏によって開発されたアルゴリズム。頻出頻度の大小によって対戦するトーナメントツリーを考えて、ブロックごとに0と1の符号をもたせる
いまさらgrepが10倍高速化したのはなぜか – はむかず！
最近GNU grepコマンドの最新バージョンがリリースされ、速度が10倍になったとのアナウンスがあった。それを聞いて、なんであんな枯れた技術に10倍もの高速化の余地があったのだろうと不思議に思った人も多いだろう。 ニュース記事：grepコマンド最新版、”-i”で10倍の高速化 本家のリリースノート：grep – News: grep-2.17 released [stable] 今回のリリースでは正確には、マルチバイトロケールで、-iオプション（–ignore-case、つまり大文字小文字を区別しないオプション）をオンにした時の速度が10倍くらいになったそうだ。 なぜそんなに速くなったのか？逆を言えば今までなぜそんなに遅かったのか？ そもそも、多くの日本人にとって「大文字小文字の区別」というと英語のアルファベットか、せいぜいフランス語とかドイツ語とかのアクサン記号・ウムラウトがついたものく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
過去の水害データを基にAIで浸水範囲を推定 東北大学の研究グループがアルゴリズムを構築
ライス大学研究チーム、GPUを使わずにディープラーニングを高速化するアルゴリズムを開発
WordPress.com