How to shuffle songs? - Spotify Engineering
At Spotify we take user feedback seriously. We noticed some users complaining about our shuffling algorithm playing a few songs from the same artist right after each other. The users were asking “Why isn’t your shuffling random?”. We responded “Hey! Our shuffling is random!” So who was right? As it turns out, both we and the users were right but it’s a bit more complicated than that. It also tells
AlphaTensor :強化学習を利用した高速な行列積演算アルゴリズムの発見 - Qiita
1. はじめに 本記事では、2022年10月にNatureに掲載されたAlphaTensor[1]および関連分野を紹介します。AlphaTensorは「AIが行列積演算の新しいアルゴリズムを発見した」といううたい文句のもとSNSを中心に大きな話題となりました。具体的には、[1]でAIが”発見”したアルゴリズムのひとつでは2進数上の4×4の行列の積を47回の掛け算で計算することができ、これは[1]以前の最速49回(Strassenのアルゴリズム)を上回ったことになります。なお、Strassenのアルゴリズムの49回はその発見から[1]まで約50年間破られていませんでした。 「AIが新しいアルゴリズムを発見した」という広告ですが、実際は 「あるテンソルのよい分解方法を強化学習を利用して探索した」 といった方が正しいです。この 「あるテンソル」はその分解方法と「行列積のアルゴリズム」が自然と対応
Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
独学でも教えてもらってもダメ、プログラミングができない本当の理由
今はプログラミングができないけれども、ゆくゆくはできるようになりたい。そう思っている人は多いだろう。そうした人が知りたいのは「独学でプログラミングができるようになるのか」ということではないだろうか。 こうしたことを考えているのは、「独学コンピューターサイエンティスト Pythonで学ぶアルゴリズムとデータ構造」（日経BP発行）という書籍を読み始めたからだ。著者のコーリー・アルソフ氏は、大学の政治学科を卒業し、独学でプログラミングを学んで職業プログラマーになったという。前著の「独学プログラマー Python言語の基本から仕事のやり方まで」（日経BP発行）は、そうした経験を通して同氏が得たプログラミングの知識をまとめたもの。そうした知識の中から、特にアルゴリズムやデータ構造といったコンピューターサイエンスに焦点を当てて解説したのが本書だ。 もっとも同氏がいう「独学」は、大学でコンピューターサイ
「CAPTCHA」に代わる人間証明API「Turnstile」、意外に簡単な仕組みと実装方法は？
CDN（Content Delivery Network）やインターネットセキュリティサービスなどを手掛けるCloudflareは2022年9月28日（米国時間）、「CAPTCHA」に代わる無料の認証API「Cloudflare Turnstile」のオープンβ版を発表した。 CAPTCHA（Completely Automated Public Turing test to tell Computers and Humans Apart）は主にWebサービス上で、自動化されたプログラム（bot）によるサービスの不正利用を防ぐための仕組みを指す。数種類の方式があるが、読みにくい文字列（ゆがんでいたり、ノイズが混じっていたりする）が含まれた画像を表示し、ユーザーがその文字列を正しく入力できたかどうかで、人間か否かを判定するものが有名だ。 だが、こうしたCAPTCHAはユーザーにとって煩雑で面
画像生成AI「Stable Diffusion web UI(AUTOMATIC1111版)」で元画像と似た構図や色彩の画像を自動生成したり指定した一部だけ変更できる「img2img」の簡単な使い方まとめ
画像生成AI・Stable Diffusionを手軽にWindows環境あるいはGoogle Colabに導入でき、コマンドラインではなくユーザーインターフェース(UI)から簡単に操作可能な「AUTOMATIC1111版Stable Diffusion web UI」は他のUIには搭載されていない機能も盛り込まれた決定版とも言えるツールです。毎日驚くべきスピードでアップデートが行われ改善が進むAUTOMATIC1111版Stable Diffusion web UIで、入力した画像から新しい画像を生成できる「img2img」を実際にAUTOMATIC1111版Stable Diffusion web UIで使う方法をまとめてみました。 GitHub - AUTOMATIC1111/stable-diffusion-webui-feature-showcase: Feature showca
テキストエディタで使われがちなデータ構造 Piece Table の概要と実装 - A Memorandum
テキストエディタのデータ構造 Gap method Piece Table method Piece Table の構造 Piece Table の実装 Piece Table のメソッド まとめ テキストエディタのデータ構造 テキストエディタで採用されているデータ構造にはいろいろあります。 こちらの論文 Data Structures for Text Sequences では各種データ構造について比較検討されています。 多くは、Gap method や Piece table method をベースにしたものが多いのではないでしょうか(図で言う最下部の中心の丸印に当たります)。最近では Rope なども有名ですね。 Gap method Gap method では、現在のカーソル位置で、テキストバッファを2つに分割し Gap を間に挟み、カーソル位置に対する編集(テキスト追加/削除)を
書籍「競技プログラミングの鉄則」を書きました - E869120's Blog
1. はじめに こんにちは、東京大学 2 年生の米田優峻（E869120）と申します。私は競技プログラミングが趣味で、AtCoder や国際情報オリンピックなどに出場しています1。また、2021 年 12 月には、初の著書となる『「アルゴリズム×数学」が基礎からしっかり身につく本』を出版しました（2 万部突破）。 さて、このたびはマイナビ出版から、2 冊目の本を出版させていただくことになりました。競技プログラミングで必要となる「アルゴリズム」や「思考テクニック」を学ぶことができる、全く新しい教科書です。 競技プログラミングの鉄則 - honto 発売日は 2022/9/16 です。電子書籍版も同じ日（9 月 16 日）に出る予定です。この記事では、本書の内容と想定読者について説明させていただきます。 2. 本書の構成 本書は、競技プログラミングの全く新しい教科書です。序章「競技プログラミン
Google Mapsがレビュー数を伸ばすための取り組みとサービスデザイン考察記事｜坪田 朋
先日、グーグルが飲食店検索で初のトップにという記事を見かけて、Google Mapsがどうやってレビュー情報を集めてきたのか、過去に書いた考察記事を公開しました。 UXリサーチ目的で、普段からデザインアップデート記録を残しているんだけど、Google Mapsのレビュー機能は2016年から頻度高く使ってきたので、実体験とコンテンツを増やしてきたのか考察をまとめた内容です。 Google Mapsのレビューを始めたキッカケ最初にレビューを投稿したのは2016年で、旅行前にGoogle Mapsで行きたい場所やお店を保存して、現地に行った時になんとなく写真と口コミを投稿したのがキッカケ。 初回投稿後にレビューを促進するコンテンツがメールで届くようになった当時Google Mapsのレビューはまだ認知度が低くメールのタイトルも実験中の雰囲気があった。特典という言葉に釣られてローカルガイドに参加し
Google、検索アルゴリズムの更新「Helpful Content Update」を実施 検索エンジンファーストで作成されたコンテンツを標的 - SEMリサーチ
人間ではなく検索エンジンのために作成された、役に立たないコンテンツや満足度が低いコンテンツの評価を調整することを目的とした検索アルゴリズム更新「Helpful Content Update」（HCU）の情報について随時更新していきます。 一般的な情報は本ページに、詳細解説は SEMリサーチ+（プラス、有料版）に掲載します。 目次 Helpful Content Update 概要 アルゴリズム更新の実施時期 対象検索エンジンと言語 HCU 対象範囲 HCUが標的とするコンテンツの種類 HCU 検出の仕組み 「低品質」と判定されたときの影響範囲と期間 HCU に備えたウェブマスターの対応 ユーザーファーストのコンテンツ作成に注力する 以下の質問にすべて「はい」と自信を持って答えられるか HCU に関する注意事項 (2022.08.20更新) テクニカルな”抜け道”を探そうという発想が生まれた
Google、「人による人のための」結果と「まともなレビュー」を優先する検索改善
米Googleは8月18日（現地時間）、英語でのグローバルな検索で実施する「helpful content update」（役立つコンテンツ更新）の概要を説明した。いわゆる「クリックベイト」を排除し、検索結果に「人間が人間のために書いた、より独創的で役立つコンテンツが表示されるようにする」ための取り組みの一環だ。向こう数週間中に展開する。 まず、「読者に情報を提供するのではなく、クリックを獲得することを目的としたように見えるコンテンツ」や「オリジナルではない低品質のコンテンツ」が上位に表示されないようにする。特に、オンライン教育資料、エンターテインメント、ショッピング、テクノロジー関連のコンテンツで効果が見られるようになるとしている。 例えば、新作映画について検索した場合、従来は「他のサイトに掲載されたレビューを寄せ集めた記事が表示されたかもしれない」が、この更新により「独自の信頼できる情
基本に立ち返る: 動画圧縮の裏側で使われる仕組み | Amazon Web Services
Amazon Web Services ブログ 基本に立ち返る: 動画圧縮の裏側で使われる仕組み 動画エンコーディング この Blog では、動画エンコーディング処理（圧縮）の基本について、簡単な言葉で説明していきます。 圧縮・エンコーディングの主な目的は、動画の記録、保存および伝送するのに必要となるデータの量を削減することです。これは、ストレージハードウェア、データ伝送時間、必要となる配信帯域幅の削減に繋がります。 動画をエンコードするための多くの異なるアルゴリズム（例えば、MPEG-2、H.264/AVC、H.265/HEVC、VP9、AV1 など）が存在しますが、今日使われている一般的なコーデックのほとんどは、このブログ記事で紹介する共通の原理に従います。 Joint Photographic Experts Group もしくは JPEG 圧縮 デジタル画像を圧縮するために最も一般
AtCoderの社長のままトヨタ自動車にアルゴリズムグループを作った話 - chokudaiのブログ
2022年1月より、トヨタ自動車 デジタル変革推進室 に主査(担当部長)としてジョインし、6月より、アルゴリズムグループを新設しました。 （22/08/09 11:40追記） アルゴリズムグループについての情報は以下のページにあります！！！ (追記おわり) atcoder.jp 「なんで急にそんなことやってるの？」、「AtCoderの業務に集中しろよ！って思う人もちょこちょこいると思うので、そのあたりの考えを、AtCoder社長としての立場で書きたいと思います。 AtCoder・chokudaiを知らない人のための情報 ここは知ってる人は飛ばしてください。 AtCoder 2012年から提供されている、プログラミングコンテスト(競技プログラミング)のサービスです。年間70回程度のコンテストをオンラインで開催しており、世界中から40万人のユーザが登録・参加しています。 chokudai At
The tar archive format, its extensions, and why GNU tar extracts in quadratic time - Mort's Ramblings
Date: 2022-07-23 Git: https://gitlab.com/mort96/blog/blob/published/content/00000-home/00014-tar.md (If you're here from Google and just need help with tar being slow: If you trust the tar archive, extract with -P to make tar fast.) A couple of days ago, I had a 518GiB tar.gz file (1.1 TiB uncompressed) that I had to extract. At first, GNU tar was doing a great job, chewing through the tar.gz at a
Python で学ぶベイズフィルタとカルマンフィルタ (翻訳) - inzkyk.xyz
翻訳について これは Roger R. Labbe 著 Kalman and Bayesian Filters in Python の翻訳です。英語版は CC BY 4.0 ライセンスで公開されています。 この翻訳は CC BY 4.0 ライセンスの許諾に基づいて公開されます。 PDF 版と Jupyter Notebook 版について この翻訳の PDF 版と Jupyter Notebook 版を BOOTH で販売しています。 謝辞 英語版の著者 Roger R. Labbe 氏に感謝します。 誤植を指摘して頂いた小山浩之氏 (https://twitter.com/0yama) に感謝します。
非同期処理を使いこなそう ! -第 2 回 非同期処理と同期処理の処理構造 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さんこんにちは。プロフェッショナルサービス本部のデジタルトランスフォーメーションチームでマネージャーをしています堀場です。 さて、いきなりですが、先日、ふと、頭に思い浮かんだ単語があります。それがこちら。 「機能」「情報」「連絡」「手順」「時間」・・・ 25 年以上前に覚えた単語がふと出てきたわけで・・・・この後、何が続くかご存知でしょうか ? 答えは、「論理」「暗号」です。 これは、モジュール強度 (または凝集度) の段階を表すもので「暗号」は凝集度が低く「機能」がもっとも高いと定義されています。なぜ、思い出したのかは謎です。ちなみに、10 年前の資料ですが IPA が提供している IT 人材育成用の汎用コンテンツ の 講義ノート に簡単な解説がありましたので興味がある方は読んでみてください。 凝集度が高いほど、堅牢性、信頼性、再利用性が高く、コードの読みやすさなどの点で好ましく、凝集
CMSベンダーに独禁法違反の疑い 「独自の方がセキュリティ対策になる」と自治体に営業、他社参入を阻害
公正取引委員会は6月30日、メディア事業を手掛けるサイネックス（大阪市）と行政向けサービスを展開するスマートバリュー（同）に、独占禁止法の規定に違反する疑いがあると発表した。調査の結果、2社はWebサイトの改修を計画する自治体に対し、独自開発したCMSの導入が情報セキュリティ対策になると営業活動を行い、オープンソースのCMSを扱う他の事業者が受注競争に参加しにくくなるよう働きかけていたことが分かった。 サイネックスとスマートバリューは自治体に対し、オープンソースのCMSではなく2社が開発した独自のCMSを導入することが情報セキュリティ対策上必須とする仕様案を自治体に配布した。 営業を受けた自治体自身ではCMSの仕様策定が困難であり、この結果、中には発注の際にオープンソースのCMSを使わないよう規定した自治体もあった。これによりオープンソースのCMSを取り扱う事業者の参入が阻害された点が、独
Web制作者はしっかりと理解しておきたい！ CSSにおけるレイアウトアルゴリズムを解説
CSSを理解するには、プロパティや値を知っているだけでは不十分です。CSSのレイアウトアルゴリズムがどのように機能するかを理解する必要があります。 ブログやツイートで便利なCSSスニペットが紹介されていても、なぜ機能するのか、レイアウトアルゴリズムがどのように使用されているのか説明されていないことはよくあります。CSSにおけるレイアウトアルゴリズムについて解説します。 CSSの初学者をはじめ、長く携わっている人にも、気づきや学びがあると思います。 Understanding Layout Algorithms by Josh W. Comeau 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 はじめに CSSにおけるレイアウトのアルゴリズム レイアウトアルゴリズムの確認 インライン要素の不思議なスペース 終わりに はじめに 数年
30 分でわかる！アルゴリズムの基本
このスライドは、2022/4/14 に実施されたイベント『問題解決のための「アルゴリズム × 数学」- Forkwell Library #1』の基調講演を加筆修正したものです。実際の講演（35 分）を見たい方は、以下の URL をご覧ください。 https://www.youtube.com/watch?v=2OrsR37_GdM 【目次】 第一章 アルゴリズムとは（pp. 1～19） 第二章 アルゴリズムの例 A：迷路の探索（pp. 20～79） 第三章 アルゴリズムの例 B：プログラムのデバッグ（pp. 80～126） 第四章 アルゴリズムの例 C：映画鑑賞の最適化（pp. 127～154） 第五章 講演のまとめ（pp. 155～162）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【連載】Let’s 競技プログラミング! E8さんが教える アルゴリズム発想のキホン
