大規模データセットのためのアルゴリズムとデータ構造 - カメヲラボ
とても良い本が出ます 概要 構成 第1部：確率的で簡潔なデータ構造 第2部：ストリーミングデータ構造とアルゴリズム 第3部：外部記憶データ構造とアルゴリズム 具体的なコードは少な目 参考文献がしっかり書いてある 数式は最低限 図がモリモリ 翻訳版特有の情報 内容的な修正 カタカナ表記 検索のしやすさ 読む際のリズム 表現について 訳注について 音引きについて いきなりでごめんなさい（誤植情報） とても良い本が出ます 大規模データセットのためのアルゴリズムとデータ構造 作者:Dzejla Medjedovic,Emin Tahirovic,Ines Dedovicマイナビ出版Amazon 『大規模データセットのためのアルゴリズムとデータ構造』という本が7月26日発売に発売されます。原書はAlgorithms and Data Structures for Massive Datasetsとい
さまざまなレート制限アルゴリズムをアニメーションでわかりやすく視覚化するとこんな感じ
スパム防止などのためのレート制限を行うアルゴリズムは多数存在しています。さまざまなアルゴリズムの特徴をアニメーションでわかりやすくまとめたブログ記事をChatGPT関連のサービスsmudge.aiが開発ブログにて公開しました。 rate limiter – smudge.ai blog https://smudge.ai/blog/ratelimit-algorithms 配信のチャット欄にスパムが出現するという状況において、レート制限がない場合にはスパマーは短時間のうちに多数の投稿を行ってチャット欄を一人で埋め尽くしてしまいます。 左上の「Enable rate limiting」にチェックを入れるとレート制限を加えた場合の挙動が確認できます。レート制限が加わったことで、スパマーの投稿のほとんどをブロックしてチャット欄に与える影響を下げることができました。このとき、状況に応じて適切なアル
ロシアとの戦争でウクライナに優位性を与えた「Palantir」の情報・戦闘管理アルゴリズムとはどのようなものなのか？
ウクライナ戦争が2度目の冬を迎える中、ロシアはウクライナの電力インフラや病院などを狙った攻撃を繰り返していますが、2022年11月末にはイギリスの国防省によって「ロシア軍はミサイルが枯渇している」との分析結果が示されるなど、戦況はウクライナ側の優位に進んでいるとみられています。この優位性の立役者の1つとなったアメリカのテクノロジー企業・Palantirが作り上げた戦闘システムと「アルゴリズム戦争」の行く末について、現地を取材したジャーナリストのデイビット・イグネイシャス氏がレポートしました。 Opinion | How the algorithm tipped the balance in Ukraine - The Washington Post https://www.washingtonpost.com/opinions/2022/12/19/palantir-algorithm-d
Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
基本に立ち返る: 動画圧縮の裏側で使われる仕組み | Amazon Web Services
Amazon Web Services ブログ 基本に立ち返る: 動画圧縮の裏側で使われる仕組み 動画エンコーディング この Blog では、動画エンコーディング処理（圧縮）の基本について、簡単な言葉で説明していきます。 圧縮・エンコーディングの主な目的は、動画の記録、保存および伝送するのに必要となるデータの量を削減することです。これは、ストレージハードウェア、データ伝送時間、必要となる配信帯域幅の削減に繋がります。 動画をエンコードするための多くの異なるアルゴリズム（例えば、MPEG-2、H.264/AVC、H.265/HEVC、VP9、AV1 など）が存在しますが、今日使われている一般的なコーデックのほとんどは、このブログ記事で紹介する共通の原理に従います。 Joint Photographic Experts Group もしくは JPEG 圧縮 デジタル画像を圧縮するために最も一般
仕事で出会ったアルゴリズムたち - estie inside blog
こんにちは。@kenkoooo です。 教科書に載っているようなアルゴリズムって勉強しても仕事では全然使わない、と見せかけて意外と使うなぁと感じたので、仕事で見たことがあるアルゴリズムをいくつか紹介します。 広告を配信したい！ あなたはウェブサービスの会社で働いています。サービス利用者のユーザーに広告を配信することで、広告主からお金をもらっています。 あなたは今から広告主からもらった広告をユーザーに配信します。 広告主が 社います。 広告主 は広告を 人に配信したいです。 配信対象となるユーザーが 人います。 ユーザー は広告主 の広告は受け取りを許可しています。 ユーザー は、合計 件までしか広告を受け取りたくないです。 上記のような条件の中で、どのように広告を配信したら良いでしょうか？ 条件を整理する 条件を整理してみましょう。 各ユーザーごとに、受け取りを許可している広告主がいます。
リアルタイム共同編集のアルゴリズム (Operational Transformation; OT) を理解する試み – RORO
Google Docsのように文書を複数人でリアルタイムに共同編集できるアプリケーションがあります。あのような機能は、多かれ少なかれ、Operational Transformation (OT; 操作変換) という考え方を使って実現されているようです。興味があったので、このOTについて調べてみました。 (追記: これからは OT でなく CRDT だという話 → I was wrong. CRDTs are the future) なおGoogle Docsではいわゆる「リッチテキスト」を共同編集できますが、ここでは話を簡単にするために「プレーンテキスト」を共同編集することを想定します。 リアルタイム共同編集の流れ 共同編集システムの登場人物は次の通りです： サーバ x 1（各クライアントから届く編集操作をもとに、最新の文書を保持します） クライアント x N（文書を編集する側です） そ
できるだけ嘘を書かずに計算量やオーダーの説明をしようとした記事 - えびちゃんの日記
計算量についてのお話です。対象は、プログラミング経験はあるが計算量のことを知らない初心者から、計算量のことを知っているつもりになっている中級者くらいです。 数式を見たくない人にとっては読むのが大変かもですが、深呼吸しつつ落ちついて読んでくれるとうれしいです。 それから、この記事が自分には合わないな〜と思ったときは、（別の記事を Qiita とかで検索するよりも）この記事の一番下の 参考文献 にある本を読むことをおすすめします。Amazon の試し読みで無料で読めます*1。 TL; DR 関数の増加度合いのことをオーダーと呼ぶよ 計算量は、入力サイズ（など）を受け取ってアルゴリズムの計算回数（など）を返す関数だよ その関数のオーダーについての議論がよく行われるよ オーダーを上から抑えるときは \(O\)、下から抑えるときは \(\Omega\) を使うよ オーダーを上下両方から抑えたいときは
米不動産テック大手Zillowの大失敗に見るAI経営の教訓…｢予測モデルの過信｣｢目標設定のミス｣は他人事ではありません
こんにちは。パロアルトインサイトCEO・AIビジネスデザイナーの石角友愛です。 2021年最後の寄稿は、｢著名不動産テックの新事業“ZillowOffers”はなぜ大失敗したのか｣を考察します。 Zillowは、不動産情報サイト運営を手がける米国最大の不動産仲介マーケットプレイスです。2006年に創業して以降、米国の不動産情報に関するウェブ検索の約3割はZillowが持つとされ、取り扱う物件数は1億3500万件以上。2020年にはZillowウェブサイトに訪れる毎月のユニークビジター数が3600万人を記録しました（Zillowウェブサイトとアプリに関する統計はこちら）。 Zillowの従来のビジネスモデルは、家を売りたい人と買いたい人を集めるマーケットプレイスでした。主に、その仲介役の不動産エージェントに向けたビジネスモデルを特徴としています。賃貸用の不動産を管理している業者向けにリスティ
【執筆体験記】大学 1 年生が、アルゴリズムの本を書くまで - E869120's Blog
0. はじめに こんにちは、東京大学 1 年の米田（@e869120）と申します1。私は競技プログラミングが趣味であり、AtCoder や 日本情報オリンピック などに出場しています。2021 年 12 月 30 日現在、AtCoder では赤（レッドコーダー）です。 この度、「アルゴリズム×数学」が基礎からしっかり身につく本 を技術評論社より出版しました（既に発売されています）。アルゴリズムと数学を同時に習得できる新しい入門書です。本の内容や特徴については、 アルゴリズムと数学の本を書きました - E869120's Blog をご覧いただければと思います。 実際、一冊の本を完成させるというのは決して簡単なものではありませんでした。本記事では、本を書いたきっかけや、どのように執筆が進んだかについて記したいと思います。 目次 0. はじめに 目次 1. 本を書くことを決めるまで 1.1 競
Python言語による実務で使える100+の最適化問題 | opt100
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
OpenSSHがSHA-1を使用したRSA署名を廃止、BacklogのGitで発生した問題と解決にいたるまでの道のり | 株式会社ヌーラボ(Nulab inc.)
サービス開発部SRE課の@vvatanabeです。 2021年9月26日、OpenSSH 8.8がリリースされました。大きな変更として挙げられるのは、SHA-1ハッシュアルゴリズムを使用したRSA署名の廃止です。 本記事では、この変更がBacklogに与えた影響、その時現場で起こっていたこと、問題解決のプロセス、なにを教訓にしたのか等、順を追って解説します。 ※ 本記事はNuCon 2021で発表した内容をブログ化したものです。 問題の発覚 BacklogのGitへSSHでアクセスできない TypetalkのBacklog開発者のトピックで、以下のフィードバックが投稿されました。 「OpenSSH 8.8へアップデートすると、BacklogのGitへSSHアクセスできない」という内容でした。 問題の調査 Inside SSH protocol v2 深堀りしていく前に、SSHプロトコルの接
FLoCとはなにか - ぼちぼち日記
1. はじめに Google がChrome/89よりトライアルを開始しているFLoC (Federated Learning of Cohorts)技術に対して、現在多くの批判が集まっています。 批判の内容は様々な観点からのものが多いですが、以前より Privacy Sandbox に対して否定的な見解を示してきたEFFの批判「Google Is Testing Its Controversial New Ad Targeting Tech in Millions of Browsers. Here’s What We Know.」が一番まとまっているものだと思います。 これまで Privacy Sandbox 技術に関わってきた身としては、各種提案の中でFLoCは特にユーザへの注意が最も必要なものだと思っていました。しかし、これまでのド直球なGoogleの進め方によって、FLoCのトラ
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
eスポーツ大会プラットフォームTonamelのトーナメント表を作り直したときの知見がこちらです(前編) - KAYAC engineers' blog
こんにちは、こんばんわ、正統派近代小説感覚2D対戦アクションUNDER NIGHT IN-BIRTHではオリエを使っていますが、最近はミカに浮気中です。谷脇です。 この記事はTech KAYAC Advent Calendar 2020の7日目の記事です。長くなってしまったので8日目もお借りして前後編でお送りします。 昨日は@commojunさんの6年続いているサービスのPerlのバージョンを5.16から5.30へと今にもアップデートさせようとしているでした。この話で上がっているサービスのリリース時から私は携わっていたので、残してきた負債を回収してくれて、申し訳なさとありがたいと感慨深いが同時に来る感じで読ませていただきました。 さて、私は最近、ゲーム大会のエントリーから大会進行、トーナメント表構築に至るまで誰でも！かんたんに！開ける！参加できる！Tonamelというサービスのサーバサイド
fuzzy-finder で使われるスコアリングアルゴリズム - blog.syfm
fuzzy-finder を構成するアルゴリズム fzy や fzf といった fuzzy-finder を使うと、stdin などからリストを受け取り、ユーザの入力によってマッチする行を絞り込むことができます。このとき、入力文字列の各文字は隣接している必要がありません。例えば、以下の画像のように baz という入力が与えられた時、これにマッチする行が絞り込まれます。また、マッチした行のリストは、入力値に基づいてより最適な順番にソートされて表示されています。同じく以下の画像の例を見てみると、入力後では baz という行が foobarbaz よりもセレクタに近い位置に表示されていることが分かります。このように、入力値が曖昧でも目当ての文字列を即座に見つけることができるのが fuzzy-finder の便利なところです。 上記のような機能は、approximate string matchi
アニメ画像から衣装部分だけを抽出して自動でコスプレ衣装画像を生成することが可能に
同志社大学とファッション専門のオンラインショッピングサイトであるZOZOTOWNの開発を担うZOZOテクノロジーズが共同で、アニメのキャラクター画像からコスプレ用の衣装画像を生成する研究を行っています。 [2008.11479] Anime-to-Real Clothing: Cosplay Costume Generation via Image-to-Image Translation https://arxiv.org/abs/2008.11479 Anime-to-Real Clothing: Cosplay Costume Generation viaImage-to-Image Translation (PDF)https://arxiv.org/pdf/2008.11479.pdf 研究論文の著者のひとりである後藤亮介さんは、自身のTwitterアカウント上で論文について「ア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Understanding Deep Learning
Grind 75 - A better Blind 75 you can customize, by the author of Blind 75
Red Blob Games
