実用的なソフトウエアを開発するにはアルゴリズムの知識は欠かせない。基礎から機械学習まで、厳選した10個のアルゴリズムをPythonによる実装とともに解説する。 ［7 動的計画法］ レーベンシュタイン距離 多くの人にとって、アルゴリズムの学習の最初の壁となるのが、「動的計画法」ではないでしょうか。動的計画法は、「問題の部分的な結果を記録・利用しながら、最終的な結果を求める」手法の総称です。クイックソートや深さ優先探索のような手法よりも、1 段か2段、抽象的な概念である点と、アルゴリズムを可視化しにくい点が、難しく感じる原因なのだと思われます。また、“動的計画法”という名称が内容に合っていないことも、動的計画法をわかりにくくしていると言えるでしょう。 しかし、多くの有用なアルゴリズムは動的計画法の手法を使っているので、避けて通ることはできません。 ここでは、動的計画法で「レーベンシュタイン距離
検索結果の品質向上 / Improvement of The Quality of Search Results
2021年度リクルート エンジニアコース新人研修の講義資料です
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はドワンゴ Advent Calendar 2020 最終日の記事です。年の瀬ですね。 はじめに 本記事は、WHATWG Living Standardに準拠することを目的としたHTMLパーサである「gammo」の紹介を目的としている。gammoが実現していることを詳細に伝えるため、単なるgemの紹介に留まらず、HTMLの歴史や昨今のHTMLを取り巻く状況を簡単に解説し、WHATWG Living StandardにおけるHTML文書の解析アルゴリズムについて、実例と共に紹介する。 本記事で紹介するgammoの開発に取り掛かった
gzip の限界 ＝ CPU 1コア マルチコア・マルチスレッドのCPUがあるのに、gzip や lzma(xz)や bzipといったメジャーな圧縮は、CPUを１コアで処理するんですね。 CPU使用率を見てみたら、CPU利用率は100%を超えないんですね。 HDD・SSDの書き込み速度に限界があるからそれでも良かったんだろうが。いまはメモリが一般的に６４GBもある時代です。うちのマシンでもメモリが12GBもあるのに３GB程度の圧縮に、５分とか耐えられません。もうちょっと速くしたい。 cpu利用率が100%で頭打ちになる。gzip gzipを使ってると、CPU利用率が100%で止まるんですよね。lzma などの他の圧縮でも同じ。 gzip/ gunzip をマルチで処理する pigz / unpigz Pigz のマニュアルには次のように書いてある。スレッドを使って並列処理をするっぽい。 P
はじめに 個人開発で、Facemish ――みんなで作る、セクシー女優美女ランキング―― という超イケてるサービスを作ってしまった。 このサービスの元となったのは、Facebook のルーツとなった、マーク・ザッカーバーグが学生時代に作った Facemash という伝説的サービスだ。その件に関しては、以前に投稿した記事で詳細を書いたため、そちらを読んでいただければと思う。 このサービスは、表示される二人のセクシー女優のうち、どちらの顔がタイプか順に選んでいくゲームである。既に 1000 人以上の多くの人に遊んで頂けているゲーム自体もそれだけで結構楽しいのだが、このサービスのコア機能は、ゲームを通して集まったユーザの選択実績（いわば投票）によって、セクシー女優の美女度がランキングされるというところなのである（実質的には、顔の人気ランキングなので、まぁいってしまえば顔ランキング的なものだ）。
鬱の人々の書き込みが集まる「樹洞」 2012年、中国東部・南京市に住む一人の学生がSNSの「Weibo（ウェイボー）」に「さようなら」と書き込み、自ら命を絶った。その投稿には何百万ものコメントが寄せられ、ほどなくしてそこは鬱を抱える人々がオンラインで集う場になった。 ユーザーたちは、声に出して言えないことを吐露する場所という意味で「樹洞（じゅどう）」と呼んだ。そして、9年経った今でも、そこには毎日新たな書き込みがある。 ウェイボーのこうした書き込みを人工知能（AI）で検出し、自殺の危険性があるユーザーを特定しているのが「樹洞レスキュープロジェクト」だ。 オランダを拠点とする中国人コンピュータ科学者の黄智生が設計したアルゴリズムがもとになっており、仕組みはこうだ。 まず危険を察知したアルゴリズムが、その書き込みにフラグを立て、対話アプリ「WeChat（ウィーチャット）」のグループ機能でボラン
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、3D業界で大きな衝撃を与えた「3D Gaussian Splatting」1について、ご存知でしょうか？数少ない写真から、目を奪われるほど美しい三次元シーンを再構成できるデモを見て私も大感動しました。なぜこんなに美しいのか、どんな技術で実現したのか、興味が湧いています！ "普通の3D物体ではなく、カメラの移動に合わせて、水面に映る景色も正確に表現しています。これはなかなか凄い..." 私も時間をかけて論文や公開されたコード2を勉強しました。本家の実装はCUDA化されており、難解な部分が多く、論文に書かれていないこともあり
ベクトル検索エンジンQdrantの紹介
はじめに これはLivesense Advent Calendar 2022 DAY 14 の記事です。 普段は主にレコメンドシステムの開発・運用をやっています。仕事ではPythonを書くことが多いです。好きな言語はRustです。この記事では、ベクトル検索エンジンQdrantを紹介します。 ベクトル検索とは そもそもベクトル検索とは何だ、という人もいると思います。簡単に言えばベクトル検索は類似するベクトルを（正確性を犠牲にして）高速に計算する技術です。 なぜそのような技術が必要になるのか簡単に説明しましょう。 なぜベクトルの類似度を計算する必要があるのか 近年、機械学習技術によって様々なものがベクトルで表現されるようになりました。典型的には画像と文書（単語）です。 「類似する画像を求める」「ユーザーが入力したワードに関連する文書を返す」「ユーザーが閲覧したアイテムに類似するアイテムのリスト
ゼロから検索エンジニアになるまで
はじめに こんにちは @togatogaです。検索とRustが好きです。 仕事として検索を始めて約1年半が経ちました。僕が情報検索を学び始めた当初は、どのように勉強すればいいのか分からず、手探りでさまざまな本や記事を読み漁りました。最近は周りから「どうやって検索を学んできたのか？」と聞かれることが増えたので、僕が特に役立った本や記事を紹介します。 本記事はただのソフトウェアエンジニアが検索エンジニアになるまでのリスペクト記事です。 事前準備 ChatGPTやPerplexityを活用して質問・要約・翻訳を行いましょう。安くはありませんが、24時間いつでも相談でき、英語の記事を日本語に翻訳・要約できるので非常に助かっています。本はPDF形式で購入し、ChatGPT/Perplexityに取り込んで質問や解説をさせていました。 基礎 検索技術を学びたいものの、どこから始めればいいか分からない方
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? とても久しぶりです！ 1 年ぶりの投稿となりました、大槻 (通称、けんちょん) です。 去年、『AtCoder 版！マスター・オブ・整数』と題して、プログラミングコンテストで出題される整数問題を解くときに有効な考え方を特集する記事を 2 本書きました！ AtCoder 版！マスター・オブ・整数 (素因数分解編) AtCoder 版！マスター・オブ・整数 (最大公約数編) 今回はその続編として、素数を列挙するアルゴリズムであるエラトステネスの篩を特集していきます。なお今回の記事の内容は、競プロへの応用を意識していますが、純粋に数学的興味に
Everything Apple revealed at the iPhone 17 launch event: iPhone Air, iPhone 17 Pro, AirPods Pro 3 and moreIn case you missed it, here are all the details on the latest Apple devices.
コンピューターはどうやって乱数を生み出しているのか？
テレビゲームやギャンブル、暗号は一見すると全く関係ないように思えますが、実はすべて「乱数」を利用しており、現代人の生活は乱数なくして成立しません。そんな乱数をコンピューターでどうやって生成させているのかを、プログラミング関連のブログ・BetterProgrammingが解説しています。 Generating Random Numbers Is a Lot Harder Than You Think | by Sunny Beatteay | Sep, 2021 | Better Programming https://betterprogramming.pub/generating-random-numbers-is-a-lot-harder-than-you-think-b121c3e75d08 プログラミングで乱数を使いたい場合、例えばRubyの場合は「rand」、Pythonの場合は
不確実性の高い機械学習プロジェクトを自己組織化されたチームで健全かつ最大化されたゴールに向かうために
はじめに 「Goの正規表現は遅い」 そんなふうによく言われていました。（最近はあまり聞かなくなりましたが） たとえば、↓の記事ではPythonの正規表現と比較して1.5倍くらい遅いという結果になっています： この話には「Goの正規表現は最悪時間が短くなるように安定したアルゴリズムを採用しているから」という回答があります： ↑の記事の比較では、GoがPerlに対して約10倍以上高速という結果が出ているので、「Goの正規表現は遅くない！はい、論破ー！」というわけですね。 なんでこうなるのかも↑の記事で説明されているとおりですが、Perl（などのバックトラック型エンジン）が入力長に対して指数関数的に実行時間が伸びていくのに対し、Goの正規表現エンジンは入力長に対して線形時間で実行時間が伸びていくアルゴリズムを採用しているため、入力が長くなると急激にGoのほうが有利になるからです： 一方で、入力が
データやアルゴリズム、そしてユーザーにどう向き合うべきか (あるいはTwitterのホーム表示と時系列表示について) - フジイユウジ::ドットネット
プロダクト設計にかかわるひと、プロダクトマネージャーやマーケター、UXデザイナーがデータやアルゴリズムにどう向き合うか、Twitterが興味深い題材だなと思ったので、今日はその話を書きます。 また、Twitterの話ではありますがイーロン・マスクどうこうというのは1mmも出てこない、プロダクト(サービス)の話です。 Twitterに怒っている人は沢山いる(イーロンマスクの話ではないです) Twitterの何が興味深い題材かをまず説明します。 少し長いですが、最後の問いかけまで読んでいただけたら嬉しいです(問いかけをしたいだけで答えは書いてありませんからあしからず)。 Twitterには「ホーム」表示というのがあって、ホームにすると「あなたはこれ興味あるんじゃない?」と機械学習によるリコメンドされた投稿(トップツイート)が表示されるようになり、時系列ではなくなるのですが、実際のところいまのT
世界中で大きな盛り上がりを見せる「生成AI」。 生成AIを活用したChatGPTが史上最速で月間ユーザー数1億人を突破し、TIME誌の表紙を飾ったことは、その勢いを象徴する出来事だろう。 だが、ここで以下の2つの問いが浮かぶ。 生成AIは今までのAIと明確に何がちがうのか？ なぜ今このタイミングで生成AIがここまで盛り上がっているのだろうか？ この記事では上記2つの問いを海外のいくつかの記事を参考にしつつ解説していく。 生成AIと今までのAI技術との関係性まず生成AI技術とこれまでのAI技術との関係性を概観しておこう。 広い意味でのAI技術として、データの特徴を学習してデータの予測や分類などの特定のタスクを行う機械学習が生まれ、その中でデータの特徴をマシン自体が特定するディープラーニング技術が発展した。 そして、生成AIはこのディープラーニング技術の発展の延長上にある技術だと言える。 そし
建設的APIハック会場A
A会場はこちらでーす ブコメ、スターはご自由にどうぞー
[Minecraft × ChatGPT] マイクラで作りたいものを伝えると魔法みたいに実現してくれるコマンドを作る
2023/03/09 追記 このコマンドで使っているエラーハンドリングの仕組みについて別途記事にしました。 ChatGPTならではで面白いので、読んでもらえると嬉しいです！ 🔗 ChatGPT API にコードを書かせて eval する際のエラーハンドリング・プラクティス 息子と一緒に遊びたいなと、Minecraft と ChatGPT を繋げて、やりたいことを日本語で伝えるといい感じに実現してくれるコマンドを作りました 🪄 作ったもの /py magic に続けてやりたいことを伝えると、いい感じに実現してくれます。 家をつくる例 /py magic 10マス先に豪華な家を作って。窓は広めで。 水流エレベーターをつくる例 /py magic 水流エレベーターを作って。周りは石ブロックで。 🛠️ 実装 事前に Minecraft で Python を実行できる環境を整えます。 mcpi
![[Minecraft × ChatGPT] マイクラで作りたいものを伝えると魔法みたいに実現してくれるコマンドを作る](https://cdn-ak-scissors.b.st-hatena.com/image/square/743ee345a8e02dd16f605e1da17b234f8cb5ccc8/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--xe84uKbD--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BMinecraft%252520%2525C3%252597%252520ChatGPT%25255D%252520%2525E3%252583%25259E%2525E3%252582%2525A4%2525E3%252582%2525AF%2525E3%252583%2525A9%2525E3%252581%2525A7%2525E4%2525BD%25259C%2525E3%252582%25258A%2525E3%252581%25259F%2525E3%252581%252584%2525E3%252582%252582%2525E3%252581%2525AE%2525E3%252582%252592%2525E4%2525BC%25259D%2525E3%252581%252588%2525E3%252582%25258B%2525E3%252581%2525A8%2525E9%2525AD%252594%2525E6%2525B3%252595%2525E3%252581%2525BF%2525E3%252581%25259F%2525E3%252581%252584%2525E3%252581%2525AB%2525E5%2525AE%25259F%2525E7%25258F%2525BE%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%25258F%2525E3%252582%25258C%2525E3%252582%25258B%2525E3%252582%2525B3%2525E3%252583%25259E%2525E3%252583%2525B3%2525E3%252583%252589%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aryo_kawamata%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzU2N2NiMTI0ZWYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
「私は新Pixel 6が本当に気に入っているが、指紋認証が体験を台無しにしている」というユーザーの11月6日（現地時間）のツイートに、米Googleの公式Twitterアカウントが10分後に返答した。 Pixel 6シリーズの指紋認証は、背面ではなくディスプレイ内の光学式センサーによるものだ。Pixelシリーズでディスプレイ内センサーを採用するのはこれが初。 ユーザーのツイートは「ロック解除できるまでに6、7回トライしなければならないことがよくある。ソフトウェア更新で改善されるのを期待しているが、改善されなければこの端末をあきらめるかもしれない」と続く。 これに対しGoogleは「ご面倒をかけて申し訳ありません。Pixel 6の指紋認証センサーは強化されたセキュリティアルゴリズムを採用しています。そのため、場合によっては検証に時間がかかったり、センサーにしっかり指紋を接触させなければならな
Raftとは？ 仕組みから考える得意なこと苦手なこと/What is Raft? Strengths and Weaknesses Based on Its Mechanism
-- 追記-- > termの説明で「今のリーダーが何代目のリーダーかを表す」と書かれていますが、あるterm内でリーダーが1人も選出されないことがあるので、termで何代目のリーダーかは表せなくないですか？ https://x.com/11Takanori/status/1801212885…
Twitterが抱える「モデレーション問題」をイーロン・マスクはどう舵取りするのか（集中連載「揺れるTwitterの動きを理解する」第3回） | テクノエッジ TechnoEdge
ブロガー・著者・研究者。ブログLifehacking.jp管理人。著書に「ライフハック大全」「知的生活の設計」「リストの魔法」（KADOKAWA）など。理学博士。 @mehori イーロン・マスクによる買収で急激に変化しつつある巨大SNS「Twitter」の動きを解説する、堀正岳氏による集中連載の完結編である第3回は、モデレーション問題について。集中連載「揺れるTwitterの動きを理解する」の第1回、第2回はこちら。 連載第1回：イーロン・マスク氏はなぜTwitterの収益化を急ぐのか 連載第2回：なりすまし防止か有名人の証か。Twitterの認証バッジをめぐる経緯と混乱 英語圏ではTwitterを買収したイーロン・マスク氏のことを "Twitter's most important shitposter"「最も重要なクソツイッタラー」と紹介する人がいます。多少品がないとはいえ、この紹介
英語版 (English version) 更新履歴 2024-08-02 初版に存在した証明のミスを修正しました。初版では Rule 110 を実装することでチューリング完全性を示したと主張していましたが、状態の幅が固定になってしまっているという問題がありました。現在のバージョンでは、Rule 110 でなく Tag system を実装し、問題を解消できていると思います 概要 GNU の find と mkdir コマンドのみを使えるシステムはチューリング完全であることを示します。 sed や awk コマンドが単体でチューリング完全であることはよく知られていますが、find + mkdir がチューリング完全になるという言及は探した限りでは見つからなかったので、ここに報告します。 証明は、タグシステム を実装することによって行います。 完成形のコードは下の方にありますが、順を追って、
AI vs 人間まとめ【AtCoder World Tour Finals 2025 Heuristic エキシビジョン】 - chokudaiのブログ
結果が出たので、運営側から見た感想を纏めます。 本記事は長文を読みたくない方向けにポイントをまとめています。1問で観測できることなんてたかが知れてるので、chokudaiの予想を多分に含みます。 OpenAIの用意したエージェントは2位相当。素直に凄い。12人参加者9位相当になるのでは？というのが事前のchokudai予想 SakanaAI開発のALE-Agent(ID: fishylene)も4位相当（6桁円ほどのコスト）。これは事前の分析より 遥かに良い結果であり、AIが得意な問題であったと思われる。実装量の多い問題であったため、人間が10時間では足りない、というのが最大の理由。 OpenAIのロジックはALE-Agentから1段階実装量がとても多いのが増えている。増えたロジックはAIが苦手とされていたビームサーチ。モデルがめっちゃ良いorどんだけお金かけたの？ 前回記事予想の「現ルー
1. はじめに 最初に、本記事ではどのようなトピックを扱うのかについて、少し説明したいと思います。 1-1. 本記事で扱うトピック 21 世紀になり、IT 化が急速に進む今、現実社会ではいろいろなものが最適化されて動いています。これを形作るプログラミングの現場でも、例えば以下のような問題を考えたり、あるいは実際に使ったりすることもあるのではないでしょうか1。いくつか例を挙げてみましょう。 例 1. コイン問題：特定の金額をぴったり支払うために、最小で何枚の硬貨が必要か？ 例 2. 最短経路問題：地図上の A 地点から B 地点までに行くのに、最短で何メートル歩く必要があるか？ 例 3. 箱詰め問題：長方形の箱に、できるだけ多くの荷物を敷き詰めたい 例 4. 数分割問題：「できるだけ合計の値が近くなるように」2 つのグループに分割したい このように、いろいろな問題があります（もちろん名前を覚
Computer Science / Algorithm 検索エンジンの数値インデックスを支える Bkd-Tree Elasticsearchの数値データインデックスに使われるBkd-Treeというアルゴリズムを論文を読みながらまとめました。 Overview こんにちは pon です。Elasticsearch & Lucene 輪読会を弊社で毎週開催しているのですが、そこでBkd-Treeというアルゴリズムに行き着きました。そこでBkd-Treeの論文を読んでみたので、まとめたものを共有しようと思います。 論文はこちら Bkd-Tree: A Dynamic Scalable kd-Tree LuceneでのBkd-Tree Bkd-TreeはLucene6から導入されたようで下記のようにスペース効率、パフォーマンスが大幅に改善されたようです。 以下こちらのElasticsearch公
サービス開発部SRE課の@vvatanabeです。 2021年9月26日、OpenSSH 8.8がリリースされました。大きな変更として挙げられるのは、SHA-1ハッシュアルゴリズムを使用したRSA署名の廃止です。 本記事では、この変更がBacklogに与えた影響、その時現場で起こっていたこと、問題解決のプロセス、なにを教訓にしたのか等、順を追って解説します。 ※ 本記事はNuCon 2021で発表した内容をブログ化したものです。 問題の発覚 BacklogのGitへSSHでアクセスできない TypetalkのBacklog開発者のトピックで、以下のフィードバックが投稿されました。 「OpenSSH 8.8へアップデートすると、BacklogのGitへSSHアクセスできない」という内容でした。 問題の調査 Inside SSH protocol v2 深堀りしていく前に、SSHプロトコルの接
自身の研究のためにLLMに関する論文を表形式でまとめています。 このレポジトリでは特にさまざまな分野の論文を表にする(Comprehensive)ことを目的としています。具体的には以下のキーワードに注目しています。 CoT / VLM / Quantization / Grounding / Text2IMG&VID / Prompt / Reasoning / Robot / Agent / Planning / RL / Feedback / InContextLearning / InstructionTuning / PEFT / RLHF / RAG / Embodied / VQA / Hallucination / Diffusion / Scaling / ContextWindow / WorldModel / Memory / ZeroShot / RoPE / Spe
◆二分決定グラフは集合の集合を圧縮して表現することができるデータ構造です。これまで最悪時間計算量が未知であった二分決定グラフの多数の演算について、入力のサイズに対して演算の実行に指数的に時間がかかる事例が存在することを示しました。 ◆本発見は今後二分決定グラフを用いた応用において、正しく計算量を見積もるのに役立ちます。 ◆計算機科学に関する著名な教科書であるThe Art of Computer Programming（TAOCP）の記述の誤りを指摘するものであり、研究チームからの修正案が承諾され改訂予定です。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、論理関数を表現する著名なデータ構造である二分決定グラフにおける長年の未解決問題を解決しました。 二分決定グラフは集合族（※1）、つまり集合の集合を表現するデータ構造として、回路設計や通信ネット
Want to learn more about unlimited IOPS w/ Metal for Postgres and Vitess? Talk to Solutions By Ben Dicken | September 9, 2024 What is a B-tree?The B-tree plays a foundational role in many pieces of software, especially database management systems (DBMS). MySQL, Postgres, MongoDB, Dynamo, and many others rely on B-trees to perform efficient data lookups via indexes. By the time you finish this arti
GitHub - E869120/math-algorithm-book: 拙著『「アルゴリズム×数学」が基礎からしっかり身につく本』（2021/12/25 発売）の GitHub ページです。演習問題の解答や、C++ 以外のソースコードなどが掲載されています。ぜひご活用ください。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
小さな分析チームで始めるマイクロデータメッシュ
一つのデータパイプラインの中で、やりたいこと毎に小さいパイプラインを作る データ変換処理のパイプラインと言うのは、放置しているとどんどん複雑になる傾向にあります。 そこで、ある程度統制するため、層に分けるアプローチがよくとられています。 しかし、この層に分けると言うのは案外難しく、データ更新の頻度や鮮度の管理に課題があります。 今回はやりたい事ごとに都度パイプラインを作り、その中で他にも使えるテーブルを再利用してテーブルの乱立を防ぐ、方法を考えました。 このアプローチの実現にはいくつか制約があります。この記事では、直面している課題、アプローチの利点、そしてdbtを用いた実装方針について記載していきます。 この手法が着目している課題 データメッシュと言うと、大企業におけるデータマネジメントに近い印象を持つと思います。 上記の記事では、大企業における部署のような単位をドメインとしているので、組
なにか話すことはないかと Hacker News をみていたら（ろくでもない）、 Youtube や Gmail など Google のサービスが一時間落ちていたというニュースで 盛り上がっていた。担当者の想像するだけで胃が痛い。 森田はクライアントサイドで仕事をしているので、この手の outage は起きない。 けれど自分のところに担当したくないイヤなバグが回ってくることはたまにある。 そういうのを精神衛生を害さない程度で思い出してみたい。 A Ship Blocker 何年か前にカメラアプリのチームに入った直後、ハカソンでカメラのビューファインダに OpenGL のシェーダで簡単なエフェクトをかけるコードを書いた。 ハカソン最終日のデモで成果を紹介すると、より洗練されたリアルタイムエフェクトを近隣のアルゴリズムチームが長いこと構想していたことがわかった。 そこで彼らが開発していたエフェ
最適化超入門
この「最適化超入門」は、『最適化したい！』と思った時に、最初に参考になりそうなものをつらつらと語りました。
報酬確率分布の変化に応じたBandit Algorithm〜論文解説：A Linear Bandit for Seasonal Environments〜 - MonotaRO Tech Blog
はじめに MonotaROとBandit Banditの着目理由 MonotaROにBanditを導入する際の課題 A Linear Bandit for Seasonal Environments 論文概要 背景と動機 提案手法 実験 まとめ おわりに はじめに はじめまして、データサイエンスグループの岡林です。普段はbanditなどの強化学習を用いてUIの最適化に取り組んでいます。 このブログでは最近MonotaROが注目しているbanditの概要を紹介しつつ、その中でも事業特性にあったbanditアルゴリズムにフォーカスし、論文を解説します。 MonotaROとBandit Banditの着目理由 MonotaROでは、商品単位レベルでのUI最適化に取り組んでいます。例えば、商品に応じて商品ページのコンテンツ文言などを変化させ、より適切なUIを提供することに取り組んでいます。具体的に
米不動産テック大手Zillowの大失敗に見るAI経営の教訓…「予測モデルの過信」「目標設定のミス」は他人事ではありません | Business Insider Japan
こんにちは。パロアルトインサイトCEO・AIビジネスデザイナーの石角友愛です。 2021年最後の寄稿は、「著名不動産テックの新事業“ZillowOffers”はなぜ大失敗したのか」を考察します。 Zillowは、不動産情報サイト運営を手がける米国最大の不動産仲介マーケットプレイスです。2006年に創業して以降、米国の不動産情報に関するウェブ検索の約3割はZillowが持つとされ、取り扱う物件数は1億3500万件以上。2020年にはZillowウェブサイトに訪れる毎月のユニークビジター数が3600万人を記録しました（Zillowウェブサイトとアプリに関する統計はこちら）。 ZillowのビジネスモデルShutterstockZillowの従来のビジネスモデルは、家を売りたい人と買いたい人を集めるマーケットプレイスでした。主に、その仲介役の不動産エージェントに向けたビジネスモデルを特徴としてい
MapはO(1)、SwitchはO(N)？ Goのmapは、なにか深遠なるアルゴリズムによって取得時O(1)が成立していると聞いています。 switchは単純に一つ一つの節にマッチするか検証しているからO(N)ですよね？ だから、switchよりもmapを使ったほうがいいと思います switchで十分実現できる処理がmapで書かれていたのでレビューで変えるように指摘すると、このようなことを言われました。 確かにmapは取得時O(1)の時間計算量が掲げられていますし、対してswitchは一つ一つ検証していそうです。 ここで、O(N)程度の時間計算量なんか気にするのはcaseが1万とかになってからにしろ、「推測するより計測せよ」「早すぎる最適化」だと、どっちもどっち論で話を終わらせてもいいのですが、Goのような恵まれた環境ではちょっとでもopが増えたりnsレベルでも速度が遅くなるのは気になるの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実用アルゴリズムの基礎「動的計画法」と機械学習の基礎「類似度」を知る
WHATWG Living StandardとHTMLパーサ - Qiita
マルチコアのCPUを使い切って圧縮を速くする - それマグで！
セクシー女優の美女ランキングを作ったらいい感じになったからアルゴリズムを紹介する - Qiita
中国で「自殺したい人」を見つけるAI アルゴリズムは“心の病”の救世主になれるのか | 人工知能の有効性と限界
エラトステネスの篩の活用法を総特集！ 〜 高速素因数分解・メビウスの反転公式 〜 - Qiita
Engadget | Technology News & Reviews
AI Project Management Flow and Build Trap Review
Goの正規表現が遅いって言う人がいたから、（速い）正規表現エンジンを作ったよ
生成AIは今までのAIと何が違うのか？なぜいま盛り上がっているのか？｜KAJI | 梶谷健人
コンピュータサイエンスで1冊ずつ本を上げるとしたら何になりますか？就職前にバイブル的な本を勉強したいと思いました。 -コンピュータアーキテクチャ -データベース -os -アルゴリズムとデータ構造 -セキュリティ -ネットワーク -プログラミング -仮想化技術 | mond
「Pixel 6」の「指紋認証が遅い」というツイートにGoogleがリプライ
find + mkdir はチューリング完全 - Qiita
直感でわかる、ヒューリスティック問題の羅針盤 ～貪欲法から山登り法まで～ - Qiita
検索エンジンの数値インデックスを支える Bkd-Tree - 好奇心に殺される。
OpenSSHがSHA-1を使用したRSA署名を廃止、BacklogのGitで発生した問題と解決にいたるまでの道のり | 株式会社ヌーラボ(Nulab inc.)
【LLMの研究者向け】400本を超えるLLMに関する論文のリストを公開・更新しています - Qiita
「二分決定グラフ」の演算にかかる最悪時間計算量を証明～計算機科学分野の数十年来の未解決問題を解決～ | ニュースリリース | NTT
NICT、世界初となる量子コンピューターを利用した屋外多数同時接続に成功。次世代で期待される「10台以上同時接続」に前進
B-trees and database indexes — PlanetScale
バグのはなし / morrita - Message Passing
Algorithms for Decision Making
Goも当然にMapよりSwitchが速い ― 制約によるコンパイル時最適化の威力
share.google
filmarks.com
www.yomiuri.co.jp
tairanaritoshi-2.hatenablog.com
news.yahoo.co.jp
naoyafs1.hatenablog.com