タグ

2021年9月8日のブックマーク (9件)

  • 最大内積探索(MIPS)のライブラリを公開しました | カメリオ開発者ブログ

    エンジニアの谷田です。 最大内積探索問題(Maximum Inner Product Search, 以下MIPS)ってご存知でしょうか?データベースに登録された多くのアイテムのベクトルのうち、クエリのベクトルとの内積を最大化するアイテムを探す問題です。行列分解を用いてユーザにアイテムをレコメンドするときなど、この探索が問題になってくることがあります。 MIPSを解く単純な方法は、与えられたクエリに対してデータベースのすべてのアイテムとの内積を計算することですが、これにはアイテム数に比例した時間がかかります。そのため、アイテムが何千万や何億といった数にのぼると、ベストなアイテムを返す処理を遅延なくリアルタイムで行うのは厳しくなってしまいます。 これを解決するために、局所性鋭敏型ハッシュ(Locality Sensitive Hashing, 以下LSH)という手法をもとにしたアルゴリズムが

    sh19910711
    sh19910711 2021/09/08
    "最大内積探索問題 (MIPS): データベースに登録された多くのアイテムのベクトルのうち、クエリのベクトルとの内積を最大化するアイテムを探す / ハッシュ関数を学習して、より上手にハッシュ値を計算できるように"
  • 弱教師あり学習は何を見ているのか? - Qiita

    前述のとおり飛行機はもともと800枚以上用意されていますが、今回はそのなかからランダムに200枚を抽出して利用しています。 画像サイズはまちまちなのですが、以下の分類モデルにXceptionを使うので、画像はすべて同一サイズ(299*299*3(RGB))に変換しておきます。 上記のデータを学習データ80%、テストデータ20%に分割して使用します。 正しいラベルで分類モデルを学習する 分類モデルはXceptionで学習します。 import keras from keras.utils import np_utils from keras.models import Model from keras import layers from keras.layers import Dense from keras.layers import Input from keras.layers im

    弱教師あり学習は何を見ているのか? - Qiita
    sh19910711
    sh19910711 2021/09/08
    "「腕時計」、「ヒョウ」ではないものとして「飛行機」を学習した場合、分類モデルは「飛行機」っぽさを学習しているのか、それとも『「腕時計」、「ヒョウ」』でないっぽさを学習しているのか"
  • MLOps の国際会議 OpML'20 に、機械学習を活用した商品監視の改善に関する論文が採択されたので登壇してきた

    MLOps の国際会議 OpML'20 に、機械学習を活用した商品監視の改善に関する論文が採択されたので登壇してきた 2020-09-06 MLOps の査読付き国際会議 2020 USENIX Conference on Operational Machine Learning (略称 OpML'20)に論文が採択されたので、登壇してきた。 Podcast でも紹介しました。 #1 MLOps の国際会議 OpML20 について at just4fun.fm MLOps の査読付き国際会議と OpML の立ち位置機械学習エンジニアリング・MLOps の領域の会議でも一番有名なものとして 2018 年に発足したMLSysがあります。(ちなみに最初は SysML という名前でした) このカンファレンスの傾向としては、アカデミアの研究者主体の発足経緯からアカデミアからインダストリーへの橋渡し的

    MLOps の国際会議 OpML'20 に、機械学習を活用した商品監視の改善に関する論文が採択されたので登壇してきた
    sh19910711
    sh19910711 2021/09/08
    "日本語に訳すと、 機械学習システムの壊れ方: 15年以上経過したMLパイプラインがどのようにしてぶっ壊れてきたか / How ML Breaks: A Decade of Outages for One Large ML Pipeline" / https://www.usenix.org/conference/opml20/presentation/papasian
  • 効率的に論文を読む力を得るための方法、あるいはラノベの有益性について。 - EchizenBlog-Zwei

    研究に直接関係ないタイプの労働をしていると、先端の研究を追いかけるのが困難になってきます。 なんといっても論文を読む時間がとれないので有識者の記事やらスライドやら書籍やらに頼ることになるのですが、とはいえ1次ソースであるところの論文を確認しないとどうにもならない場合もありますし、複数の論文を見てはじめてトレンドがなんとなくわかってくるということもあるように思います。 というわけで論文を効率的に読む力を得るぞ!という試みをやっています。参考になるかわかりませんが、この試みについて共有しておきます。 大雑把な方針 論文を読むにあたって、量と質の双方を高める必要があります。そこでこの2つの要素をそれぞれ伸ばすことを考えました。 論文を読む質を高める 社内で一緒に論文を読んでくれるという奇特な方がなんと1名もいらっしゃったので、総勢2人という大人数の論文読み会を定期開催しました。 3ヶ月毎に対象

    効率的に論文を読む力を得るための方法、あるいはラノベの有益性について。 - EchizenBlog-Zwei
    sh19910711
    sh19910711 2021/09/08
    "アブストラクトを読む上で困難になる点は2点 / 初見の用語 / 長時間にわたって文章を読み続けることによる疲弊 / ラノベはだいたい300P / 1ページの文章量がだいたい1つの論文のアブストラクトと同じくらい(たぶん)"
  • やはりお前らの多要素認証は間違っている | DevelopersIO

    よく訓練されたアップル信者、都元です。 いきなりガン煽りのタイトルで申し訳ないんですが、これしか頭に浮かびませんでした。 ちなみに原作は見たことがありません。 弊社は日を最終営業日として、これから冬季休業となります。 今年も一年、どうもありがとうございました。というわけで書き納めの一、その2。 さて、「認証」という言葉がありますが、要するに 相手が誰(何)であるかを確認すること を表します。 正確には「ひとつのデジタルアイデンティティがある実体に対応することの確証を得ること」です。 が、まぁそれはまた別のお話。 この「認証」はなにもコンピュータに限定した話ではなく、人間同士のコミュニケーションでも 随時行っている話です。目の前で自分と会話している人物が、当に自分が望んでいる相手かどうか、 というのは確信できていると思います。 結論 さていきなりの結論ですが。実は単要素なのに、二要素認

    やはりお前らの多要素認証は間違っている | DevelopersIO
    sh19910711
    sh19910711 2021/09/08
    "「認証」を行うためには、3つの方法があります。っていうかむしろ3つしかありません / WHAT YOU ARE (inherence factor) + WHAT YOU HAVE (possession factor) + WHAT YOU KNOW (knowledge factor) / パスワードと秘密の質問は所詮どちらも knowledge factor"
  • データベーススペシャリストの難易度をデータより分析する - みずぎわブログ

    はじめに IPAの情報処理技術者試験の中でデータベーススペシャリストというものがある。 自分もデータベース系の業務に携わっているので勉強がてら受験した。 Web上で情報を調べたり、参考書をみると、やたら高難易度の難しい試験であるように書いてあって、そんなに勉強する時間も気力も無いよと思いつつ、半ば諦めの気持ちで勉強し、試験へ挑んだ。最後まで諦めずにわからないなりに全力で解答欄を埋めたことが良かったのか、幸運なことに合格した(午前1:免除, 午前2:88点, 午後1:61点, 午後2:63点)。 そこで思ったのだが、この試験はWebや参考書で言われるように難しくはないのではないかということだ。そこで、2chのデータベーススペシャリストスレを見てみると、受験結果報告データがあったので、データベーススペシャリストらしく、2ch住民程度のリテラシーを持つ人達がどの程度合格していて、何が合格の決め手

    データベーススペシャリストの難易度をデータより分析する - みずぎわブログ
    sh19910711
    sh19910711 2021/09/08
    "データ収集 > 2chのデータベーススペシャリストスレより / テンプレがあるので、これをスクレイピング / 何度も受けたら受かるわけではなく、きちんと勉強して受けると受かる"
  • 「KPTの理論と実践」プロジェクトへの「ふりかえりカイゼン」の導入で学んだこと

    プロジェクトマネジメント協会の例会での資料です。 以下のURLにあるものと同じです。 http://www.pmaj.or.jp/library/open/regular/reg20100326.pdf 講演日:2010年3月26日 講演者:天野勝Read less

    「KPTの理論と実践」プロジェクトへの「ふりかえりカイゼン」の導入で学んだこと
    sh19910711
    sh19910711 2021/09/08
    "Keepから始まり、Tryで終わる / 良いこと(Keep)を共有することで、雰囲気が良くなる + 未来の話(Try)をすることで、同じ方向を向ける / Problemから始まり、Problemで終わるのはNG / 「しっかり」「ちゃんと」は要注意"
  • IstioとAuth0で認証・認可を体験してみた - Retty Tech Blog

    この記事は Retty Advent Calendar 2020 10日目の記事です。 adventar.org はじめに こんばんは、最近趣味でサックス🎷 を習い始めたエンジニアの櫻井です。 ServiceMeshの話題が出てからだいぶ経ちますがそろそろ自分でも触っておきたいなと思いServiceMeshを実現するツールの1つであるIstioにチャレンジしてみました。 今回はIstioの公式サンプルであるBookinfo ApplicationにJWT(JSON Web Token)による認証・認可を入れてみます。 この認証と認可については色々調べてみたものの、あんまり参考記事を見つけることができなかったので少々梃子摺りました。(なお記事についてはService MeshやIstioについての詳しい説明は割愛しているため、まずそれらがなんぞや?という場合にはリンクの記事を読むことをオ

    IstioとAuth0で認証・認可を体験してみた - Retty Tech Blog
    sh19910711
    sh19910711 2021/09/08
    ChromeのAPIでヘッダー弄る手があったか / "ChromeであればModHeaderなどの拡張を使って先程発行されたTokenを設定"
  • あなたがカッコの多いプログラミング言語でプログラムすべきでない8つの理由 - 意識の高いコード

    先日Twitter上でこのような画像を目撃してしまいました。 新年度にあたってプログラミングを始める方々、特に新入生、新社会人におかれましてはこのような宗教勧誘ビラに騙されず、幸せなプログラミングライフを送っていただきたいと切に願い、この記事を書こうと思い立った所存です。 カッコのやたらに多いプログラミング言語でプログラムすべきでない8つの理由 1. あまりに簡単に書けてしまう Hello Worldを書いた時の比較 Lisp(Common Lisp) (format t "Hello, World!\n") C言語 #include <stdio.h> int main(void){ printf("Hello, World!\n"); return 0; } C言語はこれを保存、コンパイルして実行しなければいけませんが、LispならREPL上ですぐ実行出来ます。 必要なステップや記述量

    あなたがカッコの多いプログラミング言語でプログラムすべきでない8つの理由 - 意識の高いコード