高次元ベクトルデータ検索技術「NGT」のpythonライブラリ公開のお知らせ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介されたNGT（Neighborhood Graph and Tree）という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実践的な内容を紹介します。word2vecを扱うライブラリとしてgensimを使用します。word2vecやgensimの詳しい説明は省略しますが、分からなくてもpythonの文法を知っていれば理解できると思います。今回使用した環境はMacBo
Rustのパニック機構 - 簡潔なQ
概要: Rustのパニック機構は異常終了の処理を安全に行うためにある。この動作を詳しくみていく。 パニックとは何か Rustには2つの異なる例外処理機構があります。 発生源 対処方法 例 パニック プログラミングエラー 原則として捕捉しない assert!() 境界外参照 Result 例外的な入力 必要に応じて捕捉 I/Oエラー (File::read) パースエラー (str::parse) パニックとResultの関係についてはTRPL第2版第9章、未定義動作とパニックの関係についてはRustonomiconのUnwindingの章などが参考になります。 パニックを想定した安全性 Rustではたとえパニック状態でも未定義動作だけは絶対に避ける必要があります。そのため以下の関数は不健全 (unsound)です。 use std::ptr; // この関数はRustではunsound (
ファクトチェックを支援する技術的な取り組みについてデブサミ 2018 #devsumi でお話してきました
最近携わっているファクトチェック関連のお仕事について デブサミ 2018 でお話する機会 を頂いたので、登壇してきました。 ファクトチェックを技術的に支援する取り組み 昨年 6 月の ファクトチェック・イニシアティブ 設立とともに始まった テクノロジーを用いたファクトチェック支援 を目指すプロジェクト1 では、ファクトチェッカーの方々の業務を自然言語処理や機械学習を用いて効率化したり、またファクトチェックの成果物であるレビューデータをオープンに利活用できる仕組みを作ることを目的としています。 今回のデブサミでは、特に前者の取り組みについてお話ししました。発表資料は以下になります。 発表を終えて 発表では「ファクトチェック」の説明にかなり時間を割いて話をしたので、その分技術寄りの話がちょっと手薄になってしまった感がありました。自然言語処理や機械学習の濃ゆい話を期待していた方にはちょっと物足り
軽い気持ちでLinkedListを使ったら休出する羽目になった話 - Qiita
ざっくり言うと リスト構造のデータに対してランダムアクセスはしちゃだめだぞ。お兄さんとの約束だ！ 発端 数年前に他部署の支援で作ったJavaのシステムに、ちょっとデカめのデータを突っ込んだらありえないほど遅いので助けてくれ、と連絡が入った。 まぁクエリとかインデックスをちょっと見れば直るっしょ・・・と鼻をほじりながら支援に向かった。 処理内容 遅い部分の処理は以下のようなものであった。 処理対象のデータをListで受け取る。 それをforループで1件ずつ前処理する。 処理結果をオブジェクトに格納し、ORマッパーでDBにINSERTする。 これだけ？ そう、これだけだ。並列処理なんて高級なことはもちろんやってない。 インフラ調査 処理中のサーバのようすを調査する。今回のインフラは典型的な3層3サーバ構成。 WEBサーバはなにもかもが余裕。 APサーバではCPUを1つ使い切っている。 14コア
I left MF to get English skills
2018-02-15 was my last day at Money Forward, Inc. Previous: Senior Engineer at Money Forward, Inc. in Tokyo, Japan (2016-03-01 – 2018-02-28) Current: English learner at PINES International Academy in Baguio, Philippines (2018-02-19 -) Next: Senior Engineer at (TBD) in Hong Kong, Singapore or Shenzhen There is no amazon wish list, because I moved to Philippines already 🙂
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Resolved] convert.exe missing from 7.0.1-Q16? - Legacy ImageMagick Discussions Archive
りそな×チームラボの「銀行っぽくない」アプリ：日経ビジネスオンライン
Install development headers/libraries with ImageMagick · Issue #6 · bdukes/Chocolatey-Packages · GitHub