Learn, build, and scale with elastic - realizing great programming experience...Shotaro Suzuki
Elasticsearch勉強会_NLPQA.pptx
Learn, build, and scale with elastic - realizing great programming experience...Shotaro Suzuki
第45回elasticsearch勉強会 BERTモデルを利用した文書分類
第45回Elasticsearch勉強会のLTスライドです。 BERTモデルをElasticsearch v8.0.0-beta1 にインポートして利用します。Read less
AI で文章をかしこく比較！ Sentence-Transformers のご紹介 | SBテクノロジー (SBT)
DX station AI で文章をかしこく比較！ Sentence-Transformers のご紹介 印刷する こんにちは。データサイエンスチームの高橋です。 以前の記事では Transformers というライブラリを活用して BERT や ELECTRA の利用方法を紹介しました。Transformers は BERT をはじめとする自然言語処理モデルを使うときに必ずと言ってよいほど利用するライブラリで、当社でも様々な案件や業務で活用しています。 非常に汎用性の高い Transformers ですが、一方で特定のモデルをより簡単に実装できるライブラリも存在しており、目的に応じて使い分けると効果的です。そこで今回は、文章の処理に有効な Sentence-Transformers というライブラリを取り上げたいと思います。 Sentence-Transformers では文章を適切なベ
【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル - Qiita
2023/03/20 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル（バージョン2）と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021/12/14 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版（バージョン2）のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
Elasticsearch と NLP
Elasticsearch 8.0 から NLP を利用できるようになった。何のことか全くわからなかったので調べてみる 本文ざっくりまとめ Machine Learning の機能なので PLATINUM Subscription 以上 PyTorch機械学習モデルをアップロードする機能を導入 Elasticsearch 内で NLP できるようになった ベクトル検索がやりやすくなる NLP で何ができる（Elasticsearch でできる NLP とは別） センチメント分析：肯定/否定の二値分類 Named entity recognition (NER)：名前、場所、組織の抽出 テキスト分類 Text embededding Elasticsearch ができる NLP を扱うための機能 モデルをアップロードできる（Eland クライアント） https://github.com/
Elastic Stack 8.0 の NLP で日本語センチメント分析を試してみた - 後編 - Qiita
先日 Elastic Stack 8.0 の NLP で日本語センチメント分析を試してみた を書いたところ、「これ、ちゃんと日本語で処理できるのかな？中の動きが知りたい」とコメントいただきました。確かに、モデル側では fugashi などを使っているのに Elasticsearch 側では使ってないはずですね。 今回は Elastic Stack 8.0.1 を使って、 inference で判定させるテキストをどうやって tokenize しているかを調査してみました。 勿体ぶらずにまずは結論から。 結論: Elastic Stack 8.0.1 時点では、日本語は Unigram で扱われている 全体の処理の流れを Tokenizer を中心に整理してみました。 学習フェーズ 事前に学習する部分。 BertForSequenceClassification というアーキテクチャの一部で
ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
大阪市立大、分子の量子化学計算のジャマ者“スピン汚染”の除去に成功
大阪市立大学は、量子コンピュータを用いて分子の量子化学計算を行ったとき、望んでいるスピン量子数を持つ波動関数を正しく得るための手法として、「スピン汚染」(望んでいないスピン量子数を持つ波動関数成分)を効率的に取り除くことができる量子アルゴリズムを開発したと発表した。 同成果は、同大学大学院理学研究科の杉﨑研司 特任講師、佐藤和信 教授、工位武治 名誉教授らの研究チームによるもの。詳細は、国際学術誌「Physical Chemistry Chemical Physics」にオンライン掲載された。 原子や分子の微視的性質を支配するシュレーディンガー方程式を正確に解き、エネルギーを正確に求める「量子化学計算」は、量子コンピュータを活用した近未来の計算ターゲットとして、近年注目されている。 量子化学計算において原子・分子のエネルギーの超精密計算を実行しようとすると、従来のコンピュータ(古典コンピュ
ピアノを守るために！「防虫・防サビ剤」「除湿剤」は半年に1回交換しましょう！｜島村楽器 久留米ゆめタウン店
鍵盤が膨らんで戻ってこない ピアノの弦が錆びてしまう 調律が安定しない 上記は一部の例ですが、メンテナンスアイテムを使わないとピアノに支障が出てしまう可能性が高くなります。 修理となると内容にもよりますが数万円と高い修理費がかかってしまう場合も... 対策として、ピアノ用の除湿剤・防虫・防錆剤をご紹介します。 ピーコック ピアノスカット ピアノ除湿剤です。 ピアノの内部に入れておくだけ！で湿気を吸収してくれます。 さらに乾燥する時期には湿気を吐き出す呼吸作用を兼ね備えてます。 有効期間は、開封後約6ヶ月です。 裏に、使用開始日と交換目安日の記入欄もあります。 メーカー 品番 販売価格（税込） 除湿剤の設置方法 除湿剤の設置場所をご案内致します。 1:ピアノの下前板にある金属レバーを上に上げ、下前板を開けます。 ※下前板は重たいので、開ける際はお気をつけ下さい。 2:下前板が開きましたら内部
アップライトピアノの開け方その5（鍵盤の外し方と防虫剤の配置） – アラフォーによるピアノ練習記
アップライトピアノの鍵盤の外し方です。（ヤマハのアップライトピアノU1Hです） ついでに防虫剤を入れました。笑 先ず天板や鍵盤蓋を外します。 鍵盤を外します。 鍵盤を外すときはこんな感じに外します。 斜めから見るとこんな感じです。 外した鍵盤を横にして上から見た様子。 外した鍵盤を横にしてひっくり返した様子。 鍵盤を全部外した様子。 せっかくなので掃除機使って掃除しました。笑 せっかくなので防虫剤を入れておきます。 ちなみに防虫剤はピアノ用とかではなく普通の防虫剤「ムシューダ」です。某調律師のブログで「ムシューダ」を使っているのを見たので真似てみました。 もうすこし全体を映すとこんな感じです。 あとは鍵盤を戻すだけです。
量子コンピュータで何ができるのか？ - 見えてきたその活用方法
実用化一歩手前まできた量子コンピュータ カナダD-Waveが量子アニーリングを用いた量子コンピュータを開発し、それをGoogleやNASAが活用すると報じられて以降、量子コンピュータに対する注目度は高まり続けている。 2019年10月にはGoogleによる従来のノイマン型コンピュータでは演算に時間がかかっていた問題も、量子コンピュータを用いることで高速に解くことができる、いわゆる「量子超越性」を実現したとする論文が科学誌「Nature」に掲載されるなど、もうすでに実用化一歩手前まで来ているのではないか、という印象を受けるが、実際にどのようなところで活用できるのか、についてはなかなか見えてきていない。 そうした量子コンピュータの性能向上が進む一方で、実際の社会における課題解決に量子コンピュータが使えるのではないか、といった研究が世界各地で進められている。日本でも多くの企業がハードウェアの開発
理研が光量子コンピュータの研究施設を公開、2022年度内の本格稼働へ
理化学研究所(理研)は8月25日、同研究所和光地区の量子コンピュータ研究センター内にある光量子計算研究チームの研究施設をメディア向けに公開した。 今回公開された光量子コンピュータ 同チームは、東京大学工学部教授の古澤明氏がチームリーダーを務め、量子テレポーテーション技術を活用した光量子コンピュータの研究開発を行っている。 理研の光量子計算研究チームリーダーの古澤明氏 古澤氏が研究を進める光量子コンピュータとは 理研の量子コンピュータ研究センターでは現在、超電導量子ビットやシリコンスピン量子ビットなど、さまざまな技術を用いた量子コンピュータの研究開発が行われている。 古澤氏はこれらの量子ビットを「従来の量子ビット」と説明する。超電導量子ビットやシリコンスピン量子ビットを使った量子コンピュータの課題として、振動が減衰する定在波を利用するため、振動の寿命の範囲内ですべての演算を終えなければならな
量子コンピュータで分子などのエネルギー差を直接計算する手法を大阪市大が考案
大阪市立大学(大阪市大)は9月2日、量子コンピュータを用いて原子や分子の任意のエネルギー差を直接計算できる「量子位相差推定」アルゴリズムを開発したと発表した。 同成果は、大阪市大大学院 理学研究科の杉﨑研司特任講師、同・佐藤和信教授、工位武治名誉教授らの研究チームによるもの。詳細は、物理化学、化学物理学、生物物理学を扱う学術誌「Physical Chemistry Chemical Physics」に掲載された。 量子コンピュータの近い将来の計算ターゲットとして注目されているのが、量子力学の基礎となる「シュレーディンガー方程式」を近似的に解き、電子状態を明らかにする「量子化学計算」だという。 「全配置間相互作用法」(full-CI法)と呼ばれる精密な量子化学計算は、波動関数展開において、可能なすべての電子配置を考慮する方法だが、従来のコンピュータでは分子サイズに対して指数関数的に計算コスト
高精度量子化学計算の新手法！量子コンピュータで原子・分子の全エネルギーを計算する新しい手法を提案！
プレスリリースはこちらから この研究発表は下記のメディアで紹介されました。 ◆11/16 マイナビニュース 本研究のポイント ◇ 量子コンピュータを用いれば、精密な量子化学計算を分子サイズに対して従来のコンピュータよりも指数関数的に少ない計算ステップで実行できることが理論的に示されている。 ◇ 量子コンピュータでの精密量子化学計算手法である量子位相推定は、量子ゲートの並列処理がしにくい、隣り合わない2量子ビットにかかる量子ゲートが多いなどの問題を抱えている。 ◇ 先行開発した量子位相差推定アルゴリズムを応用し、従来法よりも量子コンピュータ実機に実装しやすい新規量子化学計算量子アルゴリズムを開発。 概要 大阪市立大学大学院 理学研究科の杉﨑 研司（すぎさき けんじ）特任講師、佐藤 和信（さとう かずのぶ）教授、工位 武治（たくい たけじ）名誉教授らの研究チームは、原子・分子の全エネルギーを計
量子コンピューターは創薬に何をもたらすのか…海外大手など応用探索へ | AnswersNews
グーグルやIBMなどが開発を進め、次世代アクセラレーターとして注目される量子コンピューター。原子や電子といった量子の振る舞いを応用した技術で、それゆえに化学や創薬の分野でもプロセスの高速化が期待されています。究極の量子コンピューターが実現するまで数十年かかると言われる中、製薬業界も海外大手メーカーを中心に応用探索に乗り出しています。 量子の性質を応用 量子コンピューターは、量子力学の原理を応用して計算を行う次世代アクセラレーター。コンピューターによる情報処理は通常、入力から結果の出力までに複数のプログラムを実行しますが、特定のプログラムに対して強力な計算能力を持つアクセラレーターを活用すれば、計算にかかる時間全体を短縮できると期待されています。 量子コンピューターは、動作原理や対応する課題によって「ゲート式量子コンピューター」と「イジングマシン（アニーリングマシン）」に大別されます。 ゲー
Google も計算化学に参入？ | 計算化学ポータルサイト | 計算化学.com
昨今話題になっている量子コンピューターですが、その有用な使い道の一つとして計算化学が挙げられています。本サイトでも、以前の記事で紹介しました。 参考：量子コンピュータで計算化学！？ そして本日、 Google が量子コンピューターを用いた化学計算用ライブラリのオープンプラットフォームである Open Fermion を発表しました。 ついに、Google まで計算化学に参入してきたという事で、大きな進歩が期待されます。 このプロジェクトは、Google で始まり、ETH, Lawrence Berkeley National Labs, Michigan 大学, Harvard 大学, Oxford 大学, Dartmouth 大学, Rigetti Computing, NASA などの貢献も大きかったようです。 量子化学計算は、量子コンピューターのもっとも有用な用途の一つとして広く認識
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchによる質問応答�～NLP機械学習モデルの利用～�
How to stop MinGW and MSYS from mangling path names given at the command line