Langchainを使用したKnowledge Graphの構築と質問応答 - Qiita
はじめに 「Knowledge Graph（知識グラフ）」は、情報を関連付けて構造化するグラフベースのデータモデルです。エンティティ（例：人、物、場所、概念など）間の関係をノードとエッジで表現することができます。以前紹介したRetrieval（本記事の下に該当記事へのリンクがあります）を用いた方法と似ているのですが、Retrievalが基本的には1:Xでデータベースから回答に関連した情報を探しにいくのに対し、知識グラフでは、逆引きを含むX:Xのような情報が複雑に関連している場合や、複雑なクエリの解決に役立ちます。一方で、情報の正確性確保やスケーラビリティの問題などの課題も存在します。 今回は、Langchainを使用して、テキストから知識グラフを構築し、その知識グラフを基に質問応答を行う方法について解説します。知識グラフを使うことで、ChatGPTだけでは回答の難しい、現在の出来事や専門知
Constructing knowledge graphs from text using OpenAI functions: Leveraging knowledge graphs to power LangChain Applications
Constructing knowledge graphs from text using OpenAI functions: Leveraging knowledge graphs to power LangChain Applications Editor's Note: This post was written by Tomaz Bratanic from the Neo4j team. Extracting structured information from unstructured data like text has been around for some time and is nothing new. However, LLMs brought a significant shift to the field of information extraction. I
ベクトル検索の苦手を克服。ナレッジグラフでRAGを作る
TL;DR ベクトル検索だと、複数のステップを踏まないと答えられない質問の検索がむずい 「TomにEmil Eifrém（Neo4jのCEO）を紹介してくれる人は？」とかを検索むずい ナレッジグラフは構造化データと非構造化データをうまく扱えてベクトル検索の苦手を補える 課題はあるけどナレッジグラフは、Neo４jとLangchainで構築できるよ。 はじめに 今回はベクトル検索の苦手分野をどうしても補ってあげたいとおもっている筆者やまぐちが、ベクトル検索の苦手を補ってあげられるナレッジグラフに関してまとめていこうと思います。 少々長い記事ですが、ベクトル検索を労ってあげたいと思っている方はぜひ読んでください。 ベクトル検索の限界 以前の記事の最後にも少しだけ記載しましたが、ベクトル検索は以下の問題点があります。 必要な情報がTop Kのドキュメントには含まれていない可能性がある。 チャンクの
IDOLS DIAGRAM [アイドル相関図]
「あのグループのあの子、どこかで見た気がする」を解決したい。追加・修正情報お待ちしてます。
![IDOLS DIAGRAM [アイドル相関図]](https://cdn-ak-scissors.b.st-hatena.com/image/square/73e64f69d619fc7f11062004f1adb94c90fe77cc/height=288;version=1;width=512/https%3A%2F%2Fidolsdiagram.s3-ap-northeast-1.amazonaws.com%2Fog.png)
にじさんじの配信者の類似性をチャットデータからネットワークグラフにして分析する - Qiita
にじさんじの配信者間で"似ている"配信者はどういう人たちか 唐突ですが、一週間前は文化の日でしたね。せっかくだったので、文化らしいことをしたいなと思い、youtube data apiを使って遊んでみることにしました。 youtube のデータを使ってなにかしよう、となったとき、他の人はどういう分析をするんでしょうか。最近よくみるデータとしてはスパチャランキング・登録者数推移の予測などが思い当たります。 そしてまた唐突に語り始めるのですが、僕はvtuberの配信をラジオ代わりに流していることが多く、いわゆるvtuberのオタクです。オタクのあり方には諸説ありますが、僕はラジオ代わりということもあり雑談配信やマイクラ配信を流していることが多いです。「にじさんじ」の配信を見ることが多い気がします。 さて、「にじさんじ」は言わずとしれた大所帯グループです。約100人の配信者が一つの箱に所属してい
上場企業がIR資料に入れちゃった「#このグラフがひどい2018 」 – このグラフがひどい！2018
おはようございます！ 私は @call_me_nots といいまして、今年の「ひどいグラフ」No.1 を決めるイベントを今日からやってみようと思っている者です。 雑すぎるグラフ、激しくミスリーディングなグラフ、純粋に意味がわからない謎のグラフ――。 世の中には日々たくさんの「ひどいグラフ」が生まれては消えていきます。 そんな中、ぜひ少しでも多くの人に、そんな残念すぎるグラフを楽しんでいただきたい！ そんな想いで、何か出来ることはないかなあと考えてみたところ、やっぱり普段からいろんなグラフを見ている人に、ランキング作ってもらえると分かりやすいかなあと思いまして。 成長可能性説明資料、ミルフィーユ集。 ⚡️ "本日のミルフィーユ"https://t.co/K9ZFavumn7 — 空き缶 (@akikankeri) April 10, 2018 上場企業の変なグラフを毎週のように楽しんでおられ
日本の中心はどの県だ？グラフ理論（ネットワーク）の基本的な諸概念 - アジマティクス
Ｑ：これは何の構造を表しているでしょう？ グラフ理論 上の構造のように、頂点（ノードともいいます）の集まりと、２つの頂点をつなぐ辺（エッジともいいます）の集まりでできたもののことを「グラフ」あるいは「ネットワーク」と呼び*1、このような構造を研究する分野こそが「グラフ理論（Graph theory）」です。今回はそんなグラフを使うと、身近なものの新たな側面が見えてくる話。 （余談ですが「グラフ」という用語は、数学だと関数のグラフとか円グラフみたいなやつもあって検索精度が悪いです。グラフ理論に関してわからないことがあった場合に「グラフ ○○」や「グラフ理論 ○○」とググるよりも、「ネットワーク ○○」とググったほうが得たい情報にリーチしやすいというライフハックが知られています） さて、冒頭のグラフです。グラフ理論の知識なんかひとつもなくても、このグラフから読み取れることはいくつもあります。例
ブラウザで画像化されたグラフからデータを抽出できるツールWebPlotDigitizerを使ってみる - Qiita
様々な資料ではデータをわかりやすく示すためグラフが用いられています。 グラフで示されているデータを他のデータと比較したり、表示の方法を変更したりしたくなることがありますが、元データが入手できない場合は画像からデータを抽出する必要があります。 目盛りをみながら手で数字にしていくのは大変な作業ですがWebPlotDigitizerというウェブアプリをつかうと比較的簡単にデータを抽出することができます。 使い方 WebPlotDigitizerは折れ線グラフ、棒グラフなどに対応しています。 今回は例として折れ線グラフからデータを抽出してみます。基本的な使い方は他のグラフでも同じです。 下記リンク先の「Launch App!」をクリックするとアプリの画面が開きます。 WebPlotDigitizer - Extract data from plots, images, and maps 画像の読み
「先輩のExcelグラフ、ダサいですね」とデザイナーが言ってきたので教えを請うたら恋が始まった
『Soldi』は、複数の企業と提携し情報を提供しており、当サイトを経由して商品への申込みがあった場合には、各企業から報酬を受け取ることがあります。ただし当サイト内のランキングや商品の評価に関して、提携の有無や支払いの有無が影響を及ぼすことはございません。また当サイトで得た収益は、サイトを訪れる皆様により役立つコンテンツを提供するために、情報の品質向上・ランキング精度の向上等に還元しております。 社内・社外向け問わず、資料作りで大活躍するのが Excelのグラフ。 Excelのデフォルト機能でさくっと作ったグラフでも結構いい感じに仕上がるので、「俺の資料、結構イケてるじゃん」と思っていました。 ところがある日の残業中、私が翌日の会議用資料の最終見直しをしていた時のことです。 私の後ろを通りかかったデザイナーのP子さんがぼそっとつぶやいた一言が、グサッと胸に刺さりました。 ※P子さんはこんな感
フジテレビ「池上彰特番」が犯した、残念すぎるレベルの３つのミス（髙橋 洋一） @gendai_biz
ゴールデン番組でやってはいけないレベル 先週16日（金）、午後8時からフジテレビで3時間の『池上彰緊急スペシャル』という特番が放送された（http://www.fujitv.co.jp/b_hp/ikegamiakira_sp/）。 格差はなぜ世界からなくならないのかという課題を、池上彰氏が解説し、ゲストのタレントや一般参加者が聞くという番組だ。 真面目な番組ではあったが、ネットでの評判はさんざんだ。番組内での「アメリカでの格差が最近広がった」という指摘は正しかったものの、アメリカと比較して、「日本の格差も酷い」という点の指摘がまずかった。 池上氏が「格差」を示すために使った図表が酷いと、ネットで酷評されたのだ。その表は、以下のとおりだ。番組が2時間くらい進行した時に出てきたものだ。 この二つの図は、日本とアメリカで、上位1％と下位90％の平均所得の推移を表したものである。しかし、一目でわ
池上彰氏の「格差はなぜ世界からなくならないのか」で使われたグラフに見る「なぜ印象操作はなくならないのか」
金曜プレミアム・池上彰緊急スペシャル https://t.co/Vb4jiYsTjc 前回 | 2016年12月16日(金) 19:57～22:52 放送 格差はなぜ世界からなくならないのか▽貧しい人がますます貧しく...深刻データ語る日本の格差 pic.twitter.com/g9AFUJHW6Y — 不破雷蔵(懐中時計) (@Fuwarin) 2016年12月17日 12月16日にフジテレビ系列で放送されたという「金曜プレミアム・池上彰緊急スペシャル 格差はなぜ世界からなくならないのか▽貧しい人がますます貧しく...深刻データ語る日本の格差」という番組で使われた、日米の所得に絡んだグラフ。そのものの画像や映像は権利関係があるので(引用の領域をこえるとの判断が成される可能性はある)直接の提示は止めておくけれど、どうも印象操作的なグラフの使われ方がされたとの指摘が多数挙がっている。 それを
老衰による死亡者の人数動向、その実情を探る（不破雷蔵） - エキスパート - Yahoo!ニュース
直近における老衰による死亡者、死亡者率歳と共に体が衰え、生命活動の維持が困難になることで死に至る状況を老衰(死)と呼んでいる。医療体系や高齢化の状況を推し量る一つの指針でもあるこの老衰の現状などを厚労省の人口動態調査における人口動態統計から確認していく。 まずは「老衰(死)」の明確な定義。歳をとるにしたがって体を構成する細胞や組織の機能が低下することを老化と呼んでいるが、その老化現象により生命活動能力が衰退し、生命維持が困難となり、多臓器不全で死に至った場合、それを老衰死と呼ぶことになる。厚生労働省が発行している、最新版の死亡診断書(死体検案書)記入マニュアルによると、死因として「老衰」が当てはまるのは、 とある。ただし老衰から他の病態を併発しての死亡の場合は、直接死因はその病態、その病態の原因として老衰を記述することとなる。 最新値となる2015年分の年齢階級別・老衰による死亡者は次の通
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
グラフによれば、たばこは無害？：朝日新聞デジタル
2020年のオリンピック・パラリンピックの東京開催に向けて、競技場の建設や交通網の整備など、いろいろな分野で準備が進んでいます。世界各国から人々が集まり、夢と希望と感動を届けてくれるイベントが開かれるのは今から楽しみです。 開催に向けては、健康面でも取り組みがなされています。ただ、2015年5月15日の朝日新聞によりますと、「2020年東京五輪に向けて、東京都の検討会は禁煙・分煙の条例化を進めてきたが、条例化を先送りする最終提言をまとめた」そうです。 http://www.asahi.com/articles/ASH5X6GZ6H5XUTIL048.html この記事によりますと「2004年以降、定着していた『禁煙五輪』の流れを断ち切りかねない動き」だそうです。 すでに欧米をはじめとする先進国では、たばこの健康に及ぼす悪影響は広く国民に周知されています。そして喫煙対策として、公共施設・レ
文科省副教材「２２歳をピークに女性の妊娠のしやすさが低下」のグラフは正しいか？
瀬川深 Segawa Shin @segawashin しかし22歳をピークに妊娠しやすさが低下するってホンマカイナ。どうも怪しげな数字の予感がするなあ。ヒマな時にソース探してみますかね。 2015-08-22 08:53:19 瀬川深 Segawa Shin @segawashin 取り急ぎこんなの見っけた。 children.gov.on.ca/images/inferti… Canadian Fertility and Andrology Societyのサーベイ。少なくとも20代はほとんど変化ないとみていいんじゃないでしょうかね。 children.gov.on.ca/htdocs/English… 2015-08-22 09:04:36
ミクシィ本決算が公開されて笑うしかないグラフができあがった（追記あり）｜インターネット界隈の事を調べるお
ミクシィの決算が出て、もうハンパない凄い数字でして。売上1,129億円（前期121億円）、営業利益526億円（前期4億円）ともうアレ。 http://www.nikkei.com/markets/ir/irftp/data/tdnr/tdnetg3/20150512/9a1p6b/140120150512471027.pdf 第2Qが終わった段階に作った図にそのまま3、4Qを足したら、図がおかしなことになった（笑）。 2016年3月期の業績予測は売上1,850億円、営業利益800億円だそうです。グラフが崩壊しそうです。 ■2015.8.13.追記 ミクシィ2016年3月期1Q（カッコ内は前年） 売上高500億円（127億円） 営業利益243億円（46億円） 前回の図に1Q分追加するとこんな感じ。 pic.twitter.com/9rDF7XolGs — Takanori Oshiba (@
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gephi Lite
Graph shows that Leonardo DiCaprio refuses to date women under 25
この発想は無かった!! 「EXILEの画像をアップすると近い構図の確率分布の画像が送られてくる」タグまとめ
文科省：妊娠副教材で誤った数値掲載 - 毎日新聞