Deep Learningで文章をNERする(AIで暗記を効率化する) - Qiita
google colab コード 概要 今回はdeep learningを用いたモデルに文章を与えて、その文章の特定のキーワードだけmaskingすることを目指しました。 例えば、多くの人は学生時代や資格の勉強などで文章にペンで緑色を引いて赤下敷きや赤シートで隠すということをやられたかと思います。しかし、それは意外と面倒です。下敷きで隠す前に線を引くだけで疲れてしまうこともあります。 その線で隠すというタスクをdeep learningで自動でやってもらって勉強の能率をあげようという目的で取り組みました。 これを達成する上で一番単純なのは、文章の固有名詞を抽出して全て隠すという方法です。 ただ、これは文章のキーワードが消えすぎてしまいます。一方で多くの文章にはその分野のキーワードだけではなく、色々な分野の固有名詞が含まれます。 機械学習の勉強をする人であれば、文章の機械学習に強く関連したキ
異言語間で画像を基に会話で翻訳モデルを構築する論文を読む - mabonki0725の日記
本来の異言語間の会話は、最初は同じ物を指して互いの言葉を言い合ったのが始まりで、互いの交流の中で細かいニュアンスまで理解する様になったのは想像に難くない。 今回の翻訳モデルは上記の過程を深層学習でモデル化したものである。従来の翻訳は構文解析や言語列の対応関係から行われてきたが、写真を媒介にした共通認識もとに言語を学び合うシステムで記号創発モデルでもある。対話を考慮しない言語モデルなんてずっと違和感があったが、やっと出現した感がある。 [1710.06922] Emergent Translation in Multi-Agent Communication 有難いことに説明の図は英語と日本語の例で示してある。（これは東大の中山研究室の論文を参照しているためと思われる） 構成としてはGANと同じ様な構成で英語→日本語 日本語→英語と①～④で循環しながら精緻化するモデルである。 ①では画像を一
検索システムで再現率向上に取り組んだ話 - コネヒト開発者ブログ
こんにちは。エンジニアの永井(shnagai)です。 今回は、現在進めている検索システム内製化プロジェクトの中で、検索エンジニアとしてはほぼ未経験に近い自分が半年ほど試行錯誤した内容の一部を書き記していこうと思います。 ※筆者の経験としては、Elasticsearch✕kibanaのログ基盤は複数構築経験はありで、Elasticsearch周りの設定への知識は0ではないレベル この記事を見て、検索に詳しい方や自分もやってみたいという方がいたら是非お声がけいただけるとうれしいです。 内容は、ざっくり下記の構成になっています。 作りながら身にしみた検索システムの奥深さ 初回ABテストでは既存エンジンに惜敗。再現率向上を目指すためのチューニング これから 作りながら身にしみた検索システムの奥深さ プロジェクトの開始前に、そもそも検索システムを自社で作り運用していけるのかの当たりをつけるために、マ
大阪人に関するうわさ - にわとり小屋でのプログラミング
世の中には大阪人に関する間違った認識があふれているように思う。 例えば、大阪人は縦縞のユニフォームを着ている、とか嫁さんが強くてカカア天下である、とかである。 今回はそのような間違った俗説を払拭するべくCoqで証明してみた。 Coq < Section なにわ. まず、次のような文を定めて、６つの噂を仮定する。ただし ~（にょろ） は否定を表す記号である。 Coq < Variable 大阪人である : Prop. Coq < Variable たこ焼きを食べたことがある : Prop. Coq < Variable 常に縦縞の服を着る : Prop. Coq < Variable 嫁さんの尻に敷かれてる : Prop. Coq < Variable 阪神の試合には欠かさず行く : Prop. 大阪人である is assumed たこ焼きを食べたことがある is assumed 常に縦縞の
Dagger で Node.js アプリをビルドする - なんとなくな Developer のメモ
CI/CD のパイプラインを定義するためのツール Dagger を使って Node.js アプリのビルドを試してみました。 Dagger v0.2.7 今回使用したソースは こちら sample1. echo の実施 まずは以下の処理を Dagger で実施してみます。 (1) ローカルの input.txt ファイルの内容を取得 (2) alpine イメージでコンテナを実行し、(1) に _echo を付けた文字列を echo して /tmp/output.txt へ出力 (3) コンテナの /tmp/output.txt の内容を取得し、ローカルの output.txt ファイルへ出力 Dagger プロジェクト作成 下記コマンドを実行して Dagger の実行に必要なファイルを作成しておきます。 $ dagger project init $ dagger project upda
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Xtermを忘れないで - Folioscope
水を求めて〜蜃気楼に負けないゲーム開発〜
