Deep Learningで文章をNERする(AIで暗記を効率化する) - Qiita
google colab コード 概要 今回はdeep learningを用いたモデルに文章を与えて、その文章の特定のキーワードだけmaskingすることを目指しました。 例えば、多くの人は学生時代や資格の勉強などで文章にペンで緑色を引いて赤下敷きや赤シートで隠すということをやられたかと思います。しかし、それは意外と面倒です。下敷きで隠す前に線を引くだけで疲れてしまうこともあります。 その線で隠すというタスクをdeep learningで自動でやってもらって勉強の能率をあげようという目的で取り組みました。 これを達成する上で一番単純なのは、文章の固有名詞を抽出して全て隠すという方法です。 ただ、これは文章のキーワードが消えすぎてしまいます。一方で多くの文章にはその分野のキーワードだけではなく、色々な分野の固有名詞が含まれます。 機械学習の勉強をする人であれば、文章の機械学習に強く関連したキ
RIP Theano - 開発中止のアナウンスを受けて - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Deep Learning Framework の先駆け，"Theano" の開発中止が発表されました． MILA and the future of Theano Dear users and developers, After almost ten years of development, we have the regret to announce that we will put an end to our Theano development after the 1.0 release, which is due in th
1 つのグラフに対し、PyG の Sampler を利用してMini Batchによる学習を行う - Qiita
1 つのグラフに対し、PyG の Sampler を利用してMini Batchによる学習を行う TL;DR 大きな構造のグラフをグラフニューラルネットワークで学習する場合、メモリに乗り切らない可能性があるため、サンプリングして学習する必要があります。 今回、PyG; pytorch-geometicsのSamplerを利用して、1つのグラフをサブグラフに分割し学習を行ってみました。使用するSamplerは以下の通りです。 NeighborSampler データセットはみんな大好きKarateClubを利用しています。ノードが所属するクラスを推論するタスクです。 データの準備 from torch_geometric.datasets import TUDataset, KarateClub # dataset = TUDataset(root='/tmp/ENZYMES', name='
PyTorchによる人工衛星画像から車の推定分布地図を作成してみる． - Qiita
1. 概要． こちらの記事を読んだとき”この内容を理解し自分で実装できたらいいな〜”と憧れていました. Deep Learning で航空写真から自動車をカウントする こちらを自分で実装できることをターゲットに，PyTorchを学びました．ある程度できましたので，せっかくだから公開されている人工衛星の撮影画像に構築したモデルで車の台数を推量し，同様に車のマッピングを求めてみました． Copyright©2016DigitalGlobe. 学習用および検証用の画像データの取得，PyTorchでモデル化するためのDatasetおよびDataloader処理，学習，検証と人工衛星の撮影画像によるデモンストレーションを紹介します．Pytorchによる航空画像の建物セグメンテーションの作成方法.と同様に，PyTorchや画像分類が初めての方を対象としたため，かなり細かく紹介しています．そのため長文と
強化学習で酔っ払いの挙動を見る - Qiita
強化学習を勉強したい 普段私は業務でAI/機械学習に触れています。 ただ今までは教師あり学習を中心に勉強してきたのもあり、教師なし学習や強化学習についてあまり触れたことが無いなと思いました。 そこで昨日、強化学習ハンズオンに最適なこちらの記事を拝見し、実際自分もやってみようと。 やるにしても何かテーマが欲しいなぁと思いつつ記事を眺めていると、エージェントの動きに「あれこれ酔っ払いみたいじゃね？」と感じてしまいました。 こちらの記事では、始点から終点までの最適経路を求める強化学習をテーマとしていました。 エージェントは80％の確率で希望の方向に進み、10％の確率で左方向、10％の確率で右方向へ行ってしまう設定になっています。 これを使えば「酔っ払いの挙動を再現できるのでは・・・？」と思い、ハンズオンがてら実験してみました。 コロナ前、__居酒屋でべろべろになった記憶__を思い出しながらご覧く
結晶・分子グラフの効率的なDataLoader実装を考える - Qiita
はじめに 最近は結晶構造や分子構造をグラフ構造で表現し、機械学習を行うことが流行っています。特に、DFT計算でのエネルギーなどの出力をグラフニューラルネットワーク（GNN）で学習する、ニューラルネットワークポテンシャル（NNP）が非常に注目されています。ハイスループット計算により大規模なDFTデータセットの作成が可能になりつつあり、学習を行う際には結晶構造をグラフ化するコストも考える必要があります。 そこでこの記事では簡便かつ高速にpytorchのDataLoaderグラフデータを取得する方法を考えます。 必要なライブラリ ase lmdb ocpmodels （グラフ化のために、AtomsToGraphのみ使用） torch torch-geometric 実装方法 以下の3通りを試してみます。 aseのデータベースから読み込み LMDBから読み込み cifファイルから読み込み ase
オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録
はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 下記の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke Imoto, Shinnosuke Takamichi, Ryosuke Yamanishi, Takahiro Fukumori and Yoichi Yamashita, "Onoma-to-wave: Environmental Sound Synthesis from Onomatopoeic Words", APSIPA Transactions on Signal and Information Processing: Vol. 11: No.
DQNに秘書を面接させたら、美しい結果が得られた話 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DQNに秘書を面接させたら、美しい結果が得られた話 秘書とは「複雑に入り組んだ現代社会に鋭いメスを入れ、様々な謎や疑問を徹底的に究明する探偵！ナイトスクープ。私が局長の西田敏行（上岡龍太郎）でございます。そして」の次に話す人のことです。主に関西地方ではね。 本稿は、秘書問題をDQNに解かせてみたら、美しい結果が得られたという話です。 -- 【2018/9/1追記】 プログラムで、カウントアップの位置を間違えるという、信じられないミスをやらかしていたので、再度訓練し、原稿を修正しました。幸いなことに、美しい結果が得られることに変わりありま
PyG (PyTorch Geometric) で MetaPath2Vec して Node2Vec と比較 - Qiita
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、MetaPath2Vec を使うことがテーマです。Node2Vecとの比較も行ないました。 PyG (PyTorch Geometric) インストール PyG (PyTorch Geometric) のレポジトリは https://github.com/pyg-team/pytorch_geometric にあります。また、コードはチュートリアルドキュメント https://pytorch-geometric.readthedocs.io/en/latest/index.html を参考にしています。 import os import torch torch.manual_seed(0) os.environ['TORCH'] = torch.
D-Waveマシンで自然言語処理の問題をやってみました - Qiita
ノートブック D-Wave Leapで簡単に量子アニーリングマシンに問題を解かせるようになったので、実際に使ってみました。ただ解くだけのはさみしいので、いろいろこじつけて実用を考えながら自然言語処理のToy問題を作ってやりました。 内容でいうと、word2vecで単語のグラフを作ってその上でmax cutやminimum vertex coverをD-Waveマシンにやらせました。 アニーリングマシンの原理はややこしいので個々では解説しません。ゲートマシンについてはこちらで基本的なことを解説しています。 D-Wave Leapについて D-Waveの量子アニーリングマシンについて解説や学習資料、実際に動かすためのリソースなどをまとめたサービスです。詳細についてはこちらの動画がおすすめです。 D-Wave Leapに登録すると最初はいくぶんかの無料時間をもらえて実際にD-Waveのマシンで遊
PyG (PyTorch Geometric) のデータセットを自作する - Qiita
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、PyG (PyTorch Geometric)のデータセットを自作することがテーマです。自作ではなくベンチマーク用に用意してあるデータを用いる場合は過去記事をご覧ください。 日本地図のデータ 題材として日本地図のデータを用います。日本語を matplotlib で表示するための準備をします。 Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ Collecting japanize-matplotlib Downloading japanize-matplotlib-1.1.3.tar.gz (4.1
ランチ最適化問題(バンディットアルゴリズム編) - rmizutaの日記
はじめに 日々の生活を営む上で、ランチをどこで食べるかということは非常に重要な問題です(2回目)。 前回はこの問題を最適停止問題と捉えて探索と活用の最適点探索を行いましたが、最適停止問題では一度見逃した店はもう選択できないという制約がありました。 飲食店で考えると一度利用した店をもう一度利用することが可能なので、 この問いに対してはバンディットアルゴリズムを用いた方が適していると考えられます。 そのため今回はバンディットアルゴリズムを用いた場合の実験を行います。 参考図書 バンディット問題の理論とアルゴリズム ベイズ推論による機械学習入門 バンディットアルゴリズムについて 以下のスライドが分かりやすいです。 https://www.slideshare.net/greenmidori83/ss-28443892 バンディットアルゴリズムは例えばカジノのスロットマシーンのように、報酬が不明な
Social NetworksのEDAとLink Prediction 備忘録 - Qiita
概要 ソーシャルネット分析に含まれるLink Predictionについて、その精度がトポロジーに依存するだろうことを実験で確認する。 実施期間: 2022年3月 環境：Ubuntu20.04 LTS パケージ：scikit network, networkx 1. パケージ 使用するモデルにはDirected Graphを指定する。 ソーシャルネットは誰が誰をフォローしているだとか、どのサイトがどのサイトのリンクを張っているかだとか、どの論文がどの論文をciteしたか、方向があることが普通。 しかし馴染みのnetworkxや、いろんなアルゴリズムを実装したnetworkitはDirected Graphに対応していないAPIが多すぎて使えないので、ここではscikit networkで評価する。 importするパケージは下記となる。 import numpy as np import
安定マッチングを使ってお仕事の割り当てをした話 - Qiita
こんにちは、本記事は2021年BrainPadアドベントカレンダーの12日目の記事です。 今日は、面倒なお仕事の割り振りを、CPで安定マッチング問題を解くことで解決した話をします。 私の所属する会社には毎年新卒のデータサイエンティスト、機械学習エンジニアが沢山入ってきます1。様々なバックグラウンドの新卒が入って来るため、研修・育成は手厚いほうなのではないかと思います。そのなかのひとつに「新卒1年目は毎日業務時間1hを使って課題図書を読んで勉強する」というものがあり、6冊くらい統計学やパターン認識や数理最適化の教科書を読んでいます2。勉強することでお給料を貰っているわけですから、素晴らしい制度です。 さて、データサイエンスやら機械学習やらの分野は日進月歩で発展しており、教科書も毎年のように新しい本が出版されております。新卒の勉強会でも読む本をアップデートすべく、後輩に読んでもらう本の選定をす
ありがとう、Chainer。頼むぜPyTorch。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2019/12/5、PFNからChainerの開発を停止しPyTorchの開発に貢献するというアナウンスがありました。 Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 オフィシャルな発表が出たことは衝撃的でしたが、心の中で「いつかはこうなるんじゃないか」という思いがあったのも事実です。さびしくはありつつも、決断にはベストな時期だったのではないかと思います。ここ最近は動的グラフをサポートしたTensorFlow 2.0の公開があり、機能的にほぼ差異がなくなった2大フレームワークの決戦がいよいよ始まる・・
AutoKerasを試してみた - Qiita
機械学習業界では、時代はまさに『AutoML』と言えるような状況ですが、あのKerasにもAutoML対応のフレームワークが出たようです。 ※以前からあるようですが、最近新しくなったようです。 AutoKerasとは AutoKerasとは、テキサスA&M大学のDATA Labで開発された、AutoML対応のKerasモジュールになります。 誰もが機械学習にアクセスできることが目標とのことです。 条件 AutoKerasを動かすための条件は以下のようになっています。 Python 3.5以上 TensorFlow 2.1.0以上 以前はPyTorchを呼んでいたらしいのですが、今はTensorFlowベースとなっています。 インストール AutoKerasのインストールは簡単で、pip一発で終了です。 サンプル お馴染みのMNISTを実装してみると、以下のようなコードになります。 from
ニューラルネットワークでQRコードを解読する - プログラミング素人のはてなブログ
QRコードとは2次元バーコードの一種で、スマホなどで読み取ることで、文字列やURLなどを取得できるものです。 www.keyence.co.jp QRコードは無料でweb上などのサービスで、好きな内容を書き込んだものを作ることもできます。 一方、その内容を読み取るのは専用のアプリ以外では簡単にはできません。 そんな、簡単ではないことに挑戦しているのが↓ nlab.itmedia.co.jp 仕組みさえわかれば肉眼でもって…。 そこで肉眼ではなく、我々人類の強い味方、「ニューラルネットワーク」で解読ができるか？ということに挑戦してみました。 ここではweb用のURLをQRコードに書き込んで、ニューラルネットワークで解読してみます。 ニューラルネットワークの構想ニューラルネットワークとしてはモノクロの画像に、URLの文字列のn番目、という情報を付加して分類問題として評価します。（もっとスマート
映画「The Social Network」の脚本をNLTKで解析して遊んでみた - ぬいぐるみライフ？
※この記事には映画「The Social Network」のネタバレがそれなりに含まれています．これから映画を観る予定の方は逃げた方が賢明です． 最近ブログで宣言した通り，入門 自然言語処理を読みつつPythonのNLTK(Natural Language ToolKit)を使った自然言語処理について勉強中．入門 自然言語処理はPythonをロクに触ったことがない私でもちゃんと理解しながら読み進められるようになっているのが嬉しい． ところで，少し前に映画「The Social Network (ソーシャル・ネットワーク)」を観て，登場人物の台詞や行動がなかなか面白くて気に入ったのだけど，この脚本が映画の公式サイトで公開されていることを最近知った．映画の脚本となると，特徴的な表現が多く文章数もそれなりにあるので，興味深いコーパスになり得るのではないかと思う． というわけで，NLTK習い立ての
大規模サービスで効率よくレコメンドを提供するためにTensorflow Recommendersを活用する - DMM inside
はじめに こんにちは、DMMで機械学習エンジニアをしている二見です。 2020年に新卒で入社し、普段は検索やレコメンドの改善に従事しています。 DMMでは50を超えるサービスを提供しており、様々なデジタルコンテンツを取り扱っています。 また、各サービスには多くのユーザーの膨大なデータが日々蓄積されてます。 我々のグループでは、それらのビックデータを活用した改善施策を行うことで、各事業部の成長に日々貢献しております。 本記事では、新たにディープニューラルネットワークベースの先端的なレコメンドシステムを構築し、サービスに導入した事例を紹介したいと思います。 レコメンドエンジンの導入を検討している方・ニューラルネットベースのレコメンドに興味がある方の参考になれば幸いです。 目次 はじめに 目次 DMMにおけるレコメンドへの取り組み 背景 Tensorflow Recommendersとは 1.
MuZeroを使って強化学習で遊ぶ - Qiita
はじめに DeepMind が発表した MuZero という AlphaZero をより一般化した手法があります。ルールが明確な対人ゲームだけでなく、 Atariゲームのような一人用ゲームにも同じように適用できるというのが非常に強力で、性能もかなり高いようです。 （個人的に育休とか取っていたのもあって）1年くらいその存在すらしらず(...)、最近になってまたニュースになっていてやっと知ることができて、最近色々遊んでみているのでその共有をします。 すでに muzero-general という PyTorchベースの非常に素晴らしい実装のリポジトリが公開されているので、主にその紹介です。 muzero-general 良いところ 色々なゲームが最初から付いていて、自分で追加するのも非常に簡単にできる（1ファイル追加するだけ） Hyperparameterの調整も簡単 GPUが使えるなら使ってく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
