ニューラルネットワークでQRコードを解読する - プログラミング素人のはてなブログ
QRコードとは2次元バーコードの一種で、スマホなどで読み取ることで、文字列やURLなどを取得できるものです。 www.keyence.co.jp QRコードは無料でweb上などのサービスで、好きな内容を書き込んだものを作ることもできます。 一方、その内容を読み取るのは専用のアプリ以外では簡単にはできません。 そんな、簡単ではないことに挑戦しているのが↓ nlab.itmedia.co.jp 仕組みさえわかれば肉眼でもって…。 そこで肉眼ではなく、我々人類の強い味方、「ニューラルネットワーク」で解読ができるか？ということに挑戦してみました。 ここではweb用のURLをQRコードに書き込んで、ニューラルネットワークで解読してみます。 ニューラルネットワークの構想ニューラルネットワークとしてはモノクロの画像に、URLの文字列のn番目、という情報を付加して分類問題として評価します。（もっとスマート
映画「The Social Network」の脚本をNLTKで解析して遊んでみた - ぬいぐるみライフ？
※この記事には映画「The Social Network」のネタバレがそれなりに含まれています．これから映画を観る予定の方は逃げた方が賢明です． 最近ブログで宣言した通り，入門 自然言語処理を読みつつPythonのNLTK(Natural Language ToolKit)を使った自然言語処理について勉強中．入門 自然言語処理はPythonをロクに触ったことがない私でもちゃんと理解しながら読み進められるようになっているのが嬉しい． ところで，少し前に映画「The Social Network (ソーシャル・ネットワーク)」を観て，登場人物の台詞や行動がなかなか面白くて気に入ったのだけど，この脚本が映画の公式サイトで公開されていることを最近知った．映画の脚本となると，特徴的な表現が多く文章数もそれなりにあるので，興味深いコーパスになり得るのではないかと思う． というわけで，NLTK習い立ての
大規模サービスで効率よくレコメンドを提供するためにTensorflow Recommendersを活用する - DMM inside
はじめに こんにちは、DMMで機械学習エンジニアをしている二見です。 2020年に新卒で入社し、普段は検索やレコメンドの改善に従事しています。 DMMでは50を超えるサービスを提供しており、様々なデジタルコンテンツを取り扱っています。 また、各サービスには多くのユーザーの膨大なデータが日々蓄積されてます。 我々のグループでは、それらのビックデータを活用した改善施策を行うことで、各事業部の成長に日々貢献しております。 本記事では、新たにディープニューラルネットワークベースの先端的なレコメンドシステムを構築し、サービスに導入した事例を紹介したいと思います。 レコメンドエンジンの導入を検討している方・ニューラルネットベースのレコメンドに興味がある方の参考になれば幸いです。 目次 はじめに 目次 DMMにおけるレコメンドへの取り組み 背景 Tensorflow Recommendersとは 1.
MuZeroを使って強化学習で遊ぶ - Qiita
はじめに DeepMind が発表した MuZero という AlphaZero をより一般化した手法があります。ルールが明確な対人ゲームだけでなく、 Atariゲームのような一人用ゲームにも同じように適用できるというのが非常に強力で、性能もかなり高いようです。 （個人的に育休とか取っていたのもあって）1年くらいその存在すらしらず(...)、最近になってまたニュースになっていてやっと知ることができて、最近色々遊んでみているのでその共有をします。 すでに muzero-general という PyTorchベースの非常に素晴らしい実装のリポジトリが公開されているので、主にその紹介です。 muzero-general 良いところ 色々なゲームが最初から付いていて、自分で追加するのも非常に簡単にできる（1ファイル追加するだけ） Hyperparameterの調整も簡単 GPUが使えるなら使ってく
Tensorflowでブロック崩し - Qiita
##概要 機械学習のモデルをゲームに組み込むと、結果をグラフィカルにみることができて楽しい。そこで、Tensorflowでモデルを作成してゲームに組み込む。具体的には、Tensorflowで人の手によるプレイデータを用いてモデルを作成してブロック崩しをさせる。 洗練されたモデルなどにはこだわらず、てきとーなものをてきとーに作る。 Tensorflowでの基本的なモデル作成は以下の記事で 適当にTensorflowを理解して、モデルを作ってみる（Tensorflow入門） 使用するブロック崩しは以下のリンク先のもの ブロック崩し ##動機 機械学習モデルに色々プレイさせる記事はよく見るが、実際に時間をかけずに適当に試してみたい。 精度や美しさを気にせずに、動く実感を得られるように動かすのが目的。 ##前提 今回使用するブロック崩しの概要は以下のようである。 パドルを動かしてボールを弾いて行く
PySpark: LightGBM on Sparkを使ってみる - Qiita
SynapseMLとは Spark上で大規模データセットを用いた機械学習を効率よく行うために設計されたライブラリ。 Microsoftによって公開されており、最近MMLSparkからSynapseMLに名前が変わった。 SynapseMLを使うことでSpark上でLightGBMの使用が可能になり、 HiggsデータセットにおいてはSparkMLより10-30%高速で、AUCは15%向上することが検証されている。 SynapseMLをDatabricksにインストールする方法 Library Sourceとして「Maven」を選択 Coordinatesに「com.microsoft.azure:synapseml_2.12:0.9.4」を入力 Repositoryに「https://mmlspark.azureedge.net/maven」 を入力 「Install」ボタンを押下 Sam
Jax/Flax × TransformersでBERTのfine-tuningをTPUで行う | 株式会社AI Shift
こんにちは AIチームの戸田です 以前、BERTをfine-tuningする際のTipsとして混合精度の利用や、Uniform Length Batchingをつかった学習効率化を紹介させていただきましたが、今回はTPUを使った高速化について紹介したいと思います。 Flax TPU対応というと、まずGoogleのTensorflowが思い浮かびますが、今回は同じGoogleのニューラルネット学習用フレームワークのFlaxを使います。 FlaxはTensorflowと比較して簡潔に、かつ柔軟に書くことができると言われており、huggingfaceのtransformersもv4.8.0からFlaxをサポートするようになっています。 JAX/Flax has joined the ranks of PyTorch and TensorFlow in 🤗Transformers! Versio
グラフニューラルネットワークでQiitaのタグづけをレコメンドする - Qiita
本記事はNTTドコモR&Dアドベントカレンダー2021の8日目の記事です． こんにちは、NTTドコモの橋本(@dcm_hashimotom)です． 業務ではレコメンド関連の技術開発・施策検討を行っており，主にPythonやBigQuery, Apache Sparkを触ってます． SNSなどで投稿したコンテンツの検索性を上げるためには，そのコンテンツへのタグ(またはハッシュタグ)の付与が重要です．Qiitaではタグは5つまで付与することができ，タグを指定した絞り込み検索や，マイページでのプロフィールに使われております．しかし，タグの付与はユーザ手動なものが多く(要出典)，検索性が高いものを選択するためには，ドメイン知識が必要です．なので，タグを付ける際に「このタグがついた投稿では他にこんなタグもついてます」的なレコメンドがあれば有用そうです．また，レコメンドということですが，近年レコメンド
Introducing TensorFlow Graph Neural Networks
Posted by Sibon Li, Jan Pfeifer and Bryan Perozzi and Douglas Yarrington Today, we are excited to release TensorFlow Graph Neural Networks (GNNs), a library designed to make it easy to work with graph structured data using TensorFlow. We have used an earlier version of this library in production at Google in a variety of contexts (for example, spam and anomaly detection, traffic estimation, YouTub
pytorchで行列分解 〜行列分解をふんわり理解する〜 - Qiita
はじめに IBIS2017のチュートリアルで，林先生が「テンソル分解をニューラルネットのフレームワークでやれば楽チンではないか」みたいなことを言っていて，確かに便利そうだと思ったのでそれを試す． ここではフレームワークとしてpytorchを使う． まずは前段階として単純行列分解をやってみる． テンソル分解はそのうちやりたい．（余裕があれば ） テンソル分解もpytorchでテンソル分解（CP分解）でやった． 環境 Python 3.6.1 torch (0.2.0.post3) torchvision (0.1.9) モデルの定義 $X$を$U V^{T}$に分解することを考える．$X$が(n,m)行列のとき，Vは(n,r)行列，Vは(m,r)行列になる． import torch from torchvision import datasets, transforms from torc
spaCyを使ってルールベースの記述をシンプルに！ - Qiita
この記事は自然言語処理アドベントカレンダー 2019の12日目です。 昨今自然言語処理界隈ではBERTを始めとする深層学習ベースの手法が注目されています。 一方それらのモデルは計算リソースや推論速度の観点で制約が大きく、プロダクション運用の際は留意すべき事項を多く持ちます。 （googleが検索にBERTを導入というニュースを見た時はとても驚きました） そこで本記事では自然言語処理タスクのシンプルかつ運用しやすい実装方法を考えていきます。 実装にはpythonと以降説明するspaCyとGiNZAの2つのライブラリを使います。 環境: ubuntu18.04 python 3.6.8 ライブラリインストールはpipから行います 今回行うタスク 実務で需要が多いと思われる以下の2タスクを取り上げます。 固有表現抽出 フレーズ抽出 固有表現抽出とは 固有表現抽出(NER)をWikipediaから
遺伝的アルゴリズム(GA)で勉強計画立ててみた - Qiita
スケジュールがめんどくさい 1440分の使い方という本は知っているだろうか？ 一日の時間の使い方を説いた名著であり，僕はとても感銘を受けた． 本の内容については読んでくれ，Amazon Prime会員であれば無料で読めるのでぜひ． この本に感銘を受け，僕は1日のスケジュールを毎日30分単位で作成していた． 一か月これを続け，その間はとても効率よく課題や勉強が進んだ． 効果については僕の１サンプルしかないが，少なくとも僕はとても充実した一か月を過ごすことができた． 問題点は一つだけある． スケジュールを立てるのがめんどくさいのである ただひたすらめんどくさい． 毎日これを立てるのに結構な時間がかかり，その上修正するのにも時間がかかる． てめー時間が大事って言いながら時間かかる作業勧めてるんじゃねぇよと思いました． 機械にやらせよう 1440分の使い方ではブルジョアは秘書を雇ってスケジュールの
【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル - Qiita
2023/03/20 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル（バージョン2）と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021/12/14 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版（バージョン2）のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー
PyTorch最新モデルでマルチコアTPUの本気を試す - Qiita
ご覧いただきありがとうございます。 Google Colaboratoryにアカウントをお持ちの方は、上の「Open in Colab」という青いボタンを押せば直接notebookをColabで開けます。ぜひ動かしてみてください。 過去の記事も含め、全てのコードをGithubで公開しています。 1. はじめに 無料で使えるGoogle ColabはランタイムのタイプにTPUが選択できます。単に選択しただけで使えて欲しいところですが、あいにくそうはなっていません。また、ColabのTPUは8コア構成なのですが、1コアだけでも使えてしまうので、1コアだけで性能比較して、GPUとあんまり変わらないとしてしまっている記事をちらほら見かけます。実際、1コアだけだとP100と同程度の性能っぽいです。ただ、ColabのTPUのいいとろこは8コアを使えることと、TPUに付随するメモリがたくさん使えることな
弱教師あり学習は何を見ているのか？ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 弱教師あり学習は何を見ているのか？ 機械学習で分類モデルを学習する際、通常であれば正しくラベリングされたデータを入力としますが、弱教師あり学習では誤ったラベルから学習します。 たとえば「飛行機」、「腕時計」、「ヒョウ」を分類するモデルを学習するとき、すべての「飛行機」画像に「腕時計」、「ヒョウ」のいずれかのラベルがついている（＝誤ってラベリングされている）とします。 この場合、「腕時計」画像、「ヒョウ」画像の特徴を持たない画像を「飛行機」画像と学習します。この学習を実装するには損失関数を工夫します。具体的には、学習で誤りラベルを推論する
TensorFlowのSavedModelの便利さを紹介する - 生き抜くぜ21世紀
はじめに 今は2020年8月なのですが、コロナ禍だし、暑いし、経済状況最悪で暇だし、良いことないですね。 暇になったので、1年ぶりにkaggleをやってみました。 Landmark Retrievalという建物の画像検索コンペに出たところ、そのコンペの提出形式がTensorFlowのSavedModel形式でした。 私はTensorFlow案件をけっこうやってきたので抵抗はなかったのですが、この制約が原因となったのか、あまりこのコンペの参加者は多くなかったようです。 kaggleの提出形式としては賛否両論あると思いますが、実務ではとても便利な形式だと私は思っています。 それなのにもし実務でも敬遠されているとしたらもったいないと思い、この記事ではSavedModelの便利さについて紹介してみます。 ちゃんとした使い方は公式リファレンスを当たってもらうとして、概念やsaved_model_cl
Pyevolveで学ぶ遺伝的アルゴリズム - mfumiの日記
Pyevolveとは、Pythonで書かれた遺伝的アルゴリズムのフレームワークです。公式サイトによれば、Pyevolveの方針は、 ・ pure python で書く ・ APIを簡単に使えるようにする ・ 進化過程をグラフ等で見れる ・ 拡張性をもたせる ・ パフォーマンスを第一にデザインする ・ 一般的な特徴を持つ ・ 全てのオプションにデフォルト値がある ・ open-source (GPL) …とのこと。遺伝的アルゴリズムは前から少し興味があったので、これを使って勉強してみたいと思います。 Pyevolveは日本語はおろか英語での情報もあまりありません。以下に参考になるサイトを挙げておきます。 公式サイト Welcome to Pyevolve documentation ! — Pyevolve v0.5 documentation 日本語でPyevolveについて書かれた唯一(
pytorch-transformersを触ってみる① - 機械学習・自然言語処理の勉強メモ
今更ながら、pytorch-transformersを触ってみます。 このライブラリはドキュメントが充実していて、とても親切です。 なので、今回はドキュメントに基づいて触ってみただけの備忘録です。 以下、有名どころのBERTで試してます。 詳しいことはここなどを参照してください。 huggingface.co はじめに 以下で、入手できます。簡単です。 pip install pytorch-transformersインストールしたら、以下でimportします。 import torch from pytorch_transformers import BertTokenizer, BertModel pytorch-transformersの基本は以下の3つのクラスで構成されます。 model classes モデル本体 configuration classes モデルのパラメータを設
DQNで自作迷路を解く - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DQNで自作迷路を解く Deep Q Network（いわゆるDQN）で自作の迷路を解いてみました。 プログラムはこちらにあります。 https://github.com/shibuiwilliam/maze_solver 概要 DQNは強化学習の一種で、最適な戦略選択にニューラルネットワークを使っているものになります。 強化学習やニューラルネットワークの説明は以下が参考になります。 強化学習 ゼロからDeepまで学ぶ強化学習 - Qiita ニューラルネットワーク TensorFlowのチュートリアルを通して、人工知能の原理について学
VAEを用いたUNIXセッションのなりすまし検出 | NHN テコラス Tech Blog | AWS、Google Cloudなどのインフラ技術ブログ
こんにちは。データサイエンスチームの t2sy です。 この記事は NHN テコラス Advent Calendar 2018 の17日目の記事です。 はじめに ニューラルネットワークを用いた代表的な生成モデルとして VAE (Variational Autoencoder) と GAN (Generative Adversarial Network) の2つが知られています。生成モデルは異常検知にも適用できます。今回は、VAE を用いたUNIXセッションのなりすまし検出を試してみたのでご紹介します。 VAEと異常検知 データセット fastTextによるUNIXコマンドの分散表現 KerasでVAE 実行環境は以下です。 Amazon EC2 p2.xlarge インスタンス Ubuntu 16.04 Python 3.4.5 Keras 2.1.6 TensorFlow 1.8.0 V
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
