形態素解析：韓国語：その1：mecab-koをインストール - Qiita
韓国語を形態素解析したいけど、 何がいいかなと探していたところ、mecab韓国語版を見つけました。 というのはもう2年前の話なのだが、それはさておいて。 mecab-koとは mecabを韓国語の形態素解析用に多少コードを改変しているようです。 Bitbucketにて公開されています。 https://bitbucket.org/eunjeon/mecab-ko/src/master/ 何をどう改変したのかはコミットログを見て、、、も、私は分かりません （README読む限りでは、空白文字の扱いが違うっぽい） インストール ひとまずMacbook Airにインストールします。 mecab-ko本体をインストール 韓国語用辞書をインストール mecab-ko本体をインストール Macであれば、homebrewであっさりインストールできます。 といってもREADMEにソースコンパイルの手順書い
Chainerで画像の一部をメモリにキャッシュして高速化を図るDatasetを作った - Qiita
はじめに モデルを訓練する際に，MNIST程度の画像サイズと枚数のデータセットであれば最初にすべてメモリに読み込むことができるので高速にイテレーションを回すことができます。 しかし，自前のそれなりに大きいサイズと枚数の画像データセットでモデルを訓練しようとすると，データがすべてメモリに乗り切らなくなってしまうことがよくあります。 ChainerのImageDataset Chainerには自前の画像データセットを扱うためにImageDataset, LabeledImageDatasetなどのクラスが用意されています。 これらのクラスは画像のパスやラベルだけを保持しており，画像データ自体はイテレータなどからget_example()が呼び出されるたびにその都度読み込まれます。 そのため，メモリに乗り切らないような大規模なデータセットも扱うことができますが，画像を参照するたびに読み込みのオー
ModelCheckPointのepoch数を変更する - Qiita
開発環境 jupyterとDockerを使って、Kerasで学習してます。 問題だったこと モデルをロードしてさらに学習させたいけど、エポック数が0からになって上手く保存できない！ 100epoch学習したあと追加で100epoch学習させたい！ という時にどうしたら良いかわからずハマってしまったのでその解決策 保存されるファイル名を変化させる さて、早速本題です. どうすればファイル名の{epoch:02d}部分を変更させることができるのか. 答えは簡単！ model.fitメソッドに引数として 'initial_epoch' を追加すれば良いです. これだけで学習が101epoch目から始まるようになります. モデルをloadしなくなった時にはinitial_epochを0に戻すように気をつけましょう. コールバックとは 学習と一緒に使うと効果的なのが、ModelCheckPointや
ubuntu18.04でTensorFlow-gpuを動かす - Qiita
ubuntu18.04でTensorFlow-gpuを動かすまでの環境構築記事です。 まっさらな環境で導入した際の手順なので、会社や学校、個人で新しく機械学習環境を作る方に役立つ記事だと思います。 それでは、Nvidia driver, CUDA, cuDNN, Anaconda, TensorFlow-gpuを順に導入していきます。 実施環境 Ubuntu 18.04 LTS 日本語 Remix NVIDIA Geforce GTX 1050Ti Ubuntuのインストール 割愛しますが、参考リンクを載せておきます。 参考：[/homeを残して、Ubuntu 16.04LTS をクリーンインストールする] (https://qiita.com/hkuno/items/52ef4a300262a51f982e) 公式インストーラー：Ubuntu 18.04 LTS 日本語 Remix リリ
Python Twitterからツイートを取得してテキスト分析(wordcloudで見える化) - Qiita
本投稿の内容 pythonでtwitterのつぶやきを取得してその内容を見える化します。 Twitterのツイートデータをtweepyを使用して取得してテキストに出力 MeCabを使用して形態素解析を行い、名詞、動詞、形容詞の単語を抽出してデータ分析(Wordcloudで見える化) Twitterの検索キーワードは 7月27日に開催された「Oracle Innovation Summit Tokyo 2018」のつぶやき ハッシュタグ「#oracleinnovation」を検索しました。 （7月27日にtwitterのデータは取得していたのですが、トラブル対応等で忙しかったので投稿がおくれました。。） 事前準備 準備は以下の４つを実施 １．Twitter APIを使用するためのアカウント申請と「Consumer API keys」、「アクセストークン」の取得 ２．tweepyのインストール
ChainerRLでブロック崩しを学習する - Qiita
CSGAdventCalendar最終日です。 ChainerRLを使ってブロック崩しの学習をさせるチュートリアルをやりました。 実装はGoogleColaboratoryを使いました。 ChainerRLとは Chainerを使って実装していた深層強化学習アルゴリズムを”ChainerRL”というライブラリとしてまとめて公開したもの。 以下のような最近の深層強化学習アルゴリズムを共通のインタフェースで使えるよう実装している。 Deep Q-Network (Mnih et al., 2015) Double DQN (Hasselt et al., 2016) Normalized Advantage Function (Gu et al., 2016) (Persistent) Advantage Learning (Bellemare et al., 2016) Deep Deter
フォルダ内の画像を全部まとめてNumpy配列にしてnpyで保存 - Qiita
表題そのままのスクリプトです VGG16とSVMを使った判別機を作る際に使用したものの一部を切り取り、単独で機能するようにしました 動作概略 1)img2ndarray.pyと同じフォルダ内に保存された画像ファイルを読み込み 2)画像サイズを224x224にリサイズ後、Numpy配列化 3)**[npy]**ファイルとして保存 動作確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 スクリプト全体 import glob import numpy as np from keras.preprocessing.image import load_img,img_to_array # image array size img_size = (224,224) # load images Folder dir_name = 'test1' # File
佐藤健と亀梨和也を人よりも賢く見分けたい - Qiita
○佐藤健フォルダ ○亀梨和也フォルダ 環境 個人PCは非常にプアな環境なので、コーディング＆テストはCPUで行い、本格的な学習はGoogle Colaboratoryを使用しました。 ちなみにGoogle Colaboratoryの使い方ですが、詳しくは他の方の説明を見ていただくとして、ざっくりというと、 Google Driveにコード等が書かれたJupyter Notebookファイルをアップロードする 同じくGoogle Driveに画像ファイルをアップロードする Jupyter NotebookをGoogle Colaboratoryで起動する Google ColaboratoryからGoogle Driveが見えるようにする（ディレクトリのマウントもする） Jupyter Notebookを実行する といった感じになります。 以降は、Google Colaboratory上で実
tensorflow/models/research/slim を転移学習する時の注意点まとめ - Qiita
はじめに tensorflow/models/research/slim にあるモデルを転移学習させようとしたら半日躓いたので、備忘録として解決策等まとめ。 公式ドキュメントにも転移学習のやり方が書いてるが、クラス数が同じ・全てのパラメータをrestoreさせる等、融通が効かない。 やろうとしたこと ImageNet等で学習済みのInception-v4（https://arxiv.org/pdf/1602.07261.pdf） を別のタスクに転移学習させようとした。 ネットで調べたところ、tensorflow/models/research/slim 以外に「学習済みパラメータ＋コード」のセットが無かったので、これを利用することにした。 モデルの主要部分は tensorflow/models/blob/master/research/slim/nets/inception_v4.py h
Time Series Analysis の実装に関するメモ - Qiita
time_steps = 1000 # data 1 a = 0.4 b = 0.5 c = 0.1 T_0 = 50 T_1 = 15 data_x_1 = [] for t in range(time_steps): temp_x = a * np.sin(2 * np.pi * t / T_0) + b * np.sin(2 * np.pi * t / T_1) \ + c * np.random.normal(loc = 0.0, scale = 1.0) data_x_1.append(temp_x) # data 2 a = 0.75 b = 0.5 x_ = 0.0 u_ = 0.0 data_x_2 = [] for i in range(time_steps): u = np.random.normal(loc = 0.0, scale = 1.0) x = a * x_
Tensorflowの基本的な使い方のまとめ～変数・tensorboard ・重み管理 - Qiita
はじめに Deep learningをフルスクラッチで書いてきましたが，そろそろ内容も分かってきたので，ライブラリを使えるようになろうということで Tensorflowを導入しました 英語のDocumentationが分かりやすいですが，自分が詰まったところのメモを！ 自分なりにクラスとか作って テンプレートも作成してみていますのでよかったら まだ未完成ですが github : https://github.com/Shunichi09/Deep_learning_tensorflow ちなみにtensorflowのいいところは 以下の図みたい自分の書いたレイヤーが簡単に見えることです これレイヤーダブルクリックとかすると細部まで見れます これがめちゃくちゃ強力です 機械学習においてもっとも大切な可視化が簡単にできますから おしながき 変数管理について 名前空間の使用 sess run と
セマンティックセグメンテーションでフォントの違いを検出 - Qiita
(2018/09/07追記) 例えば結果画像の3枚目のベースのフォントと「告」のフォントが違うとはとても思えないとご指摘いただいたため、それぞれのフォントを比較してみました。 左から順に以下のフォントを使っています。 'Yu Gothic', 'Yu Mincho', 'MS Gothic', 'MS Mincho', 'Kosugi', 'Kosugi Maru', 'M PLUS 1p', 'M PLUS Rounded 1c', 'Sawarabi Gothic', 'Sawarabi Mincho' じっくり見るとそれぞれ微妙に違うようです。ほとんど見分け付きませんが… 前提 数ヶ月前に公文書が偽装じゃないかと騒がれていて、その理由は文章中のフォントが特定の箇所のみ違うから、であった。 私はその文章を見ても全くフォントの違いが分からないのだが、世の中には気づける人がいるらしい。 d
ニュース記事の分類を機械学習で予測する - Qiita
はじめに Pythonを用いて、ニュース記事の分類分けを教師ありの機械学習にかけて、未知の文章がどのニュース記事にあたるのかを予測する。ということをやってみました。 使うものとしては、 Mecab Gensim scikit-learnのSVM これらを利用しました。 また今回やるにあたり、主にMecabとGensimの利用の辺りを以下のサイトを参考（というよりもはやパクリ）に行ったので、まずはそちらの記事を見ていただいたらと思います。 scikit-learnとgensimでニュース記事を分類する gensimのコーパス操作 環境や各種ツールの説明 環境 OS : windows10 python : 3.6.6 ツール Mecab : 0.996.1 Gensim : 3.5.0 scikit-learn : 0.19.1 Mecabの用意 Mecabは、普段pythonでモジュールの
Raspberry Piとディープラーニングで画像認識やろうとしたら重かったのでサーバーに計算させた - Qiita
はじめに Raspberry Pi上でImageNetの学習済みモデルを使い，カメラから入力した画像を認識しようとしましたが，モデルが大きすぎてメモリに乗りませんでした。 そこで，以下のようにラズパイからサーバーに画像を送信して認識結果を返すような仕組みを実装しました。 方法 ソケット通信でサーバーとやり取りします。 コードはGitHubのリポジトリにもアップロードしてあります。 サーバー側 画像認識の部分はChainerで行っています。 モデルはVGGを利用しました。 # coding: utf-8 import socket, threading import chainer import chainer.links as L import numpy as np class ImageNetPredictor: def __init__(self): self.model = L.V
深層学習モデルの相互変換ツールMMdnnを試す - Qiita
MMdnnとは？ Microsoft Researchにより開発が進められているオープンソースの深層学習モデルの変換と可視化を行うツールです。中間表現を経由することで様々なフレームワーク間でのモデルデータの相互変換を実現しています。 これはものすごいパワーを秘めていそうな雰囲気です。 github:Microsoft/MMdnn サポートしているフレームワーク 上記githubのサイトに詳細な表や説明があるのでここでは簡単に。 以下のフレームワークでモデルの相互運用が可能になります。 Caffe、Keras、Tensorflow、CNTK、MXNet、PyTorch、CoreML ONNXへの変換もサポートしていますが、こちらは一方通行で、ONNXから別形式は未対応らしいです。 テスト済みのモデルとしては、 VGG19、Inception v4、ResNet v2、SqueezeNet あ
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）1 - Qiita
サビ猫かわいいよね？ でも、世にあふれてる猫雑誌にサビ猫いなくない？ 特に表紙 もくじ 学習用画像を集める（ココ） 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定 開発環境 Mac Pro (Late 2013) 3.5GHz 6Core XeonE5, 64GB DDR3, OSX Yosemite 10.10.5 Python 3.6.6 Tensorflow 1.9.0 Keras 2.2.0 画像集め Bingの画像検索APIを使って画像を大量に収集する スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた を参考に、Bing と Excite 2つのサイトから画像を集めた（全コードは末尾に）。 分類カテゴリともなる検索ワードは「cat」に続けて14通りの毛色の単語を投入。（例：cat redtabby） Bingの画像検索では「写真
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）2 - Qiita
もくじ 学習用画像を集める 猫のご尊顔を検出（ココ） 学習 猫雑誌の表紙画像を集めて判定 猫のご尊顏を検出 「1」で集めた画像を何も考えずKerasに突っ込んだら、画像の水増ししても accuracy 0.5 ほど。 ぐぬぬ... 「そーだ！画像から猫だけ検出しよう！猫でない画像も弾かれるはず！」 そこでとても有名なこの記事、素晴らしいです。 ねこと画像処理 part 2 – 猫検出 (モデル配布) 配布いただいているモデルと検出のプログラムを使い、猫のご尊顏が検出された領域をクリップして保存した。 imagefilename：入力画像ファイル cascadefilename：上記でお配りいただいているOpenCVで読める学習済モデル.xmlファイル(cascade.xml) 検出条件は全てデフォルト、保存領域は検出結果より縦横10%づつ増量した（次の画像水増しで動かすため）。 下記のコー
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）3 - Qiita
from PIL import Image import sys import os, glob import numpy as np import random, math def create(input_dir) : Image.LOAD_TRUNCATED_IMAGES = True categorys = [] dir_list = os.listdir(input_dir) for index, dir_name in enumerate(dir_list): if dir_name == '.DS_Store' : continue categorys.append(dir_name) image_size = 160 train_data = [] for idx, category in enumerate(categorys): try : print("---", c
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）4 - Qiita
もくじ 学習用画像を集める 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定（ココ） いったれ！ 学習用画像を集める 猫のご尊顔を検出 に従って、猫雑誌の表紙画像を集めて、顔を検出した。 まず表紙 そして、こう 「3」で作ったベストモデルを使って判定。 シェルのfor文で、ご尊顏ファイルを引数に与えて使うスクリプト。 元データのディレクトリ構成からカテゴリ名を取ってて、ディレクトリ名をベタ書き...（catimages） import training as train #import 3.'s training.py import sys, os from PIL import Image import numpy as np if len(sys.argv) <= 1: quit() image_size = 160 source_dir = "catimages" categor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kerasの多入力CNNとsklearnのLogisticRegressionのアンサンブル - Qiita
