3分でmatplotlibを日本語対応させる - Qiita
pythonのmatplotlibで日本語を扱う Qiitaにもいくつかおんなじような記事あるんですが、なんか分かりにくかったので自分の為にまとめておく 状況としては、macOS Sierra でmatplotlibのデフォルトのフォントが日本語対応しておらず、▫︎▫︎▫︎に(豆腐というらしい) とりあえず、グラフに日本語が表示されてほしい！ 手順 http://ipafont.ipa.go.jp/old/ipafont/download.html に行って、TTFファイルの4書体パックをダウンロード |font |name |family| ---|---|---|---| |ipagp.ttf | IPAPGothic| [sans-serif] |ipamp.ttf | IPAPMincho | [sans-serif] |ipam.ttf | IPAMincho | [sans-s
Kerasのモデルは学習完了時のものが最良とは限らない - Qiita
Kerasのモデルは学習完了時のものが最良とは限らない ちょっとしたTipsです。 Kerasの限らず、ディープラーニングで作ったモデルは学習完了時のものが最良とは限りません。 学習を進めていって全エポックを終了したとしても（またはEarlyStoppingしても）、過学習であったり局所最適化されてしまったりということがありえます。 学習の途中に最良のモデルが存在するけど、学習完了時はそれより劣る、ということです。 そうした場合はCheckpointで保存された最良のモデルをロードし直すのが良いと思います。 import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers
Elixir＋Keras＝手軽に高速な「データサイエンスプラットフォーム」 ～Flowでのマルチコア活用事例～ - Qiita
この記事は、「Elixir Advent Calendar 2017」の25日目です Merry Xmas!（実に1日遅れですが…） Elixir Digitalization Implementors／fukuoka.ex／kokura.ex の piacere です ご覧いただいて、ありがとうございます 私は普段、福岡のスタートアップ企業のCTOとして、「ビッグデータ分析＋AI・ML開発の統括」と「Elixir・Phoenix／Kerasリードプログラマ」をしながら、福岡Elixirコミュニティ「fukuoka.ex」のMeetUp（偶数月定期開催）やプログラミング入門ハンズオン、もくもく会を主催しています ちょうど先週末、「fukuoka.ex #4 ～ Elixirのビッグデータ分析～」というテーマでMeetUpを開催したので、そこで扱ったセッションの一部をコラム化してみようと思い
Amazon AlexaとAWS Lexを比較したメモ - Qiita
背景 以下の動機から、Alexaを使い始めようと考えたため。 Amazon Echo が日本で発売されるらしい。 Custom Skillというので一儲けできるらしい。 Lexで作った対話アプリをAlexaに移行しちゃえばいいのでは。 Alexaとは AlexaはAmazonが開発したAIアシスタント。 音声交流や音楽再生、予定表リストの作成、アラームの設定、ポッドキャストのストリーミング、オーディオブックの再生と天気や交通情報、リアルタイム情報などの提供ができる。 2017年10月時点では、英語とドイツ語のみ対応。日本語も年内対応予定。 Amazon Echo等、Alexa対応デバイスにSkill（アプリケーション）をセットし、音声入力によって起動することで動作する。 Lexとは Amazon Lex は、音声やテキストを使用して、任意のアプリケーションに対話型インターフェイスを構築する
matplotlibを使って時系列グラフを書いてみる - Qiita
Python is not installed as a framework. The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. import sys from datetime import datetime import matplotlib.pyplot as plt impo
【Python】pandasのSeries、DataFrameとは - Qiita
pandasのSeries、DataFrame ITエンジニアのための機械学習理論入門をやり始め、そっこーで DataFrameが何を意味しているか分からず、嵌りました。 調べた結果です。ついでにSeriesも pandas 0.17.1 documentationの公式ドキュメントより The two primary data structures of pandas, Series (1-dimensional) and DataFrame (2-dimensional), handle the vast majority of typical use cases in finance, statistics, social science, and many areas of engineering. For R users, DataFrame provides everythin
TensorFlow Liteのliteな話 - Qiita
この記事は ex-mixi Advent Calendar 2017 23 日目のエントリーです。 こんにちは。hnakagawa と申します。 mixiには中途で入り3年ほど在籍してました。入社当初の配属は、たんぽぽという謎チームで当時まだ黎明期だったネイティブ・アプリの開発環境の整備やフレームワーク開発を主に行っていました。 自分は組み込み畑からこの業界で仕事を始め、mixiの様なWeb系に行ったり組み込みに戻ったり、レイヤの上下を行き来するキャリアを送っていますが、アプリのスタートアップを経て去年ぐらいからMLプラットフォームの下回の仕事をするようになり、最近はex-mixiが集う人材吸引会社に吸い込まれたと噂されています? ※注 自分は研究者でもMLエンジニアでもなく、あくまで下回りの知識を活かしMLエンジニアがモデル作成に集中できるような環境を整えるのが現在の仕事 はじめに 今日
MeCabをブーストさせよう(Google Search Console編) - Qiita
初めまして。WACULでデータサイエンティストをしている @knknkn1162 です。 半年くらい前にMeCabをブーストさせようという記事を書いて、未だにいいねがつくので、そのお話の延長として、今回の記事を書きました。同様にMeCabをブーストさせる趣旨の記事ですが、違うツール(Google Search Console API)を用います。得られる効果はこちらのほうが高めです。 動機 半年くらい前の記事はどういうお話かというと、 MeCab をちょっと触ってみたが、mecab-ipadic-neologdでも足りねぇ、もうちょっと新語や特殊語彙を踏まえて分かち書きしたいという動機のもと、サイトのスクレイピング1 + GCP Natural Language API で新語を取得して、MeCabで新語を登録する方法の紹介でした。 当初はこの方法でのアプローチを用いていて、精度的は十分な
ExcelにPythonが搭載？ - Qiita
自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにします。自分は、ExcelはデータのためのGUIツールとしては便利で役に立つツールだと思っています。ただ、VBAの方が長年放置されていて最近の言語としては落第なのでPythonが搭載されることを期待したいと思っています。急遽テーマを変更したので、時間がなくて以下は「Excel VBA Advent Calendar 2017 20日目」の記事と同じにしてしまいました。 「ExcelにPythonが搭
TensorFlowのWide & Deep Learningを直感的に理解する - Qiita
Fringe81 Advent Calendar 19日目です。 本記事は、Wide & Deep Learningの基本的な概念の理解をゴールにしており、実装の細かい話については触れません。 Wide & Deep Learningの詳細を知りたい方は以下のページを参照下さい。 TensorFlow Wide & Deep Learning Tutorial Research Blog: Wide & Deep Learning: Better Together with TensorFlow 対象読者 Python/TensorFlowで機械学習のモデリングをしている 高次元スパースなデータを扱っている 線形モデルとDeepLearningの良いところ取りをしたい TensorFlowとは 以下の記事を参照下さい。 DeepAge: ビッグデータを分散学習するDeep Learning
[Python] CufflinksでPandasのデータフレームをPlotlyに一発描画 - Qiita
はじめに 以前、[Python] Plotlyでぐりぐり動かせるグラフを作るの記事で、インタラクティブなグラフを描画することができるPlotlyというライブラリを紹介しました。ただ、Plotlyの描画に至るまでに唱える呪文をいまいち覚えきれず、毎回どこかからコピペをしており、手軽に使用できないかなと常々思っていました。 そんな状況で、Cufflinksという、Pandasのデータフレームから、Plotlyを用いたグラフを一発で描画するライブラリを見つけたので紹介します。 Cufflinksのインストールと使いかた インストールは、pip install cufflinksで完了です。 描画するには、Cufflinksをインポートしてから、df.plot()と同じように、df.iplot()と打ち込むだけと簡単！ import pandas as pd import numpy as np
![[Python] CufflinksでPandasのデータフレームをPlotlyに一発描画 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/419447c35d19d8dcc0b57c888d0e6599673f1677/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNjE0NjglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTU2NjQ_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmJnPUZGRkZGRiZmbT1wbmczMiZzPWRhOTM2ODM4ZDdjYmNiNDQ0ZDM2OTNlYTI3YjU3Yjcy%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Def4d2aada6921100c50a5b28fb0f2380%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwQ3VmZmxpbmtzJUUzJTgxJUE3UGFuZGFzJUUzJTgxJUFFJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJTk1JUUzJTgzJUFDJUUzJTgzJUJDJUUzJTgzJUEwJUUzJTgyJTkyUGxvdGx5JUUzJTgxJUFCJUU0JUI4JTgwJUU3JTk5JUJBJUU2JThGJThGJUU3JTk0JUJCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZDM2MzAwNGIxNWZiYWI1ODI0Nzk5MThlMTljMWQwNDY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBpbm9vcnkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0xZjk5MjgyMmJlYjBlNjM4NzllZDcyZjJmMDY3YjBhMA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Da2cc8c51421997084eef161125a35e95)
[Keras/TensorFlow] Kerasでweightの保存と読み込み利用 - Qiita
from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers import RMSprop batch_size = 128 num_classes = 10 epochs = 1 # the data, shuffled and split between train and test sets (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.reshape(60000, 784) x_te
![[Keras/TensorFlow] Kerasでweightの保存と読み込み利用 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e66078543c4c3e8ea452da532c14f0eef00d074/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTc1MDkyJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDkxOTY1NTQzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1mYzdmZGQxOTY1YzRlY2I2OTA3YjIxMWY2OGE3YjZhMQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D087cc3613eb2eb54bed820b66db40323%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2VyYXMlMkZUZW5zb3JGbG93JTVEJTIwS2VyYXMlRTMlODElQTd3ZWlnaHQlRTMlODElQUUlRTQlQkYlOUQlRTUlQUQlOTglRTMlODElQTglRTglQUElQUQlRTMlODElQkYlRTglQkUlQkMlRTMlODElQkYlRTUlODglQTklRTclOTQlQTgmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1hNzIwNmQ2NzgxOGM4NWM3ZDIwZmQ5YzczNWYxOTM0MA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBhZ3Vtb24mdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01MmU1MGE3NmNjYzA3NDFlMmQ0ZjQwMzQwNWU2MzgyZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D9e7bfd2c2d543c43bbf700ff79d8a10a)
chainerで最適化数学 - Qiita
この記事はTSG Advent Calendar 2017/IS18er Advent Calendarの12日目の記事として書かれました。 (ちょっとタイトルが大げさすぎる？) はじめに こんなものをchainerで作りました。(アニメーションはmatplotlib) 以下で出てくるコードをまとめたものはここにあります。 ソースファイル 経緯 この間ネットサーフィンをしていたらこんなものを見つけました。 最適化数学で新年の挨拶(ニコニコ動画） 見てみると定点の周りを別の点が回り、さらにその点の周りを別の点が回り…を繰り返し、それらの点を結んでいろいろな図形を作っているようです。この動画では数字の2, 0, 9を描いていました。 これを僕も作りたい！と思ったので、この方のブログへ行き解説を読んでみました。(http://kogarashi.net/pitchblende/archives/
Houdiniで機械学習 with TensorFlow - Qiita
はじめに はじめにこの記事に関しての動機をメモしておくと、「とりあえず、簡易的な実装含め記事を残しておけば興味持って取り組んでる人が出てきてくれるかな？」というのを少しばかり期待しているのと、「Houdini上で機械学習のプロセスを通したI/O処理を整理していく上で、基礎のところをまとめておこう」ということがある。 今回の優先順目的は2つある。Houdini上のCOP Netoworkプロセス(画像合成処理操作ネットワーク、 Composite OPeration Network)で処理した画像を機械学習プロセスを通し、出力した結果を利用してSOP Netowrk(ジオメトリ操作ネットワーク、 Surface OPeration Network)に対して影響させるというI/O処理を実装する事。この方法をもとに、様々な実験・実装を重ねていくための一歩として残しておくことにある。次に、Houd
Chainer v4 ビギナー向けチュートリアル - Qiita
Update (2018/04/20): Chainer v4に合わせ内容を更新しました。 注意： 今回はニューラルネットワーク自体が何なのかといった説明は省きます。 この記事はJupyter notebookを使って書かれていますので、コードは上から順番に実行できるようにチェックされています。元のJupyter notebookファイルはGoogle Colabを使ってブラウザから実行することができます。Google Colab上ではGPUを使った学習を実際に実行することができますので、「ドライブにコピー」ボタンをクリックしてご自分のドライブにコピーしてから、ぜひ実行してみてください。：Chainer Beginner's Hands-on.ipynb Qiitaだとページ内リンクつきの目次が勝手に作成されるので、全体概要はそちらを眺めて把握してください。 インストール Chainerの
無から始めるKeras 第2回 - Qiita
無から始める Keras のもくじはこちら 前回のおさらい 前回は雑なデータセットを作って雑に学習させた。 入力は、要素がそれぞれ0以上1未満の5次元のベクトル。出力は、そのベクトルの要素の和が2.5以下だったら0、2.5より大きかったら1。いわゆる「2クラス分類」をする。 データセットは以下のように作った。出力はニューラルネットが扱いやすいように、ワンホットな2次元のベクトルにしてやる。 活性化関数（activation） ニューラルネットでは、前の層からやってきた値の重み付き和をとる。そこにバイアスの定数を加え、最後にある関数を適用する。この適用する関数が活性化関数である。 Activation というレイヤーを使って活性化関数をかけることもできる。これを使うとパラメータを指定できたりするのだが、まあ使わなくてもいいっちゃいい。 なおバイアスは、意味合い的には負のときに閾値となる（この
keras(tensorflow)でSegNet - Qiita
SegNetは、ケンブリッジ大学が開発した画素単位でのラベリング機能を実現する、 A Deep Convolutional Encoder-Decoder Architectureのこと keras2系+tensorflowで実装してみた とりあえず動かしたソースコードを貼っていく 解説はいずれやりたい・・・ 環境 ubuntu 17.04 python 3.6 keras 2.0.8 tensorflow 1.3.0 データの読み込み 画像のセグメンテーション用に公開しているデータを使う https://github.com/alexgkendall/SegNet-Tutorial リポジトリの、./CamVid内のデータを使う クラスは12あり、順番に [Sky, Building, Pole, Road_marking, Road, Pavement, Tree, SignSymbo
TensorFlow Eager Executionの紹介 - Qiita
この記事はTensorFlow Advent Calendar 2017のDay8の記事になります。 TensorFlow Eager 概要 国内で根強い人気を持っているChainerやここ1年くらいで海外で大きくユーザを増やしたPyTorchでお馴染みのDefine-by-Runでモデルを記述することができるTensorFlowのパッケージの一つ。記事投稿時点ではまだPreview releaseとなっています。 Define-by-Run これまでDefine-and-RunだったTensorFlowがなぜDefine-by-Runを導入するのか？Define-by-Runには次のようなメリットがあるので、RNN系の実装が多い方に好まれています。 動的なネットワークを構築することが出来る (Ex. mini-batch毎に処理が違っても良い) モデルのエラーのデバッグが行いやすい また
Alexa Skillのエラーハンドリング - Qiita
Amazon Echoがついに日本でリリースされ、日本語版のAlexa開発環境も公開されましたね。 僕のもとにはまだAmazon Echoの購入招待メールが届かず寂しい思いをしておりますが、開発について語れることはいくつかありそうなので、今回はAlexa Skillのエラーハンドリングについて語りたいと思います。 お品書き ユーザーが予期せぬ言葉を発してきた 予期せぬ発話に対応したはずなのにまたエラー ユーザーが黙ってしまった アカウントはリンクされてますか？ 以上の４点について対処方法を紹介したいと思います。 ユーザーが予期せぬ言葉を発してきた 例えば外食検索サービスを作っていたと仮定して、以下の例を考えましょう。 例） Skill 「和食、中華、イタリアンなど、どんな種類の料理を食べたいですか？」 User 「具志堅用高」 みたいにユーザーがやばいやつだった場合にはきちんと「何言ってん
(保存版:随時更新) データ前処理手法まとめ by Team AI - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? データ分析の現場では実務上非常に大事な前処理。 でもどの手法を選んでいいのか初心者には見えにくいし、 漏れなくダブりなく(MECE)網羅された手法一覧が欲しいよね！という議論から、 我々Team AIでは隔週でデータ前処理研究会をはじめました。 スケジュール => www.team-ai.com 地味なテーマですが、大切だと思っているので、このページで少しずつノウハウを蓄積し、 みなさんの業務に活かしていただきたいと思っています。 ご意見ご感想 & 新たな情報等、是非活発にコメントください。 初回： 2018/11/11 追加 Kagg
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
