Word2Vecを理解する - Qiita
はじめに 今や自然言語処理の定番手法となっているWord2Vecについて勉強したことをまとめました。 そのアルゴリズムの概要を整理しライブラリを用いてモデルを作成しています。 参考 Word2Vecを理解するに当たって下記を参考にさせていただきました。 ゼロから作るDeep Learning ❷ ―自然言語処理編 斎藤 康毅 (著) 絵で理解するWord2vecの仕組み Efficient Estimation of Word Representations in Vector Space (元論文) gensimのAPIリファレンス Word2Vec概要 下記ではWord2Vecの前提となっている自然言語処理の考え方について記載しています。 単語の分散表現 単語を固定長のベクトルで表現することを「単語の分散表現」と呼びます。単語をベクトルで表現することができれば単語の意味を定量的に把握す
書籍検索に使える登録不要APIちゃんはちょっと足りない - Qiita
書籍で欲しいデータ タイトル 著者名 発刊日(新旧判断) (出版社) (ISBN) できたらいいこと 書籍を登録するとき、ぜんぶ手入力は大変。 ISBNを入力すれば、あとは検索APIから引っ張ってよしなにしてくれるとコピペ一つで済む。 API要求 登録不要 JSONで返ると嬉しい 新旧多くの本に対応してほしい ISBN10 13 あいまいな入力に対応してほしい とりあえずIT技術書圏がカバーできれば サイド JSONで受け取るならクライアントのJavaScriptでしたいかも。 ただ、クロスオリジンリソースシェアリングという仕様の制約がある。 API候補 [Google Books APIs | Google Developers] サンプル https://www.googleapis.com/books/v1/volumes?q=isbn:4774176982 { "kind": "b
JupyterLabのすゝめ - Qiita
1. 初めに 初めまして。kirikeiと申します。NTTCom技術開発部で時系列センサーデータの分析・それに伴う技術開発、特に主にニューラルネットの判断根拠を示す系の研究やってます。 今回紹介するのはデータ分析でみんながこぞって使っているJupyter notebook...ではなく、その後継機のJupyterLabとその拡張機能の紹介です。 Jupyter notebookの拡張または導入記事はQiitaに散見されるのですが、JupyterLabの記事はあまりないので、布教活動のために書かせて頂きます。 2. JupyterLabって？ JupyterLabとは，データ分析者に愛されているJupyter notebookの後継機であるWebアプリケーション的IDEのことです。ベータ版が今年リリースされました。Jupyter notebookの開発は一旦終了し，JupyterLabに移行
Google社のテクニカルライティングの基礎教育資料がとても良かったので紹介したい - Qiita
はじめに エンジニアにとって、仕様書などの技術的な文章を書くこと（テクニカルライティングとも言います）は避けて通れません。ただ20年来多くのエンジニアの方々と同僚として接してきて思うことは、エンジニアの方の中には「文章を書く」ということに苦手意識がある方が一定数いるということです。 でもこの「テクニカルライティング」のスキルは、才能というよりは一種の「技能」だと思うんです。ある一定の原理原則を理解して実践を繰り返すことで、必ず一定レベルで習得できるものだと著者は信じています。 もしこのテクニカルライティングの原理原則をまだ体系的に学習したことがない、または過去学習したが改めて再学習したいという方に、お勧めのコンテンツを見つけたのでご紹介します。 https://developers.google.com/tech-writing Every engineer is also a write
ドキュメント作成スキル向上を目指す人向けおすすめ記事まとめ - Qiita
システム開発にドキュメントは欠かせません。ドキュメントが得意になれば活躍の幅が大いに広がりますよね。 この記事では、まず冒頭でドキュメントの作成に求められると思うことを整理した上で、そのスキル獲得に役立つと思われる記事や書籍を集めてみました。もちろん他にもあると思うので、もしお薦めのものがあれば是非コメントで教えて下さい 更新履歴 ・2021/04/16：文章術系にリンクを追加しました。 ・2020/11/28：文章術系にリンクを追加しました。 ・2020/07/24：文章術系にリンクを追加しました。 ・2020/05/24：文章術系にリンクを追加しました。 ・2020/05/14：スライドデザイン系にリンクを追加しました。 ・2020/04/29：スライドデザイン系にリンクを追加しました。 ・2020/04/17：文章術系にリンクを追加しました。 ・2020/04/12：関連するTwit
統計初心者が時系列分析を学ぶための勉強法・オススメ本 - Qiita
私が個人的に開催しているエンジニア勉強会の2019年Advent Calendarで、『統計初心者がベイズ統計学に入門するまでの勉強法』という記事を書いたら、とても好評でした。 そこで今回は、統計初心者が時系列分析を学ぶための勉強について書いていければと思います。 この記事の目的と対象者 この記事は、統計の基礎はある程度勉強したことがあるという人が、立派に「時系列分析」統計学の一大トピックについて語れるようになることを目指します。 時系列分析の全体像を語れるようになるぐらいまでがこの記事のゴールです。 時系列分析の中でも、状態空間モデルという分析モデルを理解できるようになるところまでをゴールとします。 （そもそも統計モデリングってなに？という方は、こちら『結局、統計モデリングとは何なのか』もどうぞ） ここで紹介する書籍は、プログラミンを手を動かして学べる系の書籍ですので、プログラミングの知
重回帰分析の理論と実装を初めから丁寧に - Qiita
ブログの目的 線形回帰モデルの理論的背景がクリアになってきたので、手始めに重回帰分析の導入を備忘録として投稿します 最終的にPython の Numpy でアルゴリズムを記述し、結果をscikit-learnと比較してみます 重回帰分析のアルゴリズムに関しては下記の書籍で学習しました 機械学習のエッセンス- (Machine Learning) 単行本 著者; 加藤公一 出版社; SBクリエイティブ ベクトルの微分公式についてはQiitaの以下の記事に分かりやすくまとめられていました 参考 「ベクトルで微分・行列で微分」公式まとめ アルゴリズムの導入 準備 まず、以下のおなじみ３つについて定義をします 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$（$x$のベクトル）とする 予測値を$\hat{y}$とする（$\hat{y}$はスカラー
Django入門におすすめの本・サイト - Qiita
はじめに Djangoを学びたいけれど、どこから始めれば良いのか？という声を聞くので、自分の経験から有用なサイト・書籍などをまとめました。 1.無料チュートリアル Django Girls Tutorial Django公式サイトのチュートリアルもあるのですが、こちらのDjango Girls Tutorialは、よりプログラミング初学者向けの内容となっていておすすめです。 Django2.06をインストールし、作ったアプリをPythonAnywhereというクラウドサービスにデプロイし(配置し)、インターネット上に公開する、という内容となっています。 なお、PythonAnywhereではなく、Herokuにデプロイしたい場合は、以下の記事が参考になるかと思います。 静的ファイルを扱うDjangoアプリをPyCharmで作ってSECRET_KEYは秘匿しつつGitHub経由でHeroku
Web開発のためのOSSのトレンドの調べ方 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 星の数ほどあるOSSから適切なものを選択することは難しい。しかし、方法さえ知っていれば人気OSSのトレンドを知ることはたやすい。ここではOSS選択の一助とするために、OSSのトレンドの調べ方を整理した。 OSS関連用語 OSS関連の用語。 FOSS : Free/Open Source Software フリーソフトウェアとOSSの総称。 OSS : Open Source Software ソースコードを公開、配布しているソフトウェアのこと。公開、配布の条件は問わない。このため、商用不可、再配布禁止などの様々なライセンス形態を取
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 【決定版】スーパーわかりやすい最適化アルゴリズム 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 し
PyTorch で MNIST on Google Colab with GPU - Qiita
目的 Google Colab で GPU を ON にして PyTorch で MNIST データセットを用いた深層学習を試しました。以下実施手順と簡単な説明を示します。 手順 1. Google Colab へログイン ブラウザから Google Colab にアクセスして、ファイル > Python3 の新しいノートブックを選択し、開きます。 ノートブック画面で ランタイム > ランタイムのタイプを変更 を選択し、ハードウェアアクセラレータをデフォルトの "None" から "GPU" に変更します。 2. ノートブックの編集 ノートブックのコードセルに下記一つずつ順番に入力し、Shift + Enter にて実行していきます（全実行結果はこちら）。 まず、今回利用するライブラリとして PyTorch と scikit-learn をインストールします。
Google Colaboratoryで画像処理(初級編) - Qiita
Google Colaboratory上で画像処理を試す方法の紹介。Jupyter NotebookあるいはGoogle Colaboratoryを触ったことがある人向け。 Google Colaboratoryで画像処理を試すメリット 環境構築の必要がない。ブラウザがあればいつでもどこからでも試せる。iPadからでも! REPL形式で、途中の状態を確認したり書き換えたりしながら作業できる Pythonで書くので、APIサーバーなどの形に移植しやすい そして、何より無料で使える。 新しいNotebookの作成 「NEW PYTHON 3 NOTEBOOK」を選ぶ。Python 2系はまもなくサポートが終了してしまうので、特別な理由がなければPython 3系を選ぶ。 画像をアップロードして表示する 処理したいファイルをアップロードする。Google Driveから読み込ませることもできるが
Google Colaboratoryでcv2.imshowを擬似的に利用する方法 - Qiita
画像処理100本ノックを「Google Colaboratory」で楽々学習を利用して、画像処理100本ノックをやってみようということでColabを起動してTutorialの通りに打ち込んでみました。 import cv2 img = cv2.imread("imori.jpg") cv2.imshow("imori", img) cv2.waitKey(0) cv2.destroyAllWindows() --------------------------------------------------------------------------- DisabledFunctionError Traceback (most recent call last) <ipython-input-14-d690a3c68444> in <module>() ----> 1 cv2.imsh
Google Colaboratoryの90分セッション切れ対策【自動接続】 - Qiita
#はじめに 対話型でPythonやDeep Learningのコードが実行可能なJupyter notebook環境を、即座にブラウザ上で利用できるGoogle Colaboratory。個人でGPUマシンを調達するハードルが高かったので非常に重宝しています。しかし、90分目を離すと実行が振り出しに戻ってしまい、萎えぽよな気持ちになることが何度かあったので本記事で対策方法を共有します。 #12時間&90分ルール Google Colaboratoryでは以下の条件を満たす場合、実行中のプログラムがあってもインスタンスの状態がすべてリセットされていまいます。 【12時間ルール】新しいインスタンスを起動してから12時間経過 【90分ルール】ノートブックのセッションが切れてから90分経過 1つ目の12時間ルールについては、学習データや中間生成物をGoogle Driveに退避させることで学習を継
[用語]スループットとレイテンシー - Qiita
はじめに AWSのソリューションアーキテクトの勉強をしている中で、「スループット」と「レイテンシー」の意味を毎回忘れてしまうので、記憶定着と備忘のため。 一言で言うと「時間あたりの処理能力」のこと。 要は一回の処理でどのぐらいのデータを送ったりできるか、という指標で、もちろん高ければ高いほど性能が良いということになる。 ただし、あんまり一度にたくさんのデータを送ったりすると、次に書くレイテンシーが低くなる。 一言で言うと「ポチってから応答が返るまでの時間」のこと。数え方は「低い（良い）」か「高い（悪い）」。 通信の遅延時間とも言う。 Webオンラインシステムやスマホゲームなどは通信の度に何秒も待たされるとものすごいストレスになるので、そういう場合はスループットよりもレイテンシーが重視される。 まとめ スループットとレイテンシーはどっちが良い・悪いではなく、（基本的には）トレードオフになるみ
![[用語]スループットとレイテンシー - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c96961397d6b7898e4ebcd340b484990530663d2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JTk0JUE4JUU4JUFBJTlFJTVEJUUzJTgyJUI5JUUzJTgzJUFCJUUzJTgzJUJDJUUzJTgzJTk3JUUzJTgzJTgzJUUzJTgzJTg4JUUzJTgxJUE4JUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTg2JUUzJTgzJUIzJUUzJTgyJUI3JUUzJTgzJUJDJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz02ZTg3Mjg3YjgxOWJjYTUxNzU0OWFmOWQxZGU4ODI1Ng%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBra2lubzE5ODUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTg3MjUwOTlmMjQyYTBlZjhlNDMzMGRhMjA1ZjZlYmM2%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D09a984f3ca93bab46a64fb696b192cd1)
OpenCV(Python版)でテニスのボール軌道を検出する - Qiita
やりたいこと テニスのボール軌道を検出して、円で囲います。 最終的には、ボールの軌道や着弾点などを自動でデータ化できるようにしたいと思っています。 ボールの軌道を検出した動画 開発中のディープラーニングを用いたテニス映像解析システム。サーブ時のボールの軌道をトラッキングしてます。次は、着弾点を自動で記録できるようにしたい。 pic.twitter.com/NcwIdYLtrj — おたこ (@otakoma) 2018年5月1日 サーブのボールを検出できています。人をバウンディングボックスで検出していて、これはディープラーニングの物体検出手法（SSD）を用いてやっていますが今回は扱いません。 手順 フレーム間の差分画像を生成 画像を２値化 膨張処理して分割してしまった物体を1つの物体としてまとめる 物体の重心座標（x,y）を計算し、円で囲う 全コードは最後に記載してます。 フレーム間の差分
Chainerでfine-tuningを行う - Qiita
すでにトレーニングされたモデルからWやbなどの重みを取得することで、より早く学習を進めることができる (fine-tuning)。 モデル自体が完全に同じ場合には当然使えるし、モデルの一部を修正して使用する場合にも、変更の必要がない層に関しては、あらかじめ学習済みのモデルから重みを借用するのが良い。例えば、分類先の画像種類が1000種類から10種類に切り替える場合などは、最終の全結合層のみ切り替える必要はあるが、それ以前の畳み込み層などは変更の必要性は少なく、その部分の重みを使用することができる。 計算時間短縮に結びつく背景には、以下のような点が挙げられる： - あらかじめ大量の計算資源を使用して収束した時点の結果を使用するため、それまでの計算時間を省略可能。特に、畳み込み層の第一層はガボールフィルタに近似するという研究も多く、あえてそこを新規で学習させる必要性はあまり感じられない - ま
クラスタリング手法のクラスタリング - Qiita
はじめに クラスタリングについて調べてみると，割りと無責任に scikit-learn がーとか機械学習がーとか語っているページがとても多かったので， なぜ，クラスタリングを行うのかとその注意点 クラスタリングにはどのような分類があるのか それぞれの手法の長所と短所，なぜその手法を使うのか 具体的なライブラリの選択 という観点からまとめてみました． プログラマかつ数学弱者なので，深く込み入った数学的な沼については語ることが出来ません． また，具体的なライブラリとして，Python の Scipy や scikit-learn を用います． 基本的に引用が多い記事なので，下記の参考ページを一読していただきたいです．また，引用元の著者さんで，引用を外していただきたい場合はご連絡ください．すぐに対応します． クラスタリングを行う理由と注意点 クラスタリングとは そもそも機械学習の手法は大きく分け
kerasでGrad-CAM 自分で作ったモデルで - Qiita
ここでは、Python3.6.4 で行なっています。また、主に以下のパッケージを利用しています。 Keras (2.1.5) はじめに kerasでGrad-CAMを行ってみました。自分で作成したモデルで試しています。 モデルは、kaggleの dog vs cat のデータについてResnet50で転移学習をおこない 作成しました。 犬か猫かを判別するモデルについて、どこの影響が大きいのかをみてみます。 なお、画像サイズは200x200でモデルを作成したので、そのサイズにしています。 まずは関数の部分。 # coding:utf-8 import pandas as pd import numpy as np import cv2 from keras import backend as K from keras.preprocessing.image import array_to_i
初心者のRNN(LSTM) | Kerasで試してみる - Qiita
時系列データ解析の為にRNNを使ってみようと思い，簡単な実装をして,時系列データとして ほとんど，以下の真似ごとなのでいいねはそちらにお願いします． 深層学習ライブラリKerasでRNNを使ってsin波予測 LSTM で正弦波を予測する CHANGE LOG 2020/07/12 Sequenceの長さを25 → 50で再学習させた場合を追記 ライブラリをスタンドアロンKeras → Tensorflow.kerasに変更 ライブラリ from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Activation from tensorflow.keras.layers import LSTM from tensorflow.keras.optimizers impor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
