幻想再帰のアリュージョニストでword2vec - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
ExcelデータをPython pandasで扱う - Qiita
はじめに Excelでしか保存されていないデータをpandasで扱うときの備忘録。 正直に言うとバッドノウハウの塊かも。 本当に効率よくやりたいんならインフラをちゃんと整備しましょうね。 やりたいこと Excelをcsvにしてほかのシステムに投入する 各シートに分かれたデータを一つのDataFrameにする Excelを扱うときにはpandas.read_excelをよく使うが、複数のシートを扱うときにはpandas.ExcelFileを使うと便利。 https://pandas.pydata.org/pandas-docs/stable/generated/pandas.ExcelFile.parse.html pandas.ExcelFile.sheet_namesでシート名のリストを取得 pandas.ExcelFile.parse(pandas.read_excelと同じ)でシート
関数近似で学ぶ chainer とディープラーニング - Qiita
$y=e^x$ という関数をいわゆるディープラーニングで学習する、というお題を通じて、chainerを学んでみます。下記はchainer1.6.2.1で確認しています。 同じ内容をJupyter notebook形式でこちらに置いていますので、動かしながら確認したい方はそちらを参照してください。 まず必要なモジュール類をインポートします。 import numpy as np import chainer from chainer import cuda, Function, gradient_check, Variable, optimizers, serializers, utils from chainer import Link, Chain, ChainList import chainer.functions as F import chainer.links as L fro
HaskellでTensorFlow、を対話的に試してみる - Qiita
はじめに TensorFlowのHaskell用バインディングがリリースされています。 本格的に使用する場合はコンパイル方式を用いると思いますが、本記事では、環境に慣れるために対話的に使用する方法について簡単に紹介します。 以下では、Linux(ubuntu 16.04LTS 18.04LTS)を用いた例を紹介します。 なお、Dockerはインストール済みであることを前提としています。 本記事は、2017年8月時点 2018年8月時点の内容です。TensorFlowのHaskell用バインディングは開発中のため、今後、使い勝手が変わると思いますので注意してください。 以下は参考資料です。 Haskell bindings for TensorFlow Starting out with Haskell Tensor Flow 環境の準備 1. stackコマンドのインストール stackを
scikit-learnとflaskで簡単な機械学習✕Webアプリ - Qiita
簡単な機械学習とWebアプリ Webサイトからの入力に対して、機械学習で作った判定モデルで結果を画面に表示する簡単なデモアプリを作ってみました。 アヤメのがく片と花びらの大きさ（縦、横）を入力すると、品種を判定して表示します。 コードはこちらにあります。 https://github.com/shibuiwilliam/mlweb 全体像 こんな感じです。 がく片や花びらを入力するフロントエンドと判定して結果を返すバックエンドという構成です。 スーパーシンプルです。 言語はPython3.6で、Webにはflaskとwtform、機械学習にはscikit-learnを使っています。 使い方 開発環境はCentOS7.3とPython3.6です。 ライブラリとしてflask、wtform、scikit-learn、Jupyter Notebookを入れています。 この辺は概ねAnaconda
タイムカードボットというBOTアプリを作りました - Qiita
私は、B2B系のシステム開発会社を３社ほど経験していますが、そのいずれも、 始業時間、終業時間と作業の内訳を 月末にEXCELで 提出する決まりがありました（うち１社は自社システムだったけど）。 基本的にダメ人間で、「毎日仕事終わるときに記入する」ということができないので、時には「Windowsのイベントログのシャットダウン時刻を抽出して」記入したりしていましたが、近年は在宅勤務になったこともあり、PCが起動（スリープ）しっぱなしなことも多く、これも使えなくなってしまいました。 これはもう誰かに「仕事終わった？」って聞いてもらうしかない。 現職では Skype を常駐させている（個人では Slack）ので、Skype の Bot に聞いてもらおう！ ということで作ったのが「タイムカードボット」です。10日くらい自分で使ってて安定してきたので公開しちゃいます。 概要 使い方は簡単で、Skyp
【 Google I/O 2017 】AI が AI を 創る 世界 へ : Google Brain が AutoML（Auto Machine Learning）を 発表 - Qiita
【 Google I/O 2017 】AI が AI を 創る 世界 へ : Google Brain が AutoML（Auto Machine Learning）を 発表google人工知能DeepLearningMachineLearning機械学習 Google I/O 2017 で、Google Brain が、"遺伝的アルゴリズム と 強化学習 の 組み合わせ" によって（？）、ニューラルネットワーク を 自動で進化・改良させていく AutoML を 発表した。 日経テクノロジーonline （日経エレクトロニクス 2017年8月号）中田 敦＝シリコンバレー支局 2017/07/19 00:00 『グーグルの「AIファースト」戦略が加速、深層学習用TPUや「AIを改善するAI」を発表』日経Roboticsから今月の1本 AutoML ニューラルネットワークがニューラルネットワー
メガネな人を見つめてくれるWebカメラ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? メガネな人を見つめてくれるWebカメラを作った。 メガネが無い人は見つめてくれません。 メガネな人を見つめてくれるWebカメラ作った。 動画の人物は同僚のK島氏。許可をとってご登場頂いております。https://t.co/nf5TNJpcjI — foka (@foka22ok) 2017年8月3日 最近ぼんやりとやってみたいと思ってた中から、以下の4つをまとめたらこれができました。 機械学習の学習データを自分で集めて精度を検討 Kerasを試す 機械学習をリアルタイム処理で使う モーター制御したい ざっくりとはこんな感じの仕組みです。
【Python】pandas.DataFrameで置換処理 - Qiita
import numpy as np import pandas as pd cols = ['var1', 'var2', 'var3', 'var4'] df1 = pd.DataFrame(np.random.randn(4, 4), columns=cols) df2 = pd.DataFrame(np.arange(16).reshape(4, 4), columns=cols) df1 var1 var2 var3 var4 0 -0.083782 0.964222 0.832664 -0.528963 1 0.017696 0.144067 0.093823 0.147779 2 -0.082808 -0.893112 -0.477983 -0.623641 3 0.581019 -1.603081 -0.717007 0.849844 df2 var1 var2 var3
Extending ggplot2（和訳） - Qiita
この記事は、Rのggplot2パッケージの「Extending ggplot2」というVignetteを訳したものです。原文はGPL-2ライセンスで公開されているggplot2パッケージに含まれ、著作権はHadley Wickhamに帰属します。この翻訳文にもGPL-2ライセンスが適用されます。 Note that the original document is provided under the license of GPL-2 and the copyright belongs to Hadley Wickham, one of the authors of ggplot2. このvignetteには、ggplot2 2.0.0で公式に提供される拡張メカニズムについて書きます。 このvignetteは、?Statや?Geomや?themeで読むことができる低レベルな詳細をまとめたも
scikit-learnのk-meansで独自の距離関数を定義する - Qiita
この記事で紹介すること kmeansの距離関数って本当にユークリッド距離大正義なの？ scikit-learnのk-meansって何が動いているの？ scikit-learnのk-meansで距離関数を変更するにはどうするの？ k-means法といえば、みなさんご存知、ぐにょぐにょっとデータを分割してくれるアレですね。 教科書にもよく出てくるアレなので、細かい説明は省きますが、いまだに使われてるのは、（禁則事項です）ということですよね。 あ、ちなみにこういう動画とかこういうツールとか使うと、k-meansの動きがよくわかってナイスだと思います。 で、k-meansではセントロイドと各データとの距離を測るために、「距離関数」が必要になります。 教科書的には「ユークリッド距離」一択のことが多いのですが、それって本当に正しいのでしょうか？ この論文, Anna Huang, "Similarit
Tensorflowにおける各種演算まとめ - Qiita
はじめに Tensorflowではテンソルと呼ばれる量を扱うので、Numpyのメソッド等は使えません。そのためTensorflowに用意されているメソッドを用いる必要があります。 ここでは基本的な四則演算と行列演算についてまとめています。特にPythonで定義されている各種演算(+, -, /, //, %)と比べています。 注意 - すべての演算をまとめているわけではないので、その他の演算については公式ドキュメントを参照ください。 - Tensorflowでは全てテンソルを扱うので、データの種類に言及するときは、テンソルを飛ばして「リストは〜」「ベクトルは〜」などと書いています。その点注意していただければと思います。 - 2018/01/31: 1月26日にTensorflow v1.5.0がリリースされました。このバージョンからeager executionというメソッドが実装され、S
WindowsやmacやLinuxにpipでPython用MeCabバインディングをいれる - Qiita
はじめに ちゃお・・・† 個人的にですが、最近はWindowsのPythonでMeCabを使う機会が増えてきました。しかし、WindowsでMeCabのPythonラッパーを入れるには、ソースをダウンロードしたりsetup.pyを書き換えたりコンパイラをインストールしたりしないといけないので、とても面倒です。 そこで、WindowsでもmacでもUbuntuでもpipで簡単にMeCabのPythonラッパーを使えるものを公開しました！ https://pypi.org/project/mecab/ ※ 過去にmecab-python-windowsというものを公開しましたが、そちらは今後アップデートしないつもりなので、mecab-python-windowsを使っている人はこちらに乗り換えることを推奨します。 これは何？ インストール時のOSによってふるまいを変えることで、一つのパッケージ
Kerasで多変量LSTM - Qiita
単変量の時系列はkerasでもよく見るのですが、株価や売上などを予測する時などには複数の要因が関わってきますので、今回は複数の時系列データを使って予測してみました。 ソースの紹介 コード 「MACHINE LEARNING MASTERY」で紹介されているコードを基本に、多変量対応にしました。 Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras jupyterで見れるコードの全貌はこちら https://github.com/tizuo/keras/blob/master/LSTM%20with%20multi%20variables.ipynb データ サンプルデータは以下から拝借しました。一番左のice_salesを予測します。 アイスクリームの売れ方 ice_sales yea
[WIP]Rustで「ゼロからつくるDeep Learning」 - Qiita
Deep Learningを学ぶべくゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んだ。理解を深めるのとRustの学習を兼ねて、本書に書かれた内容をRustに書いてみる。なお筆者はDeep LearningにもRustにも、行列にも精通していない。 p26 2.3.2 重みとバイアスの導入 パーセプトロンのANDゲートを実装するのに、行列の計算に置き換える箇所。 行列の内積後、バイアスを加える処理をするところ。 行列の計算にはnagebraを使うことにした。 # [test] fn page_26() { let x = Matrix1x2::new(0.0, 1.0); println!("{}", x); let w = Vector2::new(0.5, 0.5); println!("{}", w); let b = Vector1:
![[WIP]Rustで「ゼロからつくるDeep Learning」 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/73c72957af9fb3a6d0fac988b004f1c48aa2497e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNTg0MCUyRnByb2ZpbGUtaW1hZ2VzJTJGMTQ3MzY4MjMwMz9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmZm09cG5nMzImcz1jNDQ3Yjc5YmY3ODVjMDExZmY4OTgzNGViZGI5OWY3Zg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D3f6602d1c09630e48d434d5827288542%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCV0lQJTVEUnVzdCVFMyU4MSVBNyVFMyU4MCU4QyVFMyU4MiVCQyVFMyU4MyVBRCVFMyU4MSU4QiVFMyU4MiU4OSVFMyU4MSVBNCVFMyU4MSU4RiVFMyU4MiU4QkRlZXAlMjBMZWFybmluZyVFMyU4MCU4RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTEyZTI3NTAwYWNkNDUyN2Y2NWY3MDAzYjU4MDlkMzky%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBlaWVsaCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTI3YzBjOWJmNTcxMTVhYTZhYzRlN2JiMmQ1ZjI4YjM4%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D064c095102fc40090a5941870325cb83)
Neural Tensor Network 〜 Deep learning と Tensor Relational learning テンソル関係学習 の 合流 した 姿 - Qiita
Neural Tensor Network 〜 Deep learning と Tensor Relational learning テンソル関係学習 の 合流 した 姿DeepLearning深層学習NLPMachineLearningNeuralTensorNetwork 入力 が ベクトル や 行列 ではなく、階数3以上のテンソル な ニューラルネットワーク である場合、Neural Tensor Network と呼ばれているようです。 階数 3のデータ形式 が ニューラルネットワーク への 入力データ になる例 として、 セマンティック意味ラベルが付与された 構造化意味データ が 多く 見受けられます。 その関係 で、知識データ を 参照させる ニューラルネットワークモデルの構築・組成 に 力を発揮するものと考えられます。 セマンティック意味データ 以外 にも、 行列よりも階数の
【レコメンド】内容ベースと協調フィルタリングの長所と短所・実装方法まとめ - Qiita
アルゴリズムの説明 ■ 協調フィルタリングとは アイテム利用者の行動履歴を元にレコメンドする方法です。Amazonの『この商品を買った人は、こんな商品も』機能が有名です。協調フィルタリングによるレコメンドはユーザの行動を元にレコメンドする方法です。 ■ 内容ベース（コンテンツベース）フィルタリングとは アイテムの特徴ベクトルで類似度ソートしてレコメンドする方法です。 グルメサイトでユーザが入力した『新宿・エスニック料理』というキーワードに関連付けられたお店が表示される場合が該当します。内容ベースによるレコメンドはアイテムの特徴を元にレコメンドする方法です。 特性の詳細について ■ 多様性 協調: o 内容ベース: x 内容ベースでは商品内容に記載されていない情報はレコメンドされませんが、協調フィルタリングでは他の利用者を通じてレコメンドされるため自身がしらない情報でもレコメンド出来ます。
Microsoft Bot Framework による Cortana スキルの追加方法 - Qiita
Cortana Skills Kit が Public Preview に 5/10 に Cortana Skills Kit が public preview になり、Microsoft Bot Framework のチャネルの一つとして、パーソナル アシスタントの Cortana が追加されました。 これにより、Windows 10, Android, iOS で利用可能な Cortana に対してスキルを追加可能となり機能を拡張することできるようになりました。 現状では、日本語版の Cortana には、対応していませんが、ここでは、英語版の Cortana を使い、スキルを追加する手順を紹介します。 Bot Framework のセットアップ 以降の手順では、Visual Studio 2017 を利用します。 Visual Studio 2017 をご利用でない場合は、条件によっ
pandasでtableを簡単スクレイピング - Qiita
こんなサイトのテーブルをpandasのデータフレームに取り込みたくて、BeautifulSoupのタグからリストに変換して・・・と色々やっていたそこのあなた！ なんと、read_html(flavor='bs4')だけで簡単に持ってくることができますよ。 (え？知ってた？・・・自分は知らなくてずっと損してましたorz) import pandas as pd tables = pd.read_html('http://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O', flavor='bs4') print(tables[1]) """ 0 1 2 3 4 0 日付 始値 高値 安値 終値 1 2015年11月19日 19851.24 19959.06 19761.56 19859.81 2 2015年11月18日 1977
データサイエンティスト・データエンジニアのための Python ライブラリ一覧 - Qiita
データ分析やデータ加工、機械学習などを行うのに便利な Python ライブラリを紹介する。 なぜ Python なのか 統計や機械学習をするなら、 R という選択肢もある。 R のデータの加工や集計、統計処理に優れた言語であり、言語標準の機能だけでかなりのことができる。機械学習のライブラリも充実しており、有力な選択肢であることは間違いない。 R と比較して Python が優れている点は、周辺エコシステムの充実にある。 Python エコシステムはデータサイエンスの分野に留まらない。 NumPy や Pands で加工したデータを Django を使った本格的な Web アプリケーションで利用することも可能だ。 ライブラリ群のインストール ここで挙げているライブラリのほとんどは Anaconda で一括でインストールできる。 データ加工 NumPy NumPy は数値計算を効率的に行うため
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
