映像ソフト版「この世界の片隅に」 修正ポイント徹底検証
ちなみに、本編に盛り込めなかった一部エピソードを追加した、いわゆる「長尺版」に関しては、今回の修正とは別件となっています。気にされてる方がいらっしゃいますし、今回の修正を加えたバージョンの意義にも触れられているので、長尺版関係のツイートも出しておきます。 「長尺版」に関するツイート 片渕須直 @katabuchi_sunao ①『この世界の片隅に』DVD&BD、アマゾンなどで「監督の本来のプランどおりの長尺化が実現できていない」という理由で☆を少なめに入れておられる方もおられるようですが、ありがたいお声であり、しかしごめんなさい。今回発売されるのはそれとは別のもの、昨年11月12日以来劇場公開されて→ 2017-09-14 00:47:01
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an
人は学習した知見を脳に記憶する、機械学習では学習した知見をどう記憶すれば良いか - Qiita
前回は機械学習による未来予測の例として、決定木アルゴリズムで株価の予測をする話をしました。このように直近のポートフォリオの変化をあらわす数列の並びから次の数値の上げ下げを単純に予測するといった場面では、複雑なアルゴリズムに頼らずとも決定木のような単純明快な方法で低コストかつそこそこの精度による予測を実現することができます。 機械的な予測はたとえば短期のトレードにおいて威力を発揮するでしょう。週よりも日、日よりも時や分のように短いレンジのほうが向いているでしょうから、現物よりは信用取引などのほうが向いているかもしれません。もし中・長期的な投資をするならば、やはりファンダメンタルズが優良で PER が格安 ROE が良好な銘柄に投資するといった基本的な姿勢が大切になると思います。 テクニカル指標の一覧を見ればわかりますが、そもそも古くから伝わるこれらの計算式は決して複雑ではありません。またその
Pythonで機械学習はじめました クラスタリング＆次元圧縮＆可視化編 - Qiita
はじめに 前回の「データ前処理編」から時間が空いてしまいましたが、今回はTwitterのテキストデータをクラスタリングをしてみます。 3行でまとめ （やっと）クラスタリングした。 クラスタリングした結果をmatplotlibで可視化した。 次回は脇道で可視化の小技紹介になるかも。 いきなりソースコード（可視化以外） 前回の「ベクトライズ」の実装に「クラスタリング」「次元圧縮」の実装を追加してみました。（「可視化」のソースはちょっと長いので後で） #! /usr/bin/env python # -*- coding:utf-8 -*- import MeCab as mc from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans from sklearn.de
Pythonで機械学習はじめました データ前処理編 - Qiita
はじめに PyCon JP 2016に参加してきました！大変モチベーションが上がった！ので更新します← ちなみにPyConで勉強してきたことも、追々整理&動かしてみて、記事にしてみたいと思います。 今回は「データ準備編」の続きで、Twitterのテキストデータをクラスタリング…する前に、データ前処理とテキストデータ同士の簡単な類似度算出をしてみます。 ご注意！(前回と同じ) 理論よりも、とりあえず触って理解するやり方が好きなので、色々と雑です。 さらに文盲ということで、分かりづらい文章になると思ってます。 そんな訳で読んでてツッコミたくなる内容は多々あると思いますが、ご了承頂きたく！ ※優しいツッコミは大歓迎です 3行でまとめ クラスタリングの前処理として、テキストデータを数値(ベクトル)化した。 数値化したテキストデータ同士で、類似度を計算してみた。 次回からクラスタリングできる！(はず
Jubatusのクラスタリング機能を使ってみた - Qiita
この記事はJubatus Advent Calenderの15日目の記事です。 Jubatusには数々の機械学習アルゴリズムが実装されています。 ここではあまり利用されることがないクラスタリング機能に着目して、実装されているアルゴリズムやその特性などをみていきたいと思います。 クラスタリングとは クラスタリングとはデータの集まりを、データ間の類似度などの指標に従って類似したデータのグループ（クラスタ）に分割する機械学習の手法です。 正解データなしに利用することができる教師無学習であり、類似したデータ集合を抽出することができるためSNS上の話題抽出などに利用されます。 Jubatusに実装されているクラスタリングアルゴリズム 2016年12月現在、Jubatusには3つのクラスタリングアルゴリズムが実装されています。 各アルゴリズムを簡単に説明します。 K-Meansアルゴリズム クラスタリ
Adversarial AutoEncoderで半教師あり学習
概要 Adversarial Autoencoders を読んだ Chainer 1.12で実装した はじめに 前回Adversarial AutoEncoderの記事を書きましたが、あれから3ヶ月後に論文が更新され、半教師あり学習への応用などの項目が追加されていました。 そこでChainer 1.12で実装し実験を行いました。 コードはGitHubにあります。 以下の説明は全てこのコードを元に行います。 またAdversarial AutoEncoderをこれ以降AAEと呼びます。 Adversarial Regularization 論文2.3節では隠れ変数$\boldsymbol z$をラベルデータを用いて正則化する方法について書かれています。 コードはsupervised/regularize_zにあります。 学習させると以下のように狙った箇所に隠れ変数を押し込めます。 Super
Adversarial Autoencoders [arXiv:1511.05644]
概要 Adversarial Autoencoders を読んだ Chainerで実装した はじめに Adversarial Autoencoderは、通常のオートエンコーダの中間層出力ベクトル$\boldsymbol z$に対し、Generative Adversarial Networksの枠組みで正則化を行うオートエンコーダです。 GAN (Generative Adversarial Networks) GANではまず任意のノイズ分布$p_z(\boldsymbol z)$を考え、そこからサンプリングしたノイズ$\boldsymbol z$から偽のデータ$\boldsymbol x_{gen}$を生成する関数$G(\boldsymbol z)$をニューラルネットで定義します。 次に任意のデータ$\boldsymbol x$に対し、それが訓練データ由来の本物のデータ$\boldsym
【教師なし学習・クラスタリング】K-means - HELLO CYBERNETICS
はじめに K-means K-meansの働き K-meansの概要 K-meansの詳細 １．初期化 ２．クラスターへの割り当て ３．重心の更新 ４．「２．」と「３．」を繰り返す K-meansの欠点 K-meansの改良 混合ガウスモデル はじめに 近年の機械学習は専ら教師あり学習に話題が集中しています。 しかし、実際のデータは必ずしもラベルを正確に付与できるとは限りません。多くのデータはなんだかよくわからないが手元にある状態で、そのデータはいくつかの塊に分けられると（あるいはいくつかのデータの源がある）考えられます。 そのようなときに使える機械学習の手法が、教師なし学習であり、その一種であるクラスタリングは、ラベルの付与無しに、データをいくつかの塊（クラスター）に分けます。 今回はクラスタリングで最も基本的な手法であるK-meansを紹介します。 K-meansは混合ガウスモデルの特
ARIMAについての感覚的な理解(1/2) - PolyPeaceLight
最近ずっと時系列解析について調べています。 その基礎の中に「ARIMA」というモデルがあります。 ARIMAは「Autoregressive Integrated Moving Average」、日本語で言うと「自己回帰和分移動平均」というモデルです。 はあ？なにそれ？ ARIMAモデルは次の3つのモデルを合わせたモデルであるために、よくわからない名前になっています。 Autoregressive model 自己回帰モデル Moving Average model 移動平均モデル Integrated model 和分モデル それぞれはAR、MA、I、という略称で呼ばれ、また、それぞれは1つのパラメタを取ります。 ARはp、MAはq、Iはd これらを合わせたARIMAモデルは、3つのパラメタを取ることになり、ARIMA(p, d, q)と記述されます。 私は、ARIMAの理解に手こずった
ノート/Chainerでネットを可視化する（備忘） 2017-04-27 - 東邦大学理学部情報科学科 山内のサイト
サイトトップ ノート マイニング ├ マイニング ├ バスケット解析 ├ バスケット解析をＲで ├ 図書貸出をＲで ├ モデルクラスタリング └ テキストマイニング ├ テキストマイニングTM ├ TMとシソーラス ├ PubMedをTM ├ TMとMeSH ├ TMとNLTK ├ テキストマイニングとtagger ├ 医薬品添付文書ＤＢ ├ 論文の処理1 ├ 剽窃１ ├ Bing検索 └ 分子進化学 ├ 分子進化学 └ Pythonと論文アクセス ├ Pythonを使ってみる ├ PythonでPubMed ├ Pythonで...続き └ CUDA ├ GPU ├ ProgrammingGuide ├ Selandメモ ├ 数値積分 └ ACS、PHPからLDAP ├ ACS導入 ├ 新規ホスト移行 ├ 再度やり
3章 クラスタリング：関連のある文書を見つける - AI-Programming
前処理（preprocessing）過程 共通する単語の出現回数を類似度として計算する テキストデータをトークン化する 頻出もしくはその逆の単語を除く 残りの単語について出現回数をカウント 単語の出現回数からTF-IDFを計算する 本書で与えられているデータセット [01.txt] 'Most imaging databases safe images permanently.' [02.txt] 'Imaging databases store images. Imaging databases store images. Imaging databases store images.' [03.txt] 'Imaging databases store images.' [04.txt] 'Imaging databases can get huge.' [05.txt] 'This
人工知能技術のユニバーサルサービス化に向けて（上） -ハードウエアとソフトウエアから見るAI技術環境- ｜ 経営研レポート 2016 | NTTデータ経営研究所
人工知能（以下AI)という言葉はバズワードを通り越し、日常的にビジネスの中で使われる用語となりつつある。昨今、AIに関する技術やサービスの話題は尽きず、情報通信分野などの特定の分野だけではなく、エネルギー、金融、医療、消費サービス、インフラサービスなど、あらゆる分野でAIが活用されはじめ、気付かないうちに私たちの日常生活にも入り込んでいる。 囲碁のプロ棋士に勝利を収めたことで有名なGoogle DeepMind社はそのAI技術を使い、自社データセンターの冷却電力などを40%削減したと発表した※1。Googleのデータセンターは電力コストを10%削減できるだけでも数年間で数億ドルのコスト削減になると言われているため、その効果の大きさには目を見張るものがある。また、東京大学医科学研究所は特殊な白血病患者の病状をIBM Watson※2で分析し、10分で原因となる部分を特定、治療方法を変えたとこ
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012で行われた「ビジネスで生きる機械学習技術」セッションの招待講演資料です。 http://www.ipsj.or.jp/event/fit/fit2012/program/data/html/event/event_A-7.html 【講演概要】 世の中で得られる知見の多くは、何らかの観測対象の時間変化や、観測対象グループにおける珍しい個体の出現を捉えたものと考えることができます。特に急速な変化や異常な個体の検出するための異常検知技術は、ビジネスにおけるデータ収集・蓄積インフラの浸透とともに応用が広がっています。従来は、蓄積されたデータを目で見て確認する、閾値を設けてアラートを出す、あるいは経験に基づいて異常パターンをルール化する、などのアプローチが主流でした。しかしながら、収集できるデータの変数と量が飛躍的に増大する中で、比較的単純かつ過去に起きた異常のみ扱えるルールベース手
アンサンブル学習
2. アジェンダ • 自己紹介 • アンサンブル学習 • アンサンブル学習アルゴリズム • バギング • ブースティング • ランダムフォレスト • R での実行方法 2
LSTMネットワークの概要 - Qiita
Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができません、それは大きな欠点のように思えます。たとえば、映画の中の各時点でどのような種類の出来事が起こっているかを分類したいと想像してください。従来のニューラルネットワークが、映画の前の出来事についての推論を後のものに教えるためにどのように使用できるかは不明です。 リ
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
収益率の代わりに対数差分を用いられる理由 - 理工学部生のメモ
ファイナンスの世界でよくデータの対数をとってその差の系列を調べるといったことがあります。ファイナンスを勉強したての方は何故このようなことをするのか疑問に思うでしょう。本記事では収益率を対数差分で代用してもよい理由とその動機について個人的な見解を述べたいと思います。 収益率は対数差分で近似できる 今、ある証券の価格が (t=0,1,2,・・・)で時系列的に与えられるとしましょう。このとき、t期での収益率は以下のようにあらわされます。 例えば、t期で100円だった証券がt+1期で110円となったときの収益率は(110-100)/100=0.1となります。 ここで、x=0の近傍におけるlog(1+x)のテーラー展開を考えると以下のようになります。 よってlog(1+x)のx=0の近傍での1次近似は以下のようになります。 ここで上の式にを代入してみましょう。すると となります。ゆえに収益率は対数差
機械学習による時系列予測 | Logics of Blue
最終更新：2017年7月26日 機械学習法を用いた時系列データの予測方法について説明します。 R言語を使えば、機械学習も時系列データのデータ操作も簡単にできます。 両者を組み合わせて、時系列データへの予測モデルを作成してみました。 ソースコードはこちらに置いてあります。 スポンサードリンク 目次 解析の準備 機械学習とは 今回予測するデータ caretパッケージを使う準備 Rによる機械学習 予測モデルの概要 ハイパーパラメタのチューニング 機械学習による時系列予測 最適な次数を選ぶ 当てはめ精度の評価 将来の予測 1．解析の準備 機械学習とは 機械学習とは、次にどのようなデータが来るのかを､決まった手順を踏んで予測する技術、あるいは手法のことです。 機械学習の良いところは、予測のための「手順」を、過去のデータからほとんど自動で見つけられることです。 昔は人間が勘と経験そして度胸で予測を出し
はじめてのパターン認識 第7章 パーセプトロン型学習規則 - Qiita
ここでは、はじめてのパターン認識第7章について解説を行う。 7.1.1～7.1.3については線形分離可能なケースに限定した記述で、実際使う際はほぼ非線形で関係ないため割愛する ニューラルネットワーク ニューラルネットワークとは、端的に言えば人の脳仕組みを模した分類機である。 具体的に言えばたくさんの素子(脳におけるニューロン)を接続して階層上のネットワークを構築し、そこから出力を得るというアイデアだ。このネットワークはパーセプトロンと呼ばれている。 さて、実際にはデータを用いてパーセプトロンを学習させ、適切な分類が行えるようにしたい。では、学習させるということは具体的にどういうことになるのか。 まず、パーセプトロンを構成する各ニューロンを、以下のようにモデル化する。 入力されるデータを$x=(x_0 = 1, x_1, ... x_n)$とし、それに対する重みを$w=(w_0,w_1,..
Chainerで始めるニューラルネットワーク - Qiita
Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には、さらに一つ「インストールが簡単」というのも挙げたいと思います。 ディープラーニング系のフレームワークはどれもインストールが面倒なものが多いのですが、Chainerは依存ライブラリが少なく簡単に導入・・・できたんですが、1.5.0からCythonを使うようになりちょっと手間になりました。インストール方法については以下をご参照ください。 Mac Windows AWS 公式インストール情報 また、C
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
ChainerとRNNと機械翻訳 - Qiita
自然言語処理とニューラルネット ここ数年で、自然言語処理の分野でもニューラルネットが非常に頻繁に使われるようになってきました。 自然言語処理で主に解析対象となるのは単語の配列や構文木などで、これらの内包する情報を表現するためにrecurrent neural network1やrecursive neural network1などに基づくモデルが頻繁に使われます。これらの最大の特徴はニューラルネットがある種のデータ構造を持っているという点で、1レイヤあたりのノードはそれほど多くない代わりにネットワークの接続が複雑で、しかも入力されるデータごとにネットワークそのものの形状が変化するという特徴があります。このため、伝統的なfeedforward neural networkを前提としたツールキットでは構築が難しいという問題がありました。 Chainerは、そのような問題を概ね解決してしまう強力
scikit-learn から学ぶ機械学習の手法の概要 - Qiita
前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学習の手法そのものを実装しなくても利用することはできます。もちろん手法の内容に対する理解は必要ですが、せっかく scikit-learn という事実上デファクトとも言えるライブラリが存在するのですから、これを使うところから入門していくのが良いかと思います。 以
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chainerで学ぶdeep learning
Deep Learning
Deep LearningフレームワークChainerと最近の技術動向
Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ - Qiita
機械学習の理論と実践