ハリイカの焼売と中華炒め ハリイカをよく、見かけるようになりましたよ。生け簀で、泳いでいたものを一杯購入しました 立派な大きな墨袋や肝は冷凍保存して 柔らかな身は季節のお豆、お野菜と合わせて中華の炒めものに。新鮮なにんにくの茎は刻み、香り高く食欲そそられますね 下足はミンチにし…

はじめに 単語をベクトルや確率分布などの数学的表現で扱いたい場合があったりする。 しかし、「どのようなベクトル・確率分布にすべきか？」などはタスクに依存したりして、自明じゃない。 たくさんあって、派生や新しいものもどんどんでていると思うので、どんなものがあるか調べたかぎりメモ。 One hot表現 各次元が「その単語か否か」を表すベクトルで表現 次元の大きさ＝ボキャブラリ数 例: スカイツリー = (「船」か否か, 「スカイツリー」か否か, ... ) = (0,1,0,...) 素性のどれか1つしか1にならなくてスパースネスの問題がでる 未知語はゼロベクトルになってしまう 文字nグラムによる表現 単語の表層から得られる情報を利用 単語に出現している文字nグラムを利用 カタカナ語とか有効そう 例: スカイツリー = (「スカ」の出現回数, 「カイ」の出現回数, 「イツ」の出現回数, 「アア

PRMLの"1.1 例:多項式曲線フィッティング"を読んだ。 実際に実装して、科書通りにフィッティング出来ることを確認した。 多項式曲線フィッティングの実装 xを0~1の間で10個選び、それぞれのxに対してsin(2πx)を計算した値にノイズを加えて訓練集合tを作成する。 そして、この訓練集合tを以下の式でフィッティングする。 フィッティングは、訓練集合tに対して二乗和誤差が最小になるwを見つける事で行う。 二乗和誤差は以下の式で表される。 (1.2)に(1.1)を代入して、各wで偏微分した結果が0になる時に二乗和誤差が最小である。 したがって、 のように書く事が出来て(演習1.1)、M+1個の一次方程式から連立一次方程式が得られる。 その連立一次方程式はAw = Tの行列形式にして解く事が出来る。 ただし、このままでは過学習が発生するので、以下のように罰金項を加える。 (1.4)も、偏微

こんにちは。 季節の中では秋が好き、バックエンドエンジニアのりほやんです。 近年、Facebookログインを使うサービスがとても増えています。 VASILYでもFacebookログインとFacebook Graph APIを使用した機能を実装しました。 本記事では、Facebook Graph APIを用いてユーザー情報を取得する方法と注意点について紹介します。 これからFacebook Graph APIを使用する方の参考になれば幸いです。 注意 この情報は2017年11月2日現在のものです。 Graph APIのバージョンはv2.10です。 Graph APIとは Graph APIの公式サイトには、Graph APIについて下記のように説明されています。 Graph API グラフAPIは、Facebookのソーシャルグラフにデータを取り込んだり、データを取り出したりするための主な方

はじめに この記事で理解できること バイアス-バリアンス分解とは 予測性能 未学習とは 過学習とは 多項式フィッティングにおける未学習と過学習の例 正則化の効力 評価をするために 損失関数の期待値とその分解 損失関数 損失の期待値の最小化 損失の期待値の分解 まとめ バイアス-バリアンス分解 訓練データというパラメータ 完全なるノイズ項 バイアス-バリアンス分解 バリアンス バイアス バイアスとバリアンスのトレードオフ 全体のまとめ 参考となる書籍 はじめに この記事で理解できること ・学習によってモデルをフィッティングさせる概念を理解できる。 ・機械学習で回帰問題を解決する際に、未学習や過学習を評価できる。 ・特に,正則化などが及ぼす影響を理解できる。 バイアス-バリアンス分解とは 実データを用いてモデルをフィッティングした場合には、真のモデルとの間に「バイアス、バリアンス、ノイズ」の3

（忙しい人のための要約） 引用マトリクスの作り方 １．表の上端に集めた論文名等を横方向にコピペ ２．集めた論文から参考文献リストをまとめて縦方向にコピペ ３．他の文献を参照している箇所を拾い出して表を埋める ４．言及が多い順に被引用文献(行）を並び変える 何も知らない分野について、いや自分の知りたいことが何の分野の事項なのか分からないことについて、基本文献を探したいとしよう。 独学者にとってはかなり不利な（しかしよくある）状況にあっても、英語の文献を探す場合には、検索エンジンやデータベース以前から、紙のツールと標準的な手順が存在する。 （１）専門事典(Special Encyclopedia)の横断検索ツールを引く（どの辞書のどこに載っているかが分かる） レファレンス、この一冊／事典の横断検索ならFirst stop : the master index to subject encycl

IPython Notebookが評判になっているので使ってみました。書いたコードをgithub,gistに上げるとnbviewerできれいに表示してくれるそうなので試してみました。 IPython Notebookとは Webブラウザ上で対話的にpythonのコードを実行できる環境です。コード、コメント、図を含む出力結果を順番に表示し、計算ノートの様な見た目になります*1。 原理的には遠隔地のマシンに処理を行わせることも出来ますが、ここでは手元のマシンでの起動、実行を紹介します。 インストール MacではAnacondaをインストールしました。 >conda update conda >conda update ipython Windowsではpython(x,y)をインストールしましたがipythonだけでも良さそうです。 >pip install ipython Linuxでは >

[追記] 2018/08からGoogleMapのポリシーが変わり、APIキーの取得が必須になったようです。 追って対策を調べて記載変更しますが、現状は、このままの方法ではAPIキーのエラーで位置情報の取得ができません。 概要 googlemapデータを機械学習の元ネタにするために、データの取り扱い方を調べたのでまとめておく。 概要 pygeocoderを使って地名から座標（緯度経度）、詳細住所を取得する urllibを使って特定の座標周辺の地図を画像として保存 pygeocoderを使って地名から座標（緯度経度）、詳細住所を取得する pipでライブラリをインストール pip install pygeocoder あとはpythonで書くだけ。 例えば国会議事堂の住所が知りたければこんな感じ。googlemapで検索して出てくるワードであれば、住所が紐付けられている模様。 from pyge

ランニングできず　英語できず 深層強化学習のサーベイ論文を読む 「DeepLearning for Video Game Playing」https://arxiv.org/abs/1708.07902 最近までのPCゲームやテレビゲームを深層学習で解くAI技術について網羅的に解説した論文である。従って深層学習を使っても碁や将棋の様なボードゲームは対象外となっている。 下図の様な殆ど全ての深層強化学習を系統別かつ目的別に解説してあり大変な労作である。もし注目するモデルがあれば、この論文で検索すると以下のことが分る様になっている。 ・モデルの概要 ・モデルを発表した論文 ・考案した動機や対象としたゲーム ・モデル開発が可能なプラットホーム ・継承したモデルと発展先のモデル 下図の様に深層学習としては2013年の偉大なDQNから全てが始まっている。しかしこのDQN前にはSuttonのSarsa

IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も

はじめに 出てきた当初は画像分類タスクで猛威を振るった深層学習ですが, 最近はいろんな機械学習と組み合わせで応用されています. 強化学習を応用したAlphaGoでイ・セドルを打ち負かしたり, 画像認識と自然言語処理の組み合わせで画像のキャプションを生成したり, 生成モデルに応用して自然に近い画像を作るなど賑わいを見せています. 今回は画像生成手法のうちのDeepLearningを自然に生成モデルに拡張したと考えられるVAE(Variational Auto Encoder)から, その発展系であるCVAE(Conditional VAE)までを以下２つの論文をもとに自分の書いたkerasのコードとともに紹介したいと思います. Auto-Encoding Variational Bayes Semi-Supervised Learning with Deep Generative Model

このページのコンセプト / JavaScriptコードの実行 / Rubyコードの実行 / ランダムな点の表示 / 4×4の魔方陣を全部リストする / dekfractal氏のスケッチ / ふたつの数字の最大公約数を求める / EXPO2025 / Web Audio API (1) / 結城氏のプログラム / FractalTrees / Takawo氏のスケッチ2 / 円沢山 / 産み分け問題

Photo by Nic McPhee こんにちは。谷口です。 ITエンジニアの皆さんは、競技プログラミングに参加されたことはありますでしょうか？ 競技プログラミングとは、一般に、出題されたプログラミング問題を制限時間内に解いて競い合う競技大会のことです。出題者側はテストデータを使い、回答が正しいかどうか判定されるといった流れで行われるものが多くなっています。 今回は、競技プログラミングを実施しているサイトを10件ご紹介します。 ■競技プログラミングサイト ◆1.TopCoder http://www.topcoder.com TopCoderはTopCoder社が主催する、世界中で約60万人の人々が参加する世界最大規模の競技プログラミングコンテストです。 TopCoderの各種目に参加すると、プログラミングスキルを表すレーティングと呼ばれる数値が付けられます。一定以上の高いレーティングを

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

これまでMendeleyを使っていたが、色々と不満を抱いていた。 ライブラリの扱いが謎 独自のライブラリ用フォルダを(watch-dog folderとは別に)作ってそこにpdfをダウンロードし始める そのせいか文献が被ることがある 他のマシンに移行するときに非常に不便 (無料版では)ライブラリのサイズに制限がある 文献を検索しにくい 他のデバイスで作成したアノテーション情報が正しく表示されない 時々異常動作する そこで、MacBookProを変えてMendeleyライブラリの重複を一掃したことでアノテーションなどが白紙に戻ったことを期に、ReadCubeを使ってみることにした。 こちらも基本的にはフォルダ(リストと呼んでいる)分けとタグ機能(Pro版のみ)による管理のようだが、Proにすると文献をグラフで表現してくれる機能もあるとか？(なかった。。) trialもできるみたいなので、ちょ