こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
Python初心者が2系→3系への移行時に意外と気づかないけど、知らないままだと危険な変更点 -
Photo by Yuya Tamai 秋山です。 私は主にPythonを使って開発をしているのですが、Python2系とPython3系にはいろんな変更点があります。 で、互換性がない変更点も割とあって、よく知らないまま初心者が2系から3系に移行しちゃうと結構危険なところもあるので、今日はその辺の話をしていきます。 print に括弧が必要になっちゃったよねーみたいな話や、よく言われている raw_input とか xrange の話は飛ばします。 ■意外と気をつけたいPython3系における変更点 ◆map,filter,zipがイテレーターを返してくる Python2系ではmap, filter, zipともに普通のリストを返していますよね。 map_object = map(int, "12345") print(list(map_object)) print(list(map_o
【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 word2vec 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現
Pythonで機械学習／Deep Learningを始めるなら知っておきたいライブラリ／ツール7選
プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説していきます。 連載第1回は、ライブラリ／ツール群の概要説明からです。各ライブラリ／ツールの詳細な使い方や実用上のテクニックは連載第2回以降で解説していきます。ここで挙げるライブラリ／ツール群は「普段、筆者が仕事で使っているもの」という基準で選定されています。そういう意味で全く網羅的ではなく、独断と偏見であることを自覚していますので、ご了承ください。 連載初回である本稿で
悩める Web スクレイパーのための一冊 - 技術評論社『Python クローリング & スクレイピング』 - Witch on the Other Shore
このたび、縁あって『加藤耕太 (2016). Python クローリング & スクレイピング データ収集・解析のための実践開発ガイド, 技術評論社』(以下、本書) を恵贈賜りました。 著者並びに出版社の皆様にお礼とご慰労をかねまして、僭越ながら本エントリにて一読後のレビューを掲載いたします。 Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る なお読者の益となるようなるべく公正な目線でレビューします。掲載されているコードの厳密な正確性については本レビューの対象外とします。 総評 体系的に「スクレイピングとは」「クローラーとは」について学ぶにはとてもよい書籍です。本書の優れているところは、特に基礎編ともいえる前半部分で、ある事柄を説明する
DeepLearningで上司を認識して画面を隠す - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 仕事をしているとき、業務に関係ない情報を閲覧していることって誰でもありますよね？ そんなときに背後にボスが忍び寄っていると気まずい思いをします。もちろん急いで画面を切り替えれば良いのですが、そういう動作は逆に怪しまれることになりますし、集中しているときは気がつかないこともあります。そこで怪しまれずに画面を切り替えるために、ボスが近づいてきたことを自動的に認識して画面を隠すシステムを作ってみました。 具体的にはKerasを用いてボスの顔を機械学習し、カメラを用いて近づいてきたことを認識して画面を切り替えています。 ミッション ミッシ
超素人による『ゼロから作るDeep Learning』の感想。 - D'ac
最近、ようやく勉強する時間が取れるようになりました。 先週末も夫に子どもを丸投げして、仕事に行き、帰ったら勉強。 これで夫が食事の準備をしてくれたら完璧なんだけれど…。贅沢言ったらあかんですね。 さてさて、そんな感じで最近取り組んでいる『ゼロから作るDeep Learning』の感想をまとめておきます。 まだ途中ですが、そろそろ娘が冬休みなのと、猫の発作がひどくなっていっているので、また時間がなくなりそうなので…。 ＊以下は初学者の感想です。まだ深いところとかあんまり理解できていません。同じようにDeepLearning興味あるけど、プログラミングの知識もあんまりない中で、どこから始めたらいいかな…みたいな人はぜひ読んでいってください。 『ゼロから作るDeep Learning』感想。 まだ終わっていませんが、全体的に平易に書かれており、私のような初学者でも今のところ投げ出さず取り組めてい
確率的勾配降下法とは何か、をPythonで動かして解説する - Qiita
勾配降下法は何に使う？# 勾配降下法は統計学や機械学習で多く使われています。特に機械学習というのは基本的に何かしらの関数を最小化（最大化）する問題を数値解析的に解くことに帰結する場合が多いです。（e.g. 最小二乗法 → 誤差の二乗和を最小化（参考）、ニューラルネットワークのパラメータ決定 etc...） なので、基本的にはひたすら微分して0となるところを探す問題ですね、微分して0。で、その微分して0となる値は何か、をプログラムで解く場合に重要になるのがこの勾配降下法です。幾つか勾配法にも種類がありますがここでは最急降下法、確率的勾配降下法の２つを扱います。まずはイメージをつかむために１次元のグラフで確認していきたいと思います。 1次元の場合## 1次元の場合は、確率的という概念はなく、ただの勾配降下法になります。 （どういうことか、はのちほど） 1次元の例は、正規分布をマイナスにしたもの
Visual Studio CodeでPythonの開発環境構築を構築してみた。 | DevelopersIO
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 Pythonを開発するケースが出てきたので、O/S問わずに使えるVisual Studio Codeで環境を構築してみました。 目標としては、IntelliSenseが動くこと、Code Formatができること、Lintが動くこと、 pyenv環境のPythonが指定できること、Debugができること、 この辺りを調べてみたいと思います。 環境 OS : OSX El Capitan (10.11.4) Visual Studio Code : 1.5.2 Python : pyenv pyenv-virtualを用いてのバージョン切り替えを実施 参考: pyenv 利用のまとめ - Qiita 導入方法 導入の手順としては、以下のような流れになります。 PythonのVisual Studio Code拡張を導入する。 P
TensorFlowチュートリアル - ML初心者のためのMNIST（翻訳） - Qiita
TensorFlowのチュートリアル（MNIST For ML Beginners） https://www.tensorflow.org/versions/master/tutorials/mnist/beginners の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 このチュートリアルは、機械学習と TensorFlow に不慣れな読者を対象とします。MNIST が何であるか、ソフトマックス（多項ロジスティック）回帰が何であるかを知っている場合は、よりテンポの速いチュートリアルを好むかもしれません。チュートリアルを開始する前にTensorFlow をインストールしてください。 プログラミングを学ぶとき、最初に「Hello World.」をプリントするという伝統があります。 プログラミングには Hello World があるように、機械学習には MNIST があります。 M
Pythonで常に意識すべき非直感的な振る舞い
Pythonには独特の仕様がいくつかあります。 その中には、他のLLを習得している方ほど気が付きにくく、認識を誤りやすいものがあります。 そこで、Pythonで頻繁に用いる仕様の中から、意外と知る機会の少ない仕様を七つ取り上げます。 Pythonって愛嬌がありますよね はじめまして、寺坂です。 ビザスクのエンジニアです。 業務的にはビザスクのエンジニアの例に漏れず、主にPythonと{ECMA,Type}Scriptを喋ります。 私はLinuxユーザーであることも相まって2006年頃に趣味としてPythonを触り始めたときから、 なかなかに面倒くさいこの言語に日々愛嬌を感じずにはいられません。 とはいえ業務で書くとなると愛嬌では済まされない部分もあります。 ビザスクの開発チームでは、管理しているコードのうちプログラミング言語に限れば60%が、そこから{ECMA,Type}Scriptを除く
PythonのUnicodeDecodeError、UnicodeEncodeErrorを正しく理解する - hikm's blog
はじめに Pythonで日本語を扱おうとすると「UnicodeDecodeError」、「UnicodeEncodeError」に悩まされるというのをよく聞きます。 私自身もこれまではエラーが発生してもなんとなく曖昧な理解で乗り切ってきましたが、以下の記事を読んで色々と調べたら自分なりにスッキリしたので、整理した内容についてサンプルコードを交えながらまとめたいと思います。 UnicodeDecodeError/UnicodeEncodeErrorに悩まないPython 2.x プログラミング なお、以下の説明はPython2.xを対象とした内容になっています（基本的な考え方はPython3でも同じです） ポイント Pythonの文字列型について 文字列(str型)とユニコード文字列(unicode型)は別物 「str型」 純粋なバイトの列(中身はutf8でエンコードされたバイト列だったり、
Python2で文字列を処理する際の心掛け - Qiita
日本語を扱うPythonプログラマ(with Python2)にとっての最大の天敵(過言)、UnicodeEncodeError。 昨日横の人がその餌食となり、その解決の手助けをしているうちに自分の中でPython2での文字列処理の方向が少し整理できた。(近いうちにPython3バージョンもまとめたい) 個人的結論 バイト文字列/ユニコード文字列のどちらを扱っているかを常に意識しておく。 (基本的に)プログラム内ではユニコード文字列を扱い、標準入出力とやり取りする際(ex. print)にはバイト文字列に変換する。 バイト文字列とユニコード文字列 バイト文字列は特定のエンコード方式(ex. utf-8)でエンコードされており、リテラルでは'あいう'のように表現する。一方、ユニコード文字列はUnicodeのコードポイントを並べたものであり、リテラルではu'あいう'のようにuをつける。 (py
Installing Python Modules (Legacy version) — Python 2.7.18 documentation
This document describes the Python Distribution Utilities (“Distutils”) from the end-user’s point-of-view, describing how to extend the capabilities of a standard Python installation by building and installing third-party Python modules and extensions. Note This guide only covers the basic tools for building and distributing extensions that are provided as part of this version of Python. Third par
Python の exit(), sys.exit(), os._exit() の違い
Python には 3つの似たようなプログラム終了用の関数があります。 exit(), sys.exit(), os._exit()です。 これらの違いを簡単に調べてまとめてみました。 ものぐさな人へ インタラクティブシェルを終了するには exit() スクリプトの中でメインプロセスを終了するには sys.exit() fork() した子プロセスを終了するには os._exit() exit([code=None]) site モジュールにより、プログラムの起動時に自動的に追加される定数。 exit 自体が表示されると画面に "Use quit() or Ctrl-D (i.e. EOF) to exit" のようなメッセージを表示し、 exit() と呼び出すと、終了コードを伴って SystemExit 例外を投げる不思議なオブジェクト。 sys.exit() にも言えるが、例外を投げ
Pythonでsubprocessを使ってコマンドを実行する方法 - Qiita
概要 Pythonでsubprocessモジュールを使用し、コマンドを実行する方法を紹介します。 なぜsubprocessか Pythonのバージョンが上がるにつれ、以前のcommandsモジュールが使われなくなったり、osモジュールではなくSubprocessモジュールを使用することが公式でも推奨されるようになってきました。 そこで今回、Qiita上にはSubprocessモジュールを使用してPythonでコマンド実行する方法に関する簡単な記事があまりなかったため書いてみました。 コマンドを実行するメソッド subprocess内にはコマンドを実行するメソッドがいくつかあります。 最初にそのメソッドについて見ていきます。 call(cmd) 引数のコマンドを実行し、実行が成功すると0を返します。 check_call(cmd) call同様の動作に加えて、実行が失敗したらCalledPr
Post by @momijiame
Python で CLI のコマンドを実行したいときは subprocess モジュールを使う。 subprocess モジュールを使う以外にもやり方はあるみたいだけど、それらは obsolete らしい。 本題だけど subprocess モジュールを使ってコマンドを実行したときに、返り値を見ながら標準出力、標準エラー出力の内容も得る方法が意外と見つからなかった。 subprocess.check_call() 関数を使えば返り値が見られるけど標準出力、標準エラー出力が得られなさげ。 subprocess.Popen クラスを使うと標準出力、標準エラー出力は得られるけど返り値はどう得られるんだろう？ ドキュメントを読んだりソースコードを見ていった結論が以下。 #!/usr/bin/env python # -*- coding: utf-8 -*- if __name__ == '__m
WEB屋の自分が機械学習株価予想プログラムを開発した結果
2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Get CDATA using xml.etree.ElementTree
多重ループを一気に抜ける - Qiita
