Cloud Web Scraper | Scrapy Cloud | ZyteTransform referrals into revenue: Join Zyte's affiliate program and earn 50% commission on every referral.
Rubyist が pyenv を使うときに知っておいてほしいこと - Qiita
はじめに 機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python には pyenv に否定的な意見が多いんですよね。 私は pyenv を使っていますし、便利だと思っています。また、 Ruby は殆ど使わないのですが、RubyとPythonのツールスタックの違いについても調べました。 (参考: gem, bundler と pip, venv の比較) その視点から、 Rubyユーザーが自分でpyenvの使い方を自分で決める上で知っておいた方が良いだろうなと思う Ruby と Python の環境の違いをまとめてみます。 tl;dr 丁寧に解説しても、「Python使うにはこんな長い記事を読まないといけないの」とすぐに否
ディープラーニング実践入門 〜 Kerasライブラリで画像認識をはじめよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
ディープラーニング実践入門 ～ Kerasライブラリで画像認識をはじめよう！ ディープラーニング（深層学習）に興味あるけど「なかなか時間がなくて」という方のために、コードを動かしながら、さくっと試して感触をつかんでもらえるように、解説します。 はじめまして。宮本優一と申します。 最近なにかと話題の多いディープラーニング（深層学習、deep learning）。エンジニアHubの読者の方でも、興味ある人は多いのではないでしょうか。 しかし、ディープラーニングについて周りのエンジニアに聞いてみると、 「なんか難しそう」 「なかなか時間がなくて、どこから始めれば良いかも分からない」 「一回試してみたんだけど、初心者向けチュートリアル（MNISTなど）を動かして挫折しちゃったんだよね」 という声が聞こえてきます。 そこで！ この記事では、そうした方を対象に、ディープラーニングをさくっと試して感触を
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
「Pythonクローリング&スクレイピング」という本を書きました - orangain flavor
2016-12-23更新: 電子書籍書籍版の情報を更新しました。電子書籍版も好評発売中です！ Pythonを使ってクローリング・スクレイピングを行い、データを収集・活用する方法を解説した書籍です。 Pythonの基本から、サードパーティライブラリを使ったスクレイピング、様々なサイトからのデータ収集・活用、フレームワークScrapyの使い方、クローラーの運用までを扱っています。 Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログ (3件) を見る クローリング・スクレイピングとPython Pythonは言語自体の書きやすさ、ライブラリが充実していること、データ解析との親和性が高いことなどから、クローリング・スクレイピングに向いている言語です。
【Pythonでネットワーク可視化】graph-toolのインストール - /var/log/soymsk
graph-tool 前回NetworkXを使ってグラフを描画したが、主に使用目的がpythonでのデータの可視化であったので、それに特化したライブラリを探していた。 そこで見つけたのがgraph-tool。graph-toolはデータビジュアライゼーションに特化したライブラリとのことで、早速使ってみる。 今回はインストールと簡単なグラフ描画まで。 インストール for Ubuntu(14.04) /etc/apt/sources.listに以下の文を追加 deb http://downloads.skewed.de/apt/trusty trusty universe deb-src http://downloads.skewed.de/apt/trusty trusty universe 他のversionのubuntuを使用している場合はtrustyの部分を変える必要が有ることに注意
PyQ - 本気でプログラミングを学びたいあなたへ
必要なのはブラウザだけプログラミングを始める時に、最初につまづくのが環境構築です。 PyQでは環境構築なしで、ブラウザをひらけば10秒でプログラミングを始められます。 読む・書く・動かすサイクルで定着PyQのエディター画面では、実際にブラウザの後ろでPythonが動いています。これにより、教材を読む→コードを書く→実際に動かすという流れを画面内で完結できます。もちろん、自分で内容を変更して、動かして試してみることもできます。 あなたの興味に寄り添う、1500問以上から選べるコンテンツPyQでの学習は、数個の問題からなる「クエスト」という単位で進みます。 600クエスト・1500問以上存在するすべてのクエストは、好きな順に学び放題。 関連の深いクエストはパート・コースにまとめられており、 直感的に様々なクエストを組み合わせて、自分の興味のある分野を学べます。
pyenv + venvでPython3環境を構築する - $shibayu36->blog;
機械学習のモチベーションを上げるためにTensorFlowを触ろうとしている。まずは環境設定でしょうということで、ひとまずPython3環境を作る。今はpyenv + venvで作るのが良いみたいなので、それでやってみたメモ。 pyenvでpythonをインストールする pyenvが必要かどうかフローチャート - Qiita も参考にしたのだけど、まあ細かくPythonのversionを指定したくなる時もありそうだし、とりあえずpyenvを入れておく。 自分は anyenv を使っているので、それでpyenvをインストール。 $ anyenv install pyenv 次にpyenvでpython 3.6.1をインストール。 $ pyenv install 3.6.1 $ pyenv versions system * 3.6.1 (set by /Users/shibayu36/.an
Python: ソケットプログラミングのアーキテクチャパターン - CUBE SUGAR CONTAINER
今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ
pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm
scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て
Awesome Python：素晴らしい Python フレームワーク・ライブラリ・ソフトウェア・リソースの数々 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 元記事: Awesome Python Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Go Awesome Selenium Awesome Appium 管理パネル 管理インタフェース用ライブラリ ajenti - サーバ用管理パネル. django-grappelli - Django 管理インターフェースのためのジャズスキン. django-jet - 改良された機能を備えた Django 管理イ
Python ヒッチハイク・ガイド — The Hitchhiker's Guide to Python
Python ヒッチハイク・ガイド¶ Python ヒッチハイク・ガイド へようこそ。 これは皆さんの手により生きているガイドです。 貢献したい方は GitHub で fork してください！ この手作りガイドは、初心者と熟練者のPython開発者の両方に、Python のインストール、設定、および使用に関するベスト・プラクティスを日々提供するために存在します。 このガイドは、ほとんど 独断的なもの であり、Python の公式文書では ありません 。 ここでは、すべての Python Webフレームワーク の一覧は見つからないでしょうが、強く推奨されているリストが簡潔に見つかるでしょう。 さあ、始めましょう！ まずは、あなたの探しものがどこにあるかを確認しましょう。
【決定版】MacでPythonを使って『機械学習』を学ぶための環境構築 - Qiita
株式会社キカガク 機械学習や人工知能の教育サービスを提供 フォローお待ちしております ビジネス目線の機械学習・人工知能の情報やオススメの参考書について発信しています。 代表取締役社長 吉崎 亮介 Twitter：@yoshizaki_kkgk Facebook：@ryosuke.yoshizaki Blog：キカガク代表のブログ それでは、前置きが長くなりましたが、環境構築をはじめていきましょう！ ローカル環境（Mac） 環境の違いにより、設定がうまくいく場合があります。 現在、私の手元のPCはMacの最新版OSが入っています。 ・macOS Sierra 10.12.3 うまくいかない場合はこちらに合わせてみてください。 Homebrewのインストール Homebrewというパッケージマネージャーを導入します。 日頃プログラミングをしない方は聞き慣れないかもしれませんが、プログラミングの
Ruby Business Users Conference で Ruby-Python 間ブリッジの PyCall について現状報告をしました - Speee DEVELOPER BLOG
開発部 R&D グループで研究開発をしている CRuby コミッターの村田 (mrkn) です。 2/23 に渋谷で開催された Ruby Business Users Conference 2017 *1 でキーノートスピーカーとして講演をさせていただきました。 内容は、Ruby で統計分析や機械学習ができない現状についての解説と、その状況を打破するために私が現在開発を進めている pycall.gem のデモンストレーションでした。 カンファレンス当日に使用した資料は私個人の Speaker Deck で公開していますので、そちらをご覧ください。 カンファレンスの発表後、当日カンファレンスで一緒だった YassLab の安川さんがデモ部分の動画を facebook で公開し、twitter で拡散してくださいました。 .@mrkn さんの PyCall を使ったデモがスゴい！😆 #RBU
受け入れテストの自動化 ～ OpenCVの「眼」で捉え、Pythonの「脳」が思考し、Appiumの「指」で動かす - Speaker Deck
2017/02/03 JaSST’17 Tokyo
Ansibleをはじめる人に。 - Qiita
この記事で書いていること この記事では Ansibleをはじめる人 を対象に、下記の Ansible 入門的な内容についてまとめています。 Ansibleとは Ansibleを調べる Ansibleを試す Ansibleをもう少し試す 既にわかっている人向けに用語を使えば、 「 jinja templateによるファイルの動的配置などとroleによるタスクの切り出しまでをハンズオン 」 となります。 なお、環境は Python 2.6.6 + Ansible 1.9.4 です。 Ansibleとは Ansibleは "構成管理ツール" と呼ばれ、最近(少なくとも私の中で)話題のツールです。 Infrastructure as a Code なんていう文脈の中では Chef, Puppet などと並んで必ず出てくるツールの1つかと思います。 このあたりの話は話しだすとそれだけで記事が書けてし
Pythonをやるときに参考になりそうな情報 - のんびりSEの議事録
最近あんまり触っていなかったので、久々にPythonをやろうと思ったときにいろいろ忘れてたり、新しく知ったりしたこともあったので、Pythonやるときに参考になりそうな情報をまとめました (但し、今回はデータ分析系のライブラリ関連は除いています) Pythonの言語仕様や基本等 概要 — Python 3.5.2 ドキュメントdocs.python.jp qiita.com www.python-izm.com 2系と3系の違い postd.cc qiita.com コーディング規約 はじめに — pep8-ja 1.0 ドキュメント ドキュメント生成 azunobu.hatenablog.com ドックストリング """ 3重ダブルクォートを使用して記載する。 ドックストリングに記述したテキストは関数やクラスオブジェクトの__doc__に保存される def hello(): """Out
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
構成管理ツールで Ansible を使ってる人必見！デプロイするなら Ansistrano ロールを使おう！ - Qiita
個人でのWEBアプリ開発に向く言語
tacck's profile. python coding challenges - Py.CheckiO