Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Pythonでパワポの説明資料（報告書）を生成する - Qiita
Pythonでパワポの報告書を生成する この記事の対象者は以下のような人である。 パワーポイントで説明資料を作って偉い人に報告する人 何を思ったか偉い人（経営層）がマイクロマネジメントに目覚めて毎日報告しろと言われている人 ディープラーニングの学習進捗を毎日報告しなければいけない人 あらまし だいたい上記で察すると思うが、偉い人がマネジメントの病に憑りつかれ、 毎日データを報告しなければならなくなった人を想定している。 しかも、紙媒体で報告するのにパワーポイントで作成しなければならないという縛りつきである。 余談であるが、こういった状況はペーパーレスブームの際にパワーポイントで説明する文化が出来上がったものの、機材や場所の都合でプロジェクターでの説明が減り、パワーポイントの資料作りだけが残ったものと思われる。 ※ なお、上記のような状況はフィクションであり、実在の企業や団体とは関係ないと信
ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中
Excelユーザーの要望をとりまとめるサイトで、ExcelへのPython搭載の要望が相次いだ。その結果、マイクロソフトは検討のためのアンケートを開始した。 Excelは業務アプリケーションとしてもっとも使われ、普及している製品のひとつでしょう。そのExcelを今後も発展させていくために、マイクロソフトはユーザーが要望を提案できるコミュニティサイト「Excel’s Suggestion Box」（英語）を公開しています。 このコミュニティサイトに2015年11月、Excelのスクリプティング言語としてPythonを搭載してほしいという要望「Python as an Excel scripting language」がポストされました。 それから2年以上が経過し、現時点でこの要望は2位以下を大きく引き離す3862票の賛成票（2017年12月17日現在）を獲得して要望リストのトップにあがってい
日本語版最速！? jupyter notebookをgoogleが神改造 colaboratoryについてまとめてみた。 | Aidemy | 10秒で始めるAIプログラミング学習サービスAidemy［アイデミー］
こんにちは、たくやです。最近すっかりニュース担当として定着してしまいましたね。 今回はgoogle が公開した教育と研究のための研究ツールである Colaboratory について解説していきたいと思います。 ざっと検索してみたところ英語版でしかまだ記事が出ていないようでしたので、日本語版最速と題させていただきました。 ニュース概要 ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクト。現在、ColaboratoryはChromeのデスクトップ版でのみ動作する。優れたユーザーエクスペリエンスを提供するために、当初はノートブックの作成や編集へのアクセスを制限して いる。そのため、利用するには申し込みをしなくてはいけない。ColaboratoryノートブックはすべてGoogleドライブに保存される。既存のJupyter / IPythonノ
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
Pythonプログラマー歓喜！JavaScriptの代わりにPythonが使える·Brython MOONGIFT
BrythonはJavaScriptの代わりにPythonを使ってプログラミングできるようにするライブラリです。 Webブラウザ標準で使えるプログラミング言語と言えばJavaScriptです。しかしそれだけでは満足できない、そんな方が開発したのがBrythonです。Webブラウザ上でPythonが書けてしまいます。 アナログ時計です。ちゃんと秒針が動いています。 コードは見事にPythonです。 Ajaxのデモ。 やはりちゃんとPythonコードです。 テーブルのソートデモ。 Importも使えて便利です。 左右にデータを移動させるデモ。 ボタンやコンポーネントをPythonの中で生成しています。 3Dを動くデモ。 エリア情報を含めてPythonで定義されています。 BrythonはHTMLコンテンツのハンドリングはもちろん、Ajax、ローカルストレージ、Canvasの操作もできます。HT
機械学習ゴリゴリ派のための数学とPython
4. 3 会社紹介 ≪書籍≫ 『One to Oneマーケティングを超えた 戦略的Webパーソナライゼーション』 (出版社：日経BP社 発売：2002年5月） 弊社代表トーマス・フォーリーの著書です。 ≪受賞歴・メディア掲載≫ 社名 ： 設立 ： 代表者 ： 資本金 ： 事業内容： 所在地 ： シルバーエッグ・テクノロジー株式会社 1998年8月 代表取締役兼CEO トーマス・フォーリー 242百万円 （2016年10月26日現在） 人工知能技術をベースとした、 リアルタイムレコメンドサービスおよび ターゲティング型広告サービスの提供。 【大阪本社】 〒564-0063 大阪府吹田市江坂町1-23-43 ファサード江坂ビル10F 【東京オフィス】 〒102-0072 東京都千代田区飯田橋2-6-6 ヒューリック飯田橋ビル5F スマートターゲティング技術で、リアルタイムレコメンドサービス『ア
Pythonによるスクレイピング初心者のためのデータ自動収集｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 Pythonによる初心者のためのデータの自動収集 Pythonによる初心者のためのデータの自動収集セミナー ディープラーニングを初めて見たけど、データがない... そう思ったことありませんか？ 機械学習やディープラーニングを使うためには、データが必要です。 そこで、今回はデータをWebから自動的に収集するプログラムをPythonを使って学習します。 Webスクレイピングという技術を使い、インターネットにあるデータを収集することができるようになります！ ディープラーニングを活用するにはデータがなければいけません。 今回は、これからディープラーニングを始める前に、スクレイピングを学び データ収集から始めたい方向けの内容になります。 ※スクレイピング初心者向けの内容です。 今回から、Pythonの文法学習は省略し、最初からスクレイピングを学んで行きます！ 対象者 ・Pythonの文
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
コマンドラインツールを自動生成できるPython Fireと他のライブラリ比べてみた - paiza times
Photo by Jayphen 秋山です。 先日「Python Fire」という、Pythonのコマンドラインツールを自動生成できるライブラリが発表されました。 どのへんが便利なのか、実際に使ってみながら解説をしていきますので、気になってた人の参考になればと思います。 Googleのリポジトリに出ているのでGoogleの公式プロダクト？と思いきや、最後に「This is not an official Google product.」の表記があるのでGoogle公式ではないようですね。Googleの中の人が作った非公式ライブラリということでしょうかね。 github.com ■Python Fire使ってみた そもそもPythonには、コマンドラインからコマンドを受け付ける組み込みのライブラリがあります。他にもbakerとか、clickとか、既にコマンドラインツールを作る用の補助ライブラ
Mac と GNU/Linux でトレーディング環境を用意する | 774::Blog
トレーディングツールといえば Windows 用のソフトウェアが多く、多くのトレーダーも多数のモニターを備えた Windows を使うというのが比較的多いと思う。そんな中、 Mac を始めとする iOS や GNU/Linux の環境でどのように相場を監視したら良いだろうか。このたびトレーディング環境を整えたのでちょっと書いてみようと思う。 Mac/iPad まず Mac でのトレーディングツールといえば楽天証券が強い。 iOS で利用できる iSPEED はかなり高機能だし、それと連携して監視銘柄を共有できる MARKET SPEED for Mac もなかなか便利。 楽天証券で発注するかどうかはともかく、監視ツールとしてはなかなか良い感じですね。特に後者の MARKET SPEED はチャートや板も見やすいし、リアルタイムで監視するのにはちょうどいい。 GNU/Linux じゃあ GN
JavaとPythonに脆弱性、ファイアウォールを突破される恐れ
たとえユーザーがブラウザのJavaプラグインを無効にしていた場合でも、脆弱性を突いた攻撃を仕掛けられる恐れがあるという。 JavaとPythonにファイアウォールを突破される恐れのある脆弱性が見つかったとして、研究者が詳しい情報をブログで公表した。米国時間の2月20日現在、この脆弱性はまだ修正されていないという。 この脆弱性についてはドイツのセキュリティ研究者アレキサンダー・クリンク氏が2月18日のブログで伝え、続いて米セキュリティ企業Blindspot Securityが20日のブログで、さらに大きな危険があると指摘した。 クリンク氏によれば、Javaに不正なURLを介してFTPプロトコルストリームを挿入できてしまう脆弱性があり、別の脆弱性と組み合わせて悪用すれば、JavaアプリケーションからSMTPプロトコル経由で不正な電子メールを送信できてしまう可能性がある。 Blindspotの研
記者が試したディープラーニング、当然だが甘くはない
筆者は学生時代からプログラミングをそれなりにやってきた。これまで必要に応じてC/C++やObject Pascalなどのプログラミング言語や、Ruby、PowerShellといったスクリプト言語を使ってきた。しかしPythonは、Rubyがあれば十分だと感じていたので、なんとなく手を出しかねていた。 しかし日経NETWORKでスクリプトを使って通信ソフトの仕組みを紹介する企画を考えたとき、ディープラーニングや機械学習、データサイエンスなどでもてはやされていることもあり、Pythonを使ってみようと企んだ。実際問題として、日経NETWORKで筆者が何度となく取り上げて「推して」いたPowerShellだと、通信ソフトに不可欠なマルチスレッドの記述がやりにくい、という事情もあったのだが。 実際に使ってみて、「Pythonやるなあ」と思ったことがいくつかある。記述のしやすさがその一つ。インデント
なぜ機械学習にPythonが選ばれるのか - Qiita
教育言語として Pythonは「同じインデントレベルの文は同じ塊」というルールを採用しており、見掛け上のPythonプログラムの最大の特徴となっています。 Python作者のGuido van Rossum氏(オランダ人でアムステルダム大学卒)はPythonを開発する以前に、オランダで教育向けの「ABC言語」の開発に関わっており、Python自体はRAD(迅速なアプリケーション開発)がメインで教育用を念頭に開発してはいなかったものの、ルーツとなったABC言語では文法に関してさまざまな研究が行われ、インデントを使うのが初心者にとってもっとも間違いにくいブロックの表現として採用していたのです。(Donald Knuth氏が推進していた。) Rubyist のための他言語探訪 【第 1 回】 Python Pythonがプログラミングの学習に向いているたった一つの理由 From ABC to P
Python 3を使うべきでない場合（なんてない） | POSTD
数日前、著名なライターで開発者でもあるZed Shawが “The Case Against Python 3”（Python3を使うべきでない場合） というブログ記事を書きました。私はZedの功績にとても敬意を払っているし、彼の（ Learn Python the Hard Way ）という本の手法は、 私の本 に非常に似ているので、私はいつも、 私の講座 を受講しようとしている人には予習するときに彼の本を読むように伝え、講座を修了した後に練習を積みたい人には復習するときに読むように伝えています。 ですから、今回のPython 3に関するZedの記事が私には賛同できないものだったことは、とても残念でした。 説明しましょう。私の仕事の90％は、さまざまな大企業でのPython講師としての仕事です。幅広い背景に対応して、クラスは「プログラム未経験者のためのPython」や「Python入門」
初心者がPythonを覚える為の本の選び方を体系化してみた(2017版) - Lean Baseball
【2020/1/9更新】2020年版もあります, こちらもよろしくおねがいします！ 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 ※2017/12/24 最新版をこちらに上げました、この内容は古いのでこちらを見ていただけると幸いです🙇♂️ Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで こんにちは.野球(とグルメ)の人です. 会社と仕事はメッチャ楽しいのですが,今日はそれと関係なくPythonの話題を久々に.*1 昨年から,「AI（えーあい）」だの「でぃーぷらーにんぐ」だの「機械学習」といったワードとともにPythonを覚えようとしている方が多いらしく, 何から学ぶべきか 何の本がオススメか 簡単に覚えて僕もいっちょ前に「えーあい
Perl、Python、PHP、Rubyについて - Qiita
今更ながら、比較というか、意見を述べる。ただの自己満足と私的見解。 誕生の歴史的経緯 それぞれの言語が作られた経緯と目的を知ることは、その言語を使う意味で重要であると思う。 Perl前の時代 Perl前の時代、世の中にはC言語のようなコンパイル言語しかなく、コンパイルせずに処理ができるのはシェルやsedやawkぐらいしかなかった。ちょっとしたテキストを自動的に処理したいが、C言語とかで本格的に作成するような物ではないとき、人はみんな、シェルスクリプトとしてUNIXのコマンドを並び立てて処理していた。sortやtestなどの便利なコマンドがUNIXには用意されていたし、ちょっと複雑な処理でもsedやawkを駆使しして、何とかできていた。 しかし、シェルと言ってもBourne Shell系とC Shell系の二つがあったり、同じUNIXコマンドでもOSによってオプションが異なるなど、移植性が低
Google、PythonのコードをGo言語に変換して実行する「Grumpy」発表
米Googleは1月4日（現地時間）、PythonのコードをGo言語に変換して実行するランタイム「Grumpy」を発表した。Grumpyは、同社が抱えている問題を解決するために作られたという（GitHub）。 GoogleはさまざまなサービスでPythonを用い、何百万行ものコードを実行している。例えば、youtube.comとYouTubeのAPIは主にPythonで書かれており、YouTubeのフロントエンドはCPython 2.7上で動作しているという。 しかし、CPythonの制約によって複数の処理を同時並行で行うコンカレント処理をうまく実行するには限界があり、そうした処理に優れたGo言語で実行するために開発されたのがGrumpy。Googleは、Grumpyによって既存のPythonプロジェクトをGo言語に置きかえることを目指しているという。 Grumpyは、C拡張モジュールのサ
Python 3.6 の（個人的に）注目の変更点 - methaneのブログ
Python 3.6b1 がリリースされましたね。（フライング） beta1 ということで、 3.6 に向けた新機能の追加は (provisional package を除いて) 終了です。ただし、仕様が確定したと言うわけではなくて、beta版に対するフィードバックを元に新機能を修正したり、最悪 revert して 3.7 に持ち越しにされる可能性もあります。 なお、 3.6b1 が出る前の1週間が core dev sprint があり、そこでめちゃくちゃ大量に大きめの変更が入りました。なので、常用環境には全くオススメできませんが、OSS開発者だったら .travis.yml に python: "nightly" を追加してリグレッションの発見に貢献したり（←これめっちゃ有り難いです）、それ以外の人も 3.6 を試してみて早めにフィードバックをしてもらえると、年末の 3.6 がより完成
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonと機械学習によるWebセキュリティの自動化
