Pythonでできることを、現役エンジニアが解説してみた - DAINOTE
プログラミングを知らない人でも、Pythonという言葉を聞いたことがある人は多いのではないでしょうか。 書店などに行くと、Pythonに関する書籍があふれていますが、プログラミングを知らない人からするとPythonを学ぶと何がうれしいのか、 さっぱりわかりませんよね。 そこで今回は、Pythonを学ぶとどんなことができるようになるのかを、普段プログラミングに触れていない人にもわかりやすくまとめてみたいと思います。一緒にどうやればできるようになるのかについても解説します。 ちなみに！先に言っておきますが、Pythonができると めちゃくちゃ 便利です！また、初学者でも学びやすい言語なので、エンジニアではない人でも非常に重宝します。 このツイートに書いたとおり、Python使えると本当に便利なんですよね～ では、Pythonではどういうことができるのでしょうか。結論からいうと、 Webスクレイ
Pythonで大量のExcelファイルをいじった話 - けさらんぱの自由帳
最近「100個のテキストファイルから一部を取り出して100個のExcelファイルを作る」とか、「100個のExcelファイルの一部のセルを1つのExcelファイルにコピペする」とかいう感じの作業をする必要があって、手作業では面倒すぎるのでPythonのopenpyxlを使ってみました。今回はその時のメモです。 openpyxlは、Pythonからxlsxファイルを読み書きするためのパッケージです（xlsファイルは読み書きできないはず）。Excelを操作するわけではないので注意しないといけない点があるものの、逆にExcelなしでExcelファイルをいじることができます。 準備 Pythonとopenpyxlのインストール Linuxだと標準でPythonが入っていることが多いのですが、今回はWindows環境で作業する必要がありました。WindowsでPythonを動かす方法はいくつかあるみ
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
Python Webスクレイピング 実践入門 - Qiita
PythonによるWebスクレイピングの実践入門を書きたいと思います。 概論的なところは除いて、フィーリングで理解していくスタイルで行きたいと思います。 ※追記 本記事は少し難しいやり方をとっていますが、学習すると言う意味ではとても価値あるものだと思います。 本記事を読み終えた後はこちらのテクニック編をご覧になるとサクッと出来たりします。 Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応 やること 最終的には「1時間ごとに日本経済新聞にアクセスを行いその時の日経平均株価をcsvに記録する」 プログラムを組んでみたいと思います。 注意 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧 何を使うの？ 言語:Python 2.7.12 ライブラリ:urll
Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで - Lean Baseball
【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ - Qiita
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
ディープラーニングについて学ぶならこの2冊を読むしかない｜加藤貞顕
年末年始はこの２冊を読んでいた。 『はじめての深層学習プログラミング』清水亮 『ゼロからつくるDeep Learning』斎藤康毅 結論から言うと、いま、人工知能やディープラーニングに興味があるひとは、２冊とも必読ではないかと思った。 アプローチが完全に対称的なので、両方読んだら、理論と雰囲気について、見通しがつくようになったのがとてもよかった。 『ゼロからつくるDeep Learning』は、ていねいに書かれたオーソドックスな入門書だ。人工知能開発によく使われる言語・Pythonの基本や数値計算ライブラリの使い方からはじまり、ニューラルネットワーク、ディープラーニング、畳み込みときて、最後に画像認識を解説する。随所に適切な例題やサンプルコードを交えて、理論と実践をバランスよく説明している。 対して、『はじめての深層学習プログラミング』は、まったく真逆のアプローチだ。なんと、理論の解説など
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
悩める Web スクレイパーのための一冊 - 技術評論社『Python クローリング & スクレイピング』 - Witch on the Other Shore
このたび、縁あって『加藤耕太 (2016). Python クローリング & スクレイピング データ収集・解析のための実践開発ガイド, 技術評論社』(以下、本書) を恵贈賜りました。 著者並びに出版社の皆様にお礼とご慰労をかねまして、僭越ながら本エントリにて一読後のレビューを掲載いたします。 Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る なお読者の益となるようなるべく公正な目線でレビューします。掲載されているコードの厳密な正確性については本レビューの対象外とします。 総評 体系的に「スクレイピングとは」「クローラーとは」について学ぶにはとてもよい書籍です。本書の優れているところは、特に基礎編ともいえる前半部分で、ある事柄を説明する
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
Shuca - 日本語対応の自動要約
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました ブログやソーシャルメディア、バイラルメディアなどここ数年でテキストコンテンツは爆発的に増えています。しかし私たちの時間は1日24時間で変わりません。となると処理しきれない情報ばかり増えてしまいます。 そこでテキストを解析し、そこから大事な部分だけを抽出してくれるような技術に注目が集まります。Shucaは日本語に対応したサマライザーです。 Shucaの使い方 原文です。 実際にはshucaにかける前に分かち書きや日本語の構文解析を行ってくれるJUMANやKNPを実行する必要があります。 そうするとこんな感じでサマライズできます。 100文字などと指定もできます。 150文字で抽出した例。 Shucaは原文の中から重要と思われる部分を抽出し、指定した文字数で結果を返してくれます。今後さ
pythonと遺伝的アルゴリズムで作るFX自動売買システム その1 - Qiita
作ったモノ 次の機能を実装してみました 1. 最新の為替レートを取得し続けるプログラム 2. AIを稼働させ自動売買するプログラム 3. 最新のデータを元に新しいAIを遺伝的アルゴリズムで生成するプログラム 4. AIのパフォーマンスを測定して引退と取引通貨単位を管理するプログラム 背景 OANDAが提供している取引用APIが、かなり良い感じだったので実現できました。 特に1通貨単位(1ドル単位)で売買できるため、AI100個動かし取引を重ねても損失は1日数十円に収まります。試験時に売買システムがバグで暴走しても安心です。このAPIが無ければ個人では実現出来なかったので、良い時代になったなーと思います。 http://developer.oanda.com/rest-live/development-guide/ 遺伝的アルゴリズムの特徴 最適化問題の準最適解を短時間で解ける。 最適化問題
xlwings·さよならVBA。PythonとExcelの相互コミュニケーションライブラリ MOONGIFT
Webアプリ全盛の現在とあっても、業務では未だにExcelが多く使われています。その結果としてVBAが活躍しており、メンテナンスが難しかったり、コピペされるコードが量産されていたりします。VBAがダメという訳ではないのですが、触りたくないと考えるプログラマは多いのではないでしょうか。 もっと自分が使い慣れたプログラミング言語でExcelを扱いたいと考える人に使ってみていただきたいのがxlwingsです。PythonとExcelで双方向の操作が可能になります。 xlwingsの使い方 デモ。ExcelからPythonを呼び出します。 xlwingsはPythonからExcelのデータを読み込んだり、ExcelからPythonをコールできます。その結果、PythonからExcelにデータを追加したり、検索結果を表示させることも可能です。VBAの代わりに使うことが可能です。 Pythonであれば
「サーバーサイドの知識の無さに全俺が泣いた」レベルの入社当時の人に読ませたら少しはアドバイスになったであろうPythonとDjangoの前提知識メモ - 憧れ駆動開発
あの頃は青かった。教えるどころか無知をさらけ出すというのはこの事だった。死ぬほど恥ずかしいので消したかったけれど、この記事が一番アクセスがあって長い間いくらか読まれていたらしい。ためらった。ただ、かつての自分といくらかの人に参考になればうれしいけれど、そろそろ役目を終えたと信じたい。もし書きなおすのなら、もう少し違う言い方か伝え方にすると思う。 内容としては 当時の自分のスペック Pythonの言語で、当時の自分が知った方法(3項演算子とか) mercurial の基礎(init, commit, push, update, log) WAF(Django)の知識 URL(ディスパッチャ)をトリガーにして Viewで処理をかく ModelにDBの内容がある ORMでリレーションを簡単に記述できる テンプレートでViewで処理した内容を表示させる チラ裏に移動させた。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
https://qiita.com/yamakawa00/items/6f3b3600808920348057