退屈なことはPythonにやらせる...前に考えるべきこと - Lean Baseball
機械学習, データサイエンスを志向してPythonを勉強したり,この辺のエントリーで本を読み漁ったりすると*1, もしかして, 私の仕事ってプログラミングで楽になるのでは！？ と気がつく(もしくはそういう記事・本を読んで触発される)瞬間があるかと思います, この本とかあの本とか. このエントリーではそんな素晴らしい学び*2に対して,一つの回答を示してみたいと思います. TL;DR（ここは読んでほしい） プログラミングで解決できる「退屈なこと」とは「回数が多く, 属人性が少ない」作業のことである. 属人性がある仕事はプログラミングをする前に因数分解しよう or 「仕事ごっこ」だったらやめる努力をしよう. Pythonで「退屈なこと」をやるなら,「退屈なことはPythonにやらせよう」もいいですが,「できる仕事がはかどるPython自動処理 全部入り。」が個人的にはおすすめです. 言いたいこと
りょうくんグルメの文体を自動でもとに戻すやつを作りました - 開け閉め
りょうくんグルメをご存知だろうか。知らなくても、本人のツイートの雰囲気は料理のレシピなんかで一度は見た文脈のはずだ。 こんなやつ。 まじでこの世の全てのタピオカ好きに教えてあげたいんだが新宿三丁目のceleb縁味には全ての人間を虜にする禁断のオレオミルクフォームがある。 これが濃厚黒糖で超絶美味いからぜひ全国のタピオカ好き、タピオカを愛する者たち、タピオカを憎む者たち、全てのタピオカ関係者に伝われ pic.twitter.com/wnnPvkJ2pr— りょうくんグルメ (@uryo1112) 2019年6月15日 「りょうくんグルメ」は文章が情報量に対してやたら長いので、pythonの練習も兼ねてアイデンティティである上から目線の構文を取り去ることにした。逆りょうくんグルメである。 手順は大雑把に分けて以下の3ステップ。 1. Twitterからりょうくんグルメのツイートをスクレイピング
実践/現場のPythonスクレイピング - Qiita
!! ======================== !! ※この記事は2019年の記事です。この記事で紹介している内容は2019年当時の内容である事を理解した上で、実際に設定する際は最新の情報を確認しながら行ってください。 !! ======================== !! SeleniumはE2Eテストの自動化などで大きな力を出してくれます。 今回の記事では、下記の内容をまとめてみます。 色々なユースケース 抜け漏れ対策のwait.until()関数 => 実務ではとても重要 IDやClassが無くても、AltやPlaceholderなどから力技で抽出する技 パスワード系 無限スクロール系 必要なツールをまずは揃える Python3.7 ChromeDriver https://sites.google.com/a/chromium.org/chromedriver/dow
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
Jupyter + Matplotlib > Figureのサイズを拡大する | 字のぼやけを緩和する - Qiita
GeForce GTX 1070 (8GB) ASRock Z170M Pro4S [Intel Z170chipset] Ubuntu 16.04 LTS desktop amd64 TensorFlow v1.1.0 cuDNN v5.1 for Linux CUDA v8.0 Python 3.5.2 IPython 6.0.0 -- An enhanced Interactive Python. gcc (Ubuntu 5.4.0-6ubuntu1~16.04.4) 5.4.0 20160609 GNU bash, version 4.3.48(1)-release (x86_64-pc-linux-gnu) Ubuntu 14.04 LTSからUbuntu 16.04 LTSに変更してから、Matplotlibの環境が変わったように思う。 一つの変化がfigureが小さくなったこ
Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと
Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと：「AI」エンジニアになるための「基礎数学」再入門（3）（1/2 ページ） AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。今回から具体的に数学を学びます。統計とは、統計量とは何かを数学記号や数式、Pythonコード、図を交えて解説します。 AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。 初回は、「AIエンジニア」になるために数学を学び直す意義や心構え、連載で学ぶ範囲についてお話ししました。また前回は、「世の中にはどのようなデータがあるのか？」という部分を主に取り上げました。今回は、「それらデータをどう活用していくのか？」「活用するために
「Python」「R」「Jupyter Notebook」「Tableau」「Keras」が愛用される理由
関連キーワード BI（ビジネスインテリジェンス） データと分析は、デジタルトランスフォーメーションやデジタルディスラプション（デジタル時代の創造的破壊）を引き起こすガソリンになる。そして、企業がこのガソリンをハイオクに変える方法は1つしかない。それは、統計学者、数学者、ビジネス分析専門家のチームに適切なデータサイエンスツールを提供し、増大し続ける企業データのプールから洞察を引き出すことだ。 純粋な統計分析、機械学習のモデリング、視覚化など、その用途が何であれ、データ駆動型のビジネス文化を発展させるには強力な一連のデータサイエンスツールが欠かせない。 さまざまな業界に身を置く多数の経験豊かなデータサイエンティストと情報交換を行い、各自が最も使用しているツールについてインタビューした。本稿では、その中で何度となく名前が挙がった上位5つの厳選されたツールを紹介する。 併せて読みたいお薦め記事 進
Python の基礎知識を証明できる「Python 3 エンジニア認定基礎試験」に合格した - kakakakakku blog
先週末に「Python 3 エンジニア認定基礎試験」を受験し，問題なく合格した．試験問題に関係する内容は NDA を厳守するため書かず，今回は「試験紹介（普及のため！）」と「勉強方法」にフォーカスする． Python 試験とは？ 「一般社団法人 Python エンジニア育成推進協会」が提供する Python 試験は2種類ある．現在受験できるのは「認定基礎試験」で，「認定データ分析試験」は今年開始予定とアナウンスされている． Python 3 エンジニア認定基礎試験 概要 : 文法基礎を問う試験 2017年6月開始 Python 3 エンジニア認定データ分析試験 概要 : Pythonを使ったデータ分析の基礎や方法を問う試験 2019年夏開始予定 🚧 もともと「認定データ分析試験」を受験しようと考えていたけど，調べてみるとまだ開始されていないことに気付き，その前に Python の理解度確
ExcelにPythonが搭載？その後 - xlwings を使おう - Qiita
マイクロソフトが Excel に Python を搭載することを検討しているというニュースが流れたのは１年前のことで、結構話題になりました。昨年の Python Advent Calendar 2017 では、ExcelにPythonが搭載されることを期待して「ExcelにPythonが搭載？」という記事を書きましたが、今回は、その続編を書きます。 そのニュースというのは、マイクロソフトが Excel に Python を搭載するかどうかを検討するためアンケートを実施したということなのですが、詳しく知りたい方は、Publickeyの「ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中」という記事がわかりやすいので、そちらをみてください。 その後どうなったかというと、マイクロソフトが運営しているコミュニティサイト「Excel’s Suggestion Box」に投稿されて
pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball
毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web
Python 割と使うライブラリ集 - Qiita
背景 Pythonでよく使うライブラリ集です。 簡単なソースと学習に役立つサイトのリンクを記載しています。 GitHubで公開されているものに関してはライブラリ名にリンクを貼っています。 基本的には趣味レベルのみでの利用なので専門的情報が欲しい方は戻るボタン推奨。 標準ライブラリ 公式ドキュメントにありますのでこちらをご参照ください。 https://docs.python.jp/3/library/index.html 数学系 NumPy ベクトルや行列計算を行うためのライブラリ 内積、フーリエ変換。行列計算などプログラミング知識が少なくても簡単に使用できるのが特徴。 少ないコード量で効率よく高速に数値計算 学習サイト：https://qiita.com/jyori112/items/a15658d1dd17c421e1e2 # -*- coding: utf-8 -*- import
初心者に捧げる対話システムの作り方 - Qiita
はじめに こんにちは。Hironsanです。 3月から4月にかけてLine, Facebook, Microsoftと各社がBot開発用プラットフォームを発表して以来、爆発的な数のBotが登場しています。実にFacebook Messengerだけに限っても2016年7月時点で1万1000超のBotが稼働しています。 しかし、これらのBotのほとんどは単純な一問一答型のシステムであり、対話システムと言えるものではありません。これでは徐々にユーザの嗜好を聞き出すような対応を行うことはできません。 そこで今回は、対話の履歴を考慮したレストラン検索対話システムを作り、最終的にはBotに組み込んでみたいと思います。完成イメージとしては以下のアニメーションのようなものを作ることができます。 具体的には以下のステップで作成します。 簡単なパターンマッチ おうむ返し 対話状態を保持したレストラン検索対話
Python For Data Science - A Cheat Sheet For Beginners (article) - DataCamp
Python is the most popular programming language in data science. Use this cheat sheet to jumpstart your Python learning journey. Python is the most popular programming language in data science. It is easy to learn and comes with a wide array of powerful libraries for data analysis. This cheat sheet provides beginners and intermediate users a guide to using python. Use it to jump-start your journey
人生のたいていのことはPythonでできる？
10分後にあなたはPythonのコードを書いている 「女人は我々男子には正に人生そのものである。即ち諸悪の根源である」と芥川龍之介が書いているそうだ。読書感想文でお世話になった『羅生門』とか、『河童』とか、もっと深刻なテーマが専門にみえる芥川龍之介がそんなこと言うとは驚きである。これに倣っていうなら、コンピューターとは人生そのものだと言ってよいと思う。「コンピューター」は、「運用」（面倒を見ること）を必要とするが、そのぶんできることはずっと広がるし、人をクリエイティブ（生産的）にするからだ。 ということで、やっぱりコンピューターのほうがスマートフォンよりも楽しい。「スマートフォン」は、生活の手間をはぶくリモコン程度の存在に過ぎず、深いことができないから、人を、ザッピング的に、キュレーション的に、BOT的にする。国立社会保障・人口問題研究所によると、いまの若い人たちは異性の交際相手を希望しな
素人がWebサービスを作るまでのプログラミング勉強法 - やんばるテック
はじめに とあることをきっかけにプログラミング(Python)を学び始め、半年後にはWebサービスを自作することができました。 これまでの半年間の振り返りも兼ねて、その学習の過程を書きます。 回り道を重ねた平凡な学習の記録ですが、私と同じようにWebサービスを作ることを目指してプログラミングを現在勉強中の方・これから学ぼうとしている方に少しでも参考になれば幸いです。 目次 はじめに 目次 学びのきっかけ 本業 とある機能追加。その開発が完了するのは2年先。 要件を大幅見直して、費用は100分の1に。それでも開発が完了するのは5ヶ月先。 慢性的な開発要員の不足 自分自身で開発できたら、何かが変わる？ プログラミングを学ぼう！ プログラミング言語選び Rubyか？ それともPythonか？ Pythonは好きだし選んで後悔は無いけれど、いま考えるとRubyも良かった 学習記録：初日〜2日目 1
pythonで手軽にチャットアプリ - Qiita
こんにちは！今年に入ってqiitaの記事をずっと作成していましたが、調べたことが頭に入るし、やってみるもんだなと思いました。これまでに投稿した記事は８件ですが、その中でも特に多く投稿したのがPython関連のネタです。今年はPyconに参加したり、卒業研究にもPythonを使い、Pythonにどっぷり浸った1年でした(何回Pythonって言ってるんでしょうね（笑）) というわけで今回はその集大成としてPythonでアプリケーションを作ってみたので、ご紹介します。 今回作るもの 今回は機械学習のAPIを使用したチャットボット形式のアプリを作ります。イメージ的にはL○NEのりんなちゃんみないなものを作ってみたいと思います。 使用言語、フレームワークなど python3.6 tkinter a3rt この中にある「a3rt」とは、今年リクルートがリリースした機械学習のAPIです（参考）。Pyth
超簡単！Pythonを使って中学・高校レベルの数学問題を解いてみた - paiza times
秋山です。 PythonはNumpyとかSympyとか、数値計算が得意なライブラリが充実しています。もちろん中学・高校の数学で習うレベルの計算もすぐにできちゃいます。 というわけで今回はPythonでプログラミングをして、中学・高校で習う数学の問題を解いてみました。 Pythonが使えるようになれば、中学・高校レベルの数学では困らずに済む。かもしれない。 ■中学2年生レベル ◆連立方程式 ◇問題 x + y = 3 x + 3y = 13 のとき、xとyを求めよ。 Numpyを使って、連立方程式を行列計算で解いてみました。 ■中学3年生レベル ◆2次方程式 ◇問題 x^2 - 10x + 24 = 0 のとき、xを求めよ。 昔の授業では (x - 4)(x - 6) = 0 x = 4 , 6 このような解法を習ったと思います。 この問題は、NumpyのPolynomialを使って式を作り
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
AIは「単なる関数」、数学は「言語の一つ」、「文系出身」でも問題ない――Pythonで高校数学の範囲から学び始めよう：「AI」エンジニアになるための「基礎数学」再入門（1） - ＠IT
AIは「単なる関数」、数学は「言語の一つ」、「文系出身」でも問題ない――Pythonで高校数学の範囲から学び始めよう：「AI」エンジニアになるための「基礎数学」再入門（1） AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。初回は、「AIエンジニア」になるために数学を学び直す意義や心構え、連載で学ぶ範囲について。 AI人材の不足 2015年にDeep Learningを利用したモデルが、画像認識率において人間を上回る結果を残したことを皮切りに、世の中はAIブームに突入しました。その勢いはすさまじく、業界を問わずビジネス形態が目まぐるしく変化しています。世界中のサービスが即座に利用できてしまう現代では、各業界の各企業にとってのライバルは、もはや同業他社だけではありません。これからの時代は、Googleをはじめとした最先端テック企業をライバルとして
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
