タグ

pythonに関するicicaのブックマーク (82)

  • 【転職エントリ】Googleに入社します|Lillian

    はじめに この記事には、Googleのオンサイト面接に向けて勉強した内容が記載されていますが、それらはすべて面接を受ける直前に書いておいたものです。このエントリを読むことで面接で聞かれた内容が予測されてしまわないようにそのようにさせていただきました。ご了承お願いします。 この記事について 令和元年に医師を退職し、ソフトウェアエンジニア転職します。 自分にとって大きな転機であったのと、とても大変な道のりであったので、私という人間が辿った道筋を最初から最後までちゃんとまとめておきたいと思いこの記事を書くことにしました。 私のような他業種から未経験での転職を目指されている方にとっても、何らかの参考になる内容であれば幸いです。 私の生い立ち 私は小さい頃からテレビゲームが大好きで、学校から帰るとずっと家でゲームをしている子でした。あまりにもゲームが好きだったので、遊ぶだけではなく自分で作ってみた

    【転職エントリ】Googleに入社します|Lillian
  • 退屈なことはPythonにやらせる...前に考えるべきこと - Lean Baseball

    機械学習, データサイエンスを志向してPythonを勉強したり,この辺のエントリーでを読み漁ったりすると*1, もしかして, 私の仕事ってプログラミングで楽になるのでは!? と気がつく(もしくはそういう記事・を読んで触発される)瞬間があるかと思います, このとかあのとか. このエントリーではそんな素晴らしい学び*2に対して,一つの回答を示してみたいと思います. TL;DR(ここは読んでほしい) プログラミングで解決できる「退屈なこと」とは「回数が多く, 属人性が少ない」作業のことである. 属人性がある仕事はプログラミングをする前に因数分解しよう or 「仕事ごっこ」だったらやめる努力をしよう. Pythonで「退屈なこと」をやるなら,「退屈なことはPythonにやらせよう」もいいですが,「できる仕事がはかどるPython自動処理 全部入り。」が個人的にはおすすめです. 言いたいこと

    退屈なことはPythonにやらせる...前に考えるべきこと - Lean Baseball
  • りょうくんグルメの文体を自動でもとに戻すやつを作りました - 開け閉め

    りょうくんグルメをご存知だろうか。知らなくても、人のツイートの雰囲気は料理レシピなんかで一度は見た文脈のはずだ。 こんなやつ。 まじでこの世の全てのタピオカ好きに教えてあげたいんだが新宿三丁目のceleb縁味には全ての人間を虜にする禁断のオレオミルクフォームがある。 これが濃厚黒糖で超絶美味いからぜひ全国のタピオカ好き、タピオカを愛する者たち、タピオカを憎む者たち、全てのタピオカ関係者に伝われ pic.twitter.com/wnnPvkJ2pr— りょうくんグルメ (@uryo1112) 2019年6月15日 「りょうくんグルメ」は文章が情報量に対してやたら長いので、pythonの練習も兼ねてアイデンティティである上から目線の構文を取り去ることにした。逆りょうくんグルメである。 手順は大雑把に分けて以下の3ステップ。 1. Twitterからりょうくんグルメのツイートをスクレイピング

    りょうくんグルメの文体を自動でもとに戻すやつを作りました - 開け閉め
  • Python向け日本語自然言語処理ライブラリ「GiNZA」、リクルートがGitHubで公開

    リクルートは2019年4月2日、Python向け日語自然言語処理ライブラリ「GiNZA(ギンザ)」をオープンソースソフトとして公開したと発表した。1.0.1版では新元号「令和」にも対応した。 公開したのは同社のAI人工知能)研究機関であるMegagon Labs。同ライブラリでは、国立国語研究所との共同研究成果の学習モデルを用いた。 GiNZAは、Python向けの自然言語処理ライブラリ「spaCy」をフレームワークとして利用し、オープンソースの形態素解析器「Sudachi」のPython版である「SudachiPy」を内部に組み込んだ。 import spacy nlp = spacy.load('ja_ginza_nopn') doc = nlp('依存構造解析の実験を行っています。') for sent in doc.sents: for token in sent: print

    Python向け日本語自然言語処理ライブラリ「GiNZA」、リクルートがGitHubで公開
  • 実践/現場のPythonスクレイピング - Qiita

    !! ======================== !! ※この記事は2019年の記事です。この記事で紹介している内容は2019年当時の内容である事を理解した上で、実際に設定する際は最新の情報を確認しながら行ってください。 !! ======================== !! SeleniumはE2Eテストの自動化などで大きな力を出してくれます。 今回の記事では、下記の内容をまとめてみます。 色々なユースケース 抜け漏れ対策のwait.until()関数 => 実務ではとても重要 IDやClassが無くても、AltやPlaceholderなどから力技で抽出する技 パスワード系 無限スクロール系 必要なツールをまずは揃える Python3.7 ChromeDriver https://sites.google.com/a/chromium.org/chromedriver/dow

    実践/現場のPythonスクレイピング - Qiita
  • まだExcelで消耗してるの?Pythonによる自動集計ガイド 基礎編 - Qiita

    ちょっとしたデータの加工や集計に、ExcelGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね? そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand

    まだExcelで消耗してるの?Pythonによる自動集計ガイド 基礎編 - Qiita
  • Google Colaboratoryで初めての機械学習 - Qiita

    はじめに ディープラーニングというワードは聞いたことがあるけどどこから手を出したら良いかわからないという人向け。 PythonとかCNNとかKerasとかさわったことない初心者が画像分類やるぞという記事です。 SIGNATE Data Science Competitionに参加して初めてディープラーニングを触ってみたところとっつきやすかったので知見を残したいというのが記事投稿のきっかけです。 Google Colaboratoryとは Google Colaboratory(以下、Colab)は、クラウドで実行されるJupyterノートブック環境である。 機械学習などの基的な環境構築は設定済みで、Tesla系のK80 GPUを無料で最大12時間まで使えるという神環境。 機械学習初心者からそれなりの規模までの学習の実行を行うのに適している。 今回やること Colabを初めて使うときの設

    Google Colaboratoryで初めての機械学習 - Qiita
    icica
    icica 2019/02/25
  • ウェブアプリケーションフレームワーク Flask を使ってみる - Qiita

    Ruby は柔軟なプログラミング言語であり Sinatra のような手軽で軽量なウェブアプリケーションフレームワークがあります。いままで分析用の言語として主に Python で統計やデータの可視化をおこなってきましたが、もちろん Python にも多種多様なウェブアプリケーションフレームワークがあります。 数値計算などを Python でおこなう仕組みをウェブシステムとして提供したい場合、わざわざ別の言語を利用するよりウェブの部分も同じ言語で作ってしまったほうが一貫性があります。 そこで今回は Flask という Python の小規模なフレームワークを利用し、ごく簡単なウェブアプリケーションを作ってみます。 Flask には日語訳された親切なユーザーガイドがあります。 https://a2c.bitbucket.io/flask/ とても丁寧に書かれているので、基的にはこのドキュメン

    ウェブアプリケーションフレームワーク Flask を使ってみる - Qiita
  • Flask でレアガチャ・シミュレーターを作る - Qiita

    昨日は Python のウェブフレームワーク Flask で簡単な応答システムを作りました。これだけだとあまりに退屈なので、せっかくですから NumPy を利用して少しは楽しめるものを作ってみたいと思います。 「ガチャ」とは、最近流行のソーシャルゲームやオンラインゲームにおいて 1 回課金することによってアイテム等をランダムに入手できる仕組みのことです。 10 連ガチャとは 1 回の試行で 10 回分のレアガチャを引く仕組みのことです。基無料を謳うソーシャルゲームなどでは、このようなアイテム課金で利益を得る仕組みになっています。 シミュレーションの目的としては、運営サイドとしてはプレイヤーがじゃぶじゃぶ課金したくなるような射幸心を煽りまくるガチャが提供できているかどうか確認する、プレイヤーサイドとしてはリアルマネーいわゆる実際のお金を投入する前にあらかじめどれくらいの確率で成功するのかを

    Flask でレアガチャ・シミュレーターを作る - Qiita
    icica
    icica 2019/02/22
  • matplotlib入門 散布図の作成 | Python学習講座

    上記以外にカラーマップ、カラーバーを表すことができるパラメータも存在します。以下を参照してください。 matplotlib カラーバー付き散布図 2021/4 以降のサンプルコードのlinewidthsの設定値が文字列になっていたため修正しました。ご連絡くださった方ありがとうございます。 プロットマーカーの大きさ、色、透明度を変更 ここからはマーカーの大きさ等の散布図のカスタマイズについて解説します。sでマーカーの大きさ、alphaで透明度、cもしくはcolorでマーカー内の色、edgecolorsでマーカーのエッジの色を指定することができます。今度は要素数をnp.random.randで生成してみます。 from matplotlib import pyplot as plt import numpy as np # ランダムな点を生成する x = np.random.rand(50)

    icica
    icica 2019/02/21
  • Jupyter + Matplotlib > Figureのサイズを拡大する | 字のぼやけを緩和する - Qiita

    GeForce GTX 1070 (8GB) ASRock Z170M Pro4S [Intel Z170chipset] Ubuntu 16.04 LTS desktop amd64 TensorFlow v1.1.0 cuDNN v5.1 for Linux CUDA v8.0 Python 3.5.2 IPython 6.0.0 -- An enhanced Interactive Python. gcc (Ubuntu 5.4.0-6ubuntu1~16.04.4) 5.4.0 20160609 GNU bash, version 4.3.48(1)-release (x86_64-pc-linux-gnu) Ubuntu 14.04 LTSからUbuntu 16.04 LTSに変更してから、Matplotlibの環境が変わったように思う。 一つの変化がfigureが小さくなったこ

    Jupyter + Matplotlib > Figureのサイズを拡大する | 字のぼやけを緩和する - Qiita
  • pandas.DataFrameの行を条件で抽出するquery | note.nkmk.me

    pandas.DataFrameから任意の条件を満たす行を抽出するにはquery()メソッドを使う。比較演算子や文字列メソッドによる条件指定、複数条件の組み合わせなどを簡潔に記述できる。 pandas.DataFrame.query — pandas 2.1.4 documentation Indexing and selecting data - The query() Method — pandas 2.1.4 documentation ブーリアンインデックス(Boolean indexing)による条件指定については以下の記事を参照。 関連記事: pandasで複数条件のAND, OR, NOTから行を抽出(選択) 特定の型の列を抽出したり、行名・列名で行・列を抽出したりすることも可能。 関連記事: pandas.DataFrameから特定の型の列を抽出・除外するselect_dt

    pandas.DataFrameの行を条件で抽出するquery | note.nkmk.me
  • pandasで複数条件のAND, OR, NOTから行を抽出(選択) | note.nkmk.me

    pandasで複数の条件のAND, OR, NOTからpandas.DataFrameの行を抽出する方法を説明する。 注意点は二つ。 &、|、~を使う(and、or、notだとエラー) 比較演算子を使うときは条件ごとに括弧で囲む(括弧がないとエラー) なお、ここではブーリアンインデックス(Boolean indexing)を用いた方法を説明するが、query()メソッドを使うとより簡潔に書ける。 関連記事: pandas.DataFrameの行を条件で抽出するquery 記事のサンプルコードのpandasのバージョンは以下の通り。以下のpandas.DataFrameを例として使う。 sample_pandas_normal.csv import pandas as pd print(pd.__version__) # 2.0.3 df = pd.read_csv('data/src/s

    pandasで複数条件のAND, OR, NOTから行を抽出(選択) | note.nkmk.me
  • Python環境構築ベストプラクティス2019

    Python環境構築ベストプラクティス2019 Published at: 2019-02-18 / Updated at: 2019-05-14 Web上には新旧さまざまなPython環境の構築の方法が乱れており, 正しい情報にたどり着けない人がいて不憫なので2019年2月現在のベストプラクティスをPythonを使いたい人の属性ごとに紹介したいと思います. 自分がどのような環境を作ればいいかわかったなら公式ドキュメントというほぼ絶対的な1次資料を元に最高の環境を作っていきましょう. For Beginners とりあえずPythonを勉強してみたい, 手軽に手元にあるデータを解析してみたいという人はこちらです. プログラムをガリガリ書いていくのではない場合, 自分のPCに環境構築する必要はありません. Googleが提供しているColaboratoryを使いましょう. 苦労することなくP

    icica
    icica 2019/02/20
  • Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと

    Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと:「AIエンジニアになるための「基礎数学」再入門(3)(1/2 ページ) AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。今回から具体的に数学を学びます。統計とは、統計量とは何かを数学記号や数式、Pythonコード、図を交えて解説します。 AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載『「AIエンジニアになるための「基礎数学」再入門』。 初回は、「AIエンジニア」になるために数学を学び直す意義や心構え、連載で学ぶ範囲についてお話ししました。また前回は、「世の中にはどのようなデータがあるのか?」という部分を主に取り上げました。今回は、「それらデータをどう活用していくのか?」「活用するために

    Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと
  • Hashidsを使って短いハッシュ値を生成する

    そういう時にHashidsを使うと簡単に短いハッシュ値を生成できる。 JavaScriptRubyPythonなどの38種類の言語に対応している。(2018/5/7時点) ただし、ハッシュ化対象は数値のみのため、文字列などは数値化してからハッシュ化する必要があるので注意。 使い方 基 pipを使ってhashidsのライブラリをインストールする。 encodeメソッドにハッシュ化したい数値の対象を入れてあげれば、ハッシュ値が得られる。

    Hashidsを使って短いハッシュ値を生成する
    icica
    icica 2019/02/14
  • Jupyter-notebook の作図ライブラリ比較 - Qiita

    時は戦国 Python には作図ライブラリがたくさんあります。 最もデファクトスタンダードに近く歴史も古い作図ライブラリは matplotlib で間違いないでしょうが、それでも R における ggplot2 ほどの地位は確立していないように思います。 特に、Jupyter-notebook 上ではインタラクティブなグラフを表示するニーズがあり、そこでは静的なグラフよりもさらにライブラリが割拠している印象があります。何がどう違うのかよくわかりません。 そこで今回は代表的な作図ライブラリの Jupyter-notebook 上での 違いについて簡単にまとめます。 注意 各ライブラリはいずれも細かくグラフのスタイルを設定可能で、やろうと思えば同じような見た目のグラフを生成することも可能ですが、今回はできるだけ何も設定せずにプロットした時のグラフを使います。 今回試すライブラリたち matplo

    Jupyter-notebook の作図ライブラリ比較 - Qiita
  • Bokehにおけるファイル出力 | 東京大学 佐々木淳 研究室 沿岸環境学 海岸工学 環境水工学 水環境学

    2020年9月23日追記: bokeh 2.2.1 ではhtmlからpngへのエクスポートで画像全体が出力されないバグがありました.bokeh 1.4.0 では問題ありませんでした.bokeh 1.4.0 をインストールするには,仮想環境を作成し,conda install -c pyviz bokeh==1.4.0 とします. 当記事はWindows 10を対象としております.Pythonにおけるグラフ作成はMatplotlibが定番ですが,Bokehはインタラクティブなグラフをお手軽に作成できる比較的新しいパッケージです.ただし,パワーポイントやワードに貼り付けるための画像出力が,デフォルトでは解像度が低すぎ,図を作成する段階で縦横のピクセル数の値を大きく設定することで対応していました.しかし,このやり方では文字の大きさが変わらないため,ピクセル数を変更する度に文字の大きさも設定しなく

    Bokehにおけるファイル出力 | 東京大学 佐々木淳 研究室 沿岸環境学 海岸工学 環境水工学 水環境学
  • Bokehで散布図(scatter plot)を作成する例

    from bokeh.plotting import figure, show, output_file from bokeh.sampledata.iris import flowers colormap = {'setosa': 'red', 'versicolor': 'green', 'virginica': 'blue'} colors = [colormap[x] for x in flowers['species']] p = figure(title = "Iris Morphology") p.xaxis.axis_label = 'Petal Length' p.yaxis.axis_label = 'Petal Width' p.circle(flowers["petal_length"], flowers["petal_width"], color=colors,

  • Pythonでボケ(Bokeh)よう ~ データ可視化ライブラリの紹介 ~ - Qiita

    はじめに Pythonで可視化したい場合 pandasでCSV化してExcelでグラフ化 Pythonのグラフライブラリで可視化 matplotlib seaborn Mayavi Plotly bokeh holoviews pandasでCSV化してRDBに投入して、BIツールで分析 metabase Redash Pythonの可視化パッケージの使い分け Bokehを使った経緯 Pythonで公開APIにアクセスし、取得したデータを可視化したい 取得できるデータは日々変わるので、「CSVExcelでグラフ表示」は面倒 matplotlibで可視化してみたけど、分析しづらい インタラクティブなBokehを使おう! matplotlib matplotlibとは グラフ描画ライブラリ 2003年リリース ほとんどのPython入門で紹介されている(はず) matplotlibでグラフ

    Pythonでボケ(Bokeh)よう ~ データ可視化ライブラリの紹介 ~ - Qiita