Pythonを使う人たちの間で共有されている造語に「pythonic」というものがあります。「Pythonic」はプログラミングフィロソフィーに関して幅広い意味を含むことばです。Pythonの素晴らしさを最大限に引き出せるエンジニアを多く輩出できるように当協会は「Pythonic」の理解促進を目標の一つに掲げています。
![Python試験・資格、データ分析試験・資格を運営する一般社団法人Pythonエンジニア育成推進協会のページです。 | Pythonの学習の目安と習熟度チェックに試験・資格はいかがですか?](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
Pythonクローリング&スクレイピングはおかげさまでご好評いただき、この度、増補改訂版を出版する運びとなりました。紙版は本日8/10発売で、電子書籍版は既に発売中です。 Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2019/08/10メディア: 単行本(ソフトカバー)この商品を含むブログを見る クローリングやスクレイピングを扱う書籍は、対象として利用しているWebサイトの変化によって、サンプルコードが動かなくなってしまう宿命があります。初版を執筆した際は、なるべく考え方を伝えるようにすることで、たとえサンプルが動かなくなったとしても役立つ内容にすることを心がけました。 ですが、書いてあるコードがそのまま動くに越したことはありません。今回改訂の機会をいただいたことで、読者の皆様に学
これら3つのパッケージ(「libpeshnx」「libpesh」「libari」)は、同じユーザー(名前はruri12)によって作成されており、2017年11月以降、20カ月近くにわたってPyPIからダウンロード可能な状態にあった。2019年7月に入って、これらのパッケージは、ReversingLabsのセキュリティ研究者らによって発見された。 ReversingLabsは7月9日、PyPIのリポジトリメンテナーに通報し、PyPIのセキュリティチームはその日のうちにこれらのパッケージを削除した。 どのパッケージにも説明が記載されておらず、目的を特定するのは不可能だ。しかしPyPIの統計を見ると、これらのパッケージは定期的にダウンロードされており、それぞれが毎月何十回もインストールされていることが分かる。 悪意あるコードは、Linuxシステムにインストールされたときにのみ動きのある単純なバッ
プログラミング言語「Python」のカンファレンスで世界最大級の「PyCon 2019」が2019年5月に米クリーブランドで開催された。注目されたのがPythonの生みの親であるグイド・ヴァン・ロッサム氏(グイド氏)の出欠だ。同氏は2018年7月に最高意思決定をする立場からの引退を表明していた。 結論から言うとグイド氏はカンファレンス最終日朝のキーノートディスカッションに登壇した。これだけでなく様々な参加者と精力的に意見交換している姿を見かけた。 グイド氏の「引退表明」以降、Pythonの開発が滞ったり混乱したりするのでないかと心配する声も一部にあった。だが同氏はPyCon 2019で自身の口から「引退表明」の経緯を説明し、立場は変わるが今後もPythonの開発に関わり続けることや、引退の影響が無いことをPythonユーザーに伝えた。コミュニティーの力によって今後も開発やイベントが続いてい
「ここで改行するほうがキレイで良いと思います」 『いや、私はこちらのほうがキレイ良いと思います』 コードレビューでこういう議論をしたことはありませんか? 大切なことだとは思いますが、生産性にはあまり直結しません。議論を避けるために書き方を決めるほうが良いでしょう (個々の問題について逐次議論するのがエネルギーを無駄にしてしまいます。一度決めて、再利用するようにしたいものです)。 今日はそのために使える black というツールを紹介します (「私はflake8を使ってるから結構です」と思われるかもしれませんが、少し違う話なので読んでみてください)。 blackを使おう Pythonのコードを自動でフォーマットしてくれる black を紹介します。 github.com blackはPythonのコードフォーマッターで、自動的にPythonプログラムの書き方を修正してくれます。 PEP8 と
libuvのPython実装であるpyuvのPython3対応しているときに、Python2.6/2.7/3.0/3.1/3.2で個別にテストする必要がありました。 各バージョンのPythonを入れるのも割と大変だし、各バージョンごとに確認するのも非常に手間です。 lazyな私にはこんなのやってられません。がおー。めんどくせー。 というわけでいろいろテストツールをいろいろ探していたら、79.pyで @aodag さんにtoxを教えていただきました。 早速使ってみたので、軽くメモを残しておきます。 ドキュメント ↓を読めば大体わかるはず。 Welcome to the tox automation project — tox 1.4.2-1 documentation ざっくり説明すると Pythonライブラリを複数バージョンでテストするツールです。 CI(Jenkinsなど)で使うことも想
Mozillaは、WebブラウザでPythonインタプリタや数値計算ライブラリのNumPyなど、Pythonの標準的なデータサイエンス環境をほぼそのまま実行可能にする「Pyodide」(パイオダイドと発音されているようです)を開発中です。 Mozilla Hacksのブログに投稿された記事「Pyodide: Bringing the scientific Python stack to the browser」で、このPyodideの詳細と現状が報告されています。 Pyodideは、データサイエンス環境をWebブラウザ上で実現しようというMozillaのプロジェクト「Iodide(アイオダイド、と発音されているようです)の関連プロジェクト。 Pyodideの最大の特徴は、標準のPythonインタプリタのフル機能をWebブラウザ上で実現しようとしている点にあります。下記はブログから。 Pyo
TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク? 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの?って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ
1年ほど前に以下の記事を書きましたが、StableなGoogle Chromeでヘッドレスモードが使えるようになり、今となっては紛らわしい記述もあるので、新しく記事を書きます。ついでにFirefoxのヘッドレスモードも触ってみました。 SeleniumからHeadless Chromeを使ってみた - Qiita https://qiita.com/orangain/items/db4594113c04e8801aad Headless Chromeとは何か、なぜ注目されているかといった背景についてはこの記事を参照ください。 SeleniumからHeadless Chromeを使う SeleniumからGoogle Chromeを操作するにはChromeDriverが必要です。 環境 試した環境は以下のとおりです。 macOS Sierra 10.12.6 Google Chrome 66
はじめに 開発部の tasaki です。 6 月の記事(「Pythonのパッケージングのベストプラクティスについて考える2018」)では setuptools, pip, venv を使ったパッケージングのフローについて考えました。 techblog.asahi-net.co.jp 今回はモダンな開発用ツールチェーンを持つ他の言語(具体的には JavaScript (Node.js), Go, Rust あたりを意識)と似たような開発フローを Python において構築するにはどうすればよいかということを考えていきます。 はじめに 対象バージョン 備考 TL;DR (結論) pip と virtualenv の統合 (Pipenv) 概要 使い方 インストール Pipenv プロジェクトの新規作成 setup.py との併用 静的な型の検査 (mypy) 概要 設定例 使い方 Lintin
すべての人がテクノロジーを活用し、未来を切り拓ける世界を実現するために、一人ひとりの背景・目標・価値観に応じた学習を共創しています。 IT教育を通して1人でも多くの人生の選択肢を増やし、世界のイノベーションを支えるためにサービス改善を続けております。 世界中、ITの力で様々なイノベーションが起きています。ITリテラシーを求められる現代において、これから就職する学生から、営業や事務など非エンジニアの方はもちろん、既にエンジニアとして働く中でスキル不足に悩むエンジニアの方も含め、すべての人たちへ質の高いIT教育を提供することで、個人・企業・社会の様々なIT課題に挑んでいきます! 【採用ピッチ】 https://www.docswell.com/s/samurai/K8G2M7-apr-2023 サービス内容 ・SAMURAI ENGINEER 「1人でも多くの人生をプログラミング教育で変える」
(編注:2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) Pythonは高い人気を誇り、DevOps、データサイエンス、Web開発、セキュリティの分野で使われています。 しかし、速度に関しては高い評価が全くありません。 JavaとC、C++、C#、Pythonの速度を比べるには、どうしたらいいのでしょう? 答えは、実行するアプリケーションのタイプに大きく左右されます。完璧なベンチマークはありませんが、[手始めに比べる手段](https://algs4.cs.princeton.edu/faq/)としてはThe Computer Language Benchmarks Gameが適しています。 私は10年ほどthe Computer Language Benchmarks Gameを参照していますが、Java、C#、Go、JavaScript、C++などの他言
なお、本稿の内容は基本的に、Windows版のVS Code(64ビット版)で動作確認し、必要に応じてmacOS版でも確認をしている。 VS CodeでPythonする理由 PythonをサポートするエディタやIDE(統合開発環境)は数多く存在する。例えば、JetBrainsのPyCharmは優れたIDEであり、恐らく、VS CodeでできることはPyCharmでもできるだろう。それでもなお、VS Codeを使う理由とは何だろう。筆者もちょっと考えてみた。 VS Codeは無償で使える、軽量なエディタである(上に挙げたPyCharmにも無償で利用できるCommunityエディションはあるし、オープンソースプロダクトとして無償で利用できるエディタも数多いが) Python拡張機能をインストールすることで、IntelliSenseを利用したコード補完が可能になる 同じくPython拡張機能によ
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい!」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
1. パワーポイントを生成するPythonライブラリの導入 世の中便利なもので大体のものはすでに存在している。 python-pptx そして先駆者が使っている。 https://qiita.com/daiki7nohe/items/11019e90cd43c82095fa https://qiita.com/pocket8137/items/3d8fda2c47664bf9130b 以下のコマンドでインストール。 pip install python-pptx 2. サンプル:基本的なスライド まずはGetting Startedから基本的なスライドの生成プログラムを見る。 このスタートアップガイドで図や表の挿入方法について触れられている。 プログラムの流れは 1. レイアウトの読み込み 2. スライドの追加 3. タイトルや本文の挿入 4. 保存 となっている。 from pptx i
Excelユーザーの要望をとりまとめるサイトで、ExcelへのPython搭載の要望が相次いだ。その結果、マイクロソフトは検討のためのアンケートを開始した。 Excelは業務アプリケーションとしてもっとも使われ、普及している製品のひとつでしょう。そのExcelを今後も発展させていくために、マイクロソフトはユーザーが要望を提案できるコミュニティサイト「Excel’s Suggestion Box」(英語)を公開しています。 このコミュニティサイトに2015年11月、Excelのスクリプティング言語としてPythonを搭載してほしいという要望「Python as an Excel scripting language」がポストされました。 それから2年以上が経過し、現時点でこの要望は2位以下を大きく引き離す3862票の賛成票(2017年12月17日現在)を獲得して要望リストのトップにあがってい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く