データサイエンティストに優しいフレームワーク「Metaflow」、Netflixがオープンソース化
Netflixは2019年12月3日（現地時間）、データサイエンスプロジェクトを迅速かつ容易に構築、管理するためのフレームワーク「Metaflow」をオープンソースソフトウェアとして公開した。 MetaflowはNetflixが開発したPythonライブラリ。コンテンツ配信やビデオエンコーディングの最適化など、社内の何百ものユースケースに2年間、Metaflowを用いてデータサイエンスを適用してきたという。 なぜMetaflowを開発したのか Metaflowの開発が始まる前、Netflixの機械学習インフラチームはデータサイエンティストに対して社内では何が困難なのかをインタビューした。大規模なデータの扱いやモデル作り、最新GPUに関した回答が集まると当初は考えていたものの、予想は外れた。 最も困難だったのは、「バージョン1」のローンチに到達するまであまりにも時間がかかることだったという。
Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks
PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、研究開発の基盤技術である深層学習フレームワークを、自社開発のChainer™から、PyTorchに順次移行します。同時に、PyTorchを開発する米FacebookおよびPyTorchの開発者コミュニティと連携し、PyTorchの開発に参加します。なお、Chainerは、本日公開されたメジャーバージョンアップとなる最新版v7をもってメンテナンスフェーズに移行します。Chainerユーザー向けには、PyTorchへの移行を支援するドキュメントおよびライブラリを提供します。 PFN 代表取締役社長 西川徹は、今回の
PyQ - 本気でプログラミングを学びたいあなたへ
必要なのはブラウザだけプログラミングを始める時に、最初につまづくのが環境構築です。 PyQでは環境構築なしで、ブラウザをひらけば10秒でプログラミングを始められます。 読む・書く・動かすサイクルで定着PyQのエディター画面では、実際にブラウザの後ろでPythonが動いています。これにより、教材を読む→コードを書く→実際に動かすという流れを画面内で完結できます。もちろん、自分で内容を変更して、動かして試してみることもできます。 あなたの興味に寄り添う、1500問以上から選べるコンテンツPyQでの学習は、数個の問題からなる「クエスト」という単位で進みます。 600クエスト・1500問以上存在するすべてのクエストは、好きな順に学び放題。 関連の深いクエストはパート・コースにまとめられており、 直感的に様々なクエストを組み合わせて、自分の興味のある分野を学べます。
Pythonクローリング&スクレイピングの増補改訂版が出版されます - orangain flavor
Pythonクローリング&スクレイピングはおかげさまでご好評いただき、この度、増補改訂版を出版する運びとなりました。紙版は本日8/10発売で、電子書籍版は既に発売中です。 Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る クローリングやスクレイピングを扱う書籍は、対象として利用しているWebサイトの変化によって、サンプルコードが動かなくなってしまう宿命があります。初版を執筆した際は、なるべく考え方を伝えるようにすることで、たとえサンプルが動かなくなったとしても役立つ内容にすることを心がけました。 ですが、書いてあるコードがそのまま動くに越したことはありません。今回改訂の機会をいただいたことで、読者の皆様に学
悪意ある「Python」ライブラリーがPyPIで発見される--研究者が報告
これら3つのパッケージ（「libpeshnx」「libpesh」「libari」）は、同じユーザー（名前はruri12）によって作成されており、2017年11月以降、20カ月近くにわたってPyPIからダウンロード可能な状態にあった。2019年7月に入って、これらのパッケージは、ReversingLabsのセキュリティ研究者らによって発見された。 ReversingLabsは7月9日、PyPIのリポジトリメンテナーに通報し、PyPIのセキュリティチームはその日のうちにこれらのパッケージを削除した。 どのパッケージにも説明が記載されておらず、目的を特定するのは不可能だ。しかしPyPIの統計を見ると、これらのパッケージは定期的にダウンロードされており、それぞれが毎月何十回もインストールされていることが分かる。 悪意あるコードは、Linuxシステムにインストールされたときにのみ動きのある単純なバッ
Python生みの親が明かした「引退騒動」、PyCon 2019インサイド報告
プログラミング言語「Python」のカンファレンスで世界最大級の「PyCon 2019」が2019年5月に米クリーブランドで開催された。注目されたのがPythonの生みの親であるグイド・ヴァン・ロッサム氏（グイド氏）の出欠だ。同氏は2018年7月に最高意思決定をする立場からの引退を表明していた。 結論から言うとグイド氏はカンファレンス最終日朝のキーノートディスカッションに登壇した。これだけでなく様々な参加者と精力的に意見交換している姿を見かけた。 グイド氏の「引退表明」以降、Pythonの開発が滞ったり混乱したりするのでないかと心配する声も一部にあった。だが同氏はPyCon 2019で自身の口から「引退表明」の経緯を説明し、立場は変わるが今後もPythonの開発に関わり続けることや、引退の影響が無いことをPythonユーザーに伝えた。コミュニティーの力によって今後も開発やイベントが続いてい
もうPythonの細かい書き方で議論しない。blackで自動フォーマットしよう - Make組ブログ
「ここで改行するほうがキレイで良いと思います」 『いや、私はこちらのほうがキレイ良いと思います』 コードレビューでこういう議論をしたことはありませんか？ 大切なことだとは思いますが、生産性にはあまり直結しません。議論を避けるために書き方を決めるほうが良いでしょう （個々の問題について逐次議論するのがエネルギーを無駄にしてしまいます。一度決めて、再利用するようにしたいものです）。 今日はそのために使える black というツールを紹介します （「私はflake8を使ってるから結構です」と思われるかもしれませんが、少し違う話なので読んでみてください）。 blackを使おう Pythonのコードを自動でフォーマットしてくれる black を紹介します。 github.com blackはPythonのコードフォーマッターで、自動的にPythonプログラムの書き方を修正してくれます。 PEP8 と
Pythonでのテストツールtox入門 - Keep on moving
libuvのPython実装であるpyuvのPython3対応しているときに、Python2.6/2.7/3.0/3.1/3.2で個別にテストする必要がありました。 各バージョンのPythonを入れるのも割と大変だし、各バージョンごとに確認するのも非常に手間です。 lazyな私にはこんなのやってられません。がおー。めんどくせー。 というわけでいろいろテストツールをいろいろ探していたら、79.pyで @aodag さんにtoxを教えていただきました。 早速使ってみたので、軽くメモを残しておきます。 ドキュメント ↓を読めば大体わかるはず。 Welcome to the tox automation project — tox 1.4.2-1 documentation ざっくり説明すると Pythonライブラリを複数バージョンでテストするツールです。 CI(Jenkinsなど)で使うことも想
PythonインタプリタをWebAssemblyへコンパイル、Webブラウザで稼働するPython環境「Pyodide」。Mozillaが開発中
Mozillaは、WebブラウザでPythonインタプリタや数値計算ライブラリのNumPyなど、Pythonの標準的なデータサイエンス環境をほぼそのまま実行可能にする「Pyodide」（パイオダイドと発音されているようです）を開発中です。 Mozilla Hacksのブログに投稿された記事「Pyodide: Bringing the scientific Python stack to the browser」で、このPyodideの詳細と現状が報告されています。 Pyodideは、データサイエンス環境をWebブラウザ上で実現しようというMozillaのプロジェクト「Iodide（アイオダイド、と発音されているようです）の関連プロジェクト。 Pyodideの最大の特徴は、標準のPythonインタプリタのフル機能をWebブラウザ上で実現しようとしている点にあります。下記はブログから。 Pyo
Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい
TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ
SeleniumからStableになったHeadless Chrome/Firefoxを使ってみる - Qiita
1年ほど前に以下の記事を書きましたが、StableなGoogle Chromeでヘッドレスモードが使えるようになり、今となっては紛らわしい記述もあるので、新しく記事を書きます。ついでにFirefoxのヘッドレスモードも触ってみました。 SeleniumからHeadless Chromeを使ってみた - Qiita https://qiita.com/orangain/items/db4594113c04e8801aad Headless Chromeとは何か、なぜ注目されているかといった背景についてはこの記事を参照ください。 SeleniumからHeadless Chromeを使う SeleniumからGoogle Chromeを操作するにはChromeDriverが必要です。 環境 試した環境は以下のとおりです。 macOS Sierra 10.12.6 Google Chrome 66
2019年に向けてPythonのモダンな開発環境について考える - 朝日ネット 技術者ブログ
はじめに 開発部の tasaki です。 6 月の記事（「Pythonのパッケージングのベストプラクティスについて考える2018」）では setuptools, pip, venv を使ったパッケージングのフローについて考えました。 techblog.asahi-net.co.jp 今回はモダンな開発用ツールチェーンを持つ他の言語（具体的には JavaScript (Node.js), Go, Rust あたりを意識）と似たような開発フローを Python において構築するにはどうすればよいかということを考えていきます。 はじめに 対象バージョン 備考 TL;DR （結論） pip と virtualenv の統合 (Pipenv) 概要 使い方 インストール Pipenv プロジェクトの新規作成 setup.py との併用 静的な型の検査 (mypy) 概要 設定例 使い方 Lintin
自分の「教え方」を自由にデザインできるインストラクター募集 | 株式会社侍
すべての人がテクノロジーを活用し、未来を切り拓ける世界を実現するために、一人ひとりの背景・目標・価値観に応じた学習を共創しています。 IT教育を通して1人でも多くの人生の選択肢を増やし、世界のイノベーションを支えるためにサービス改善を続けております。 世界中、ITの力で様々なイノベーションが起きています。ITリテラシーを求められる現代において、これから就職する学生から、営業や事務など非エンジニアの方はもちろん、既にエンジニアとして働く中でスキル不足に悩むエンジニアの方も含め、すべての人たちへ質の高いIT教育を提供することで、個人・企業・社会の様々なIT課題に挑んでいきます！ 【採用ピッチ】 https://www.docswell.com/s/samurai/K8G2M7-apr-2023 サービス内容 ・SAMURAI ENGINEER 「1人でも多くの人生をプログラミング教育で変える」
なぜPythonはこんなにも遅いのか？ | POSTD
(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) Pythonは高い人気を誇り、DevOps、データサイエンス、Web開発、セキュリティの分野で使われています。 しかし、速度に関しては高い評価が全くありません。 JavaとC、C++、C#、Pythonの速度を比べるには、どうしたらいいのでしょう？ 答えは、実行するアプリケーションのタイプに大きく左右されます。完璧なベンチマークはありませんが、[手始めに比べる手段](https://algs4.cs.princeton.edu/faq/)としてはThe Computer Language Benchmarks Gameが適しています。 私は10年ほどthe Computer Language Benchmarks Gameを参照していますが、Java、C#、Go、JavaScript、C++などの他言
VS CodeでPythonするために必要なこと
なお、本稿の内容は基本的に、Windows版のVS Code（64ビット版）で動作確認し、必要に応じてmacOS版でも確認をしている。 VS CodeでPythonする理由 PythonをサポートするエディタやIDE（統合開発環境）は数多く存在する。例えば、JetBrainsのPyCharmは優れたIDEであり、恐らく、VS CodeでできることはPyCharmでもできるだろう。それでもなお、VS Codeを使う理由とは何だろう。筆者もちょっと考えてみた。 VS Codeは無償で使える、軽量なエディタである（上に挙げたPyCharmにも無償で利用できるCommunityエディションはあるし、オープンソースプロダクトとして無償で利用できるエディタも数多いが） Python拡張機能をインストールすることで、IntelliSenseを利用したコード補完が可能になる 同じくPython拡張機能によ
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
Pythonでの数値計算ライブラリNumPy徹底入門
NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python試験・資格、データ分析試験・資格を運営する一般社団法人Pythonエンジニア育成推進協会のページです。 | Pythonの学習の目安と習熟度チェックに試験・資格はいかがですか？
Pythonで日常業務の自動化を実現する解説本「できる 仕事がはかどるPython自動処理 全部入り。」発売 
IPythonの使い方 - Qiita
