A Visual Intro to NumPy and Data Representation
Jay Alammar Visualizing machine learning one concept at a time. @JayAlammar on Twitter. YouTube Channel The NumPy package is the workhorse of data analysis, machine learning, and scientific computing in the python ecosystem. It vastly simplifies manipulating and crunching vectors and matrices. Some of python’s leading package rely on NumPy as a fundamental piece of their infrastructure (examples i
Prophetを使って、30分でコウメ太夫の努力の結果をビジュアライズする。 - Qiita
私はコウメ太夫が比較的好きだ。 彼に遭った最初で最後の機会は、まだ私が小学生の頃。 ショッピングモールで"徒然なるままに書き散らしたコウメ日記"に興じる彼に出会った。 その時のネタは今でも覚えている。 「(チャンチャヵ チャン×2 チャチャンヵ チャン×2)×2 最近目が悪いので。 コンタクトにしてみたら。 自分の頭が禿げてる事を知りました。 チクショウ。」 子供ながらに思った。 「消え去る日は近い」と。 私の直感的予測は当たり、2年もしないまま彼は芸能界の表舞台から姿を消した。 そこから時は流れること十数年、Twitterで不死鳥の如く復活を遂げる彼を目撃した。 彼は2016年3月、何を思ったかチクショーネタを毎日つぶやく、 "#まいにちチクショー"キャンペーンを始動させた。 最初のtweetのいいね数はわずか160台と、始まりは静かだったが、 時間が経つに連れて下記のようなフォロワーが
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
Python: ソケットプログラミングのアーキテクチャパターン - CUBE SUGAR CONTAINER
今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ
Python: ジェネレータをイテレータから理解する - CUBE SUGAR CONTAINER
Python のイテレータとジェネレータという概念は意外と分かりにくい。 今回は、実は深い関わり合いを持った両者についてまとめてみることにする。 というのも、最終的にジェネレータを理解するにはイテレータへの理解が欠かせないためだ。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1036 $ python --version Python 3.6.3 イテレータとは まず、そもそもイテレータとは何者だろうか。 それについて、いくつかの側面から考えてみることにしよう。 使い方から考える 最初は、使い方という側面からイテレータとは何かを考えてみよう。 このとき、答えは「要素を一つずつ取り出すことのできるオブジェクト」になる。 実際に、使い方からイテレータについて見ていこう。
Google Colaboratoryを便利に使うためのTIPSまとめ - karaage. [からあげ]
Google Colaboratoryをもっと便利に使いたい ブラウザさえあれば、環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory（以下Google Colab）」。Windows PC等で手元に適切なPython環境が無い場合や、手元の環境を崩したくないとき、GPUを活用したいときなど幅広く活用しています（詳細は以下記事参照下さい）。 そんな中、よく使うコマンドやTIPS、使いたいときに探すのに時間がかかるのが多いため、一度まとめてみることにしました。 以下に本記事で紹介するコマンドをまとめたGoogle Colabのノートブックのリンクを貼っておくので、こちらも好きにコピーして使用してもらってOKです。 Google Colab Tips集 スペック確認 OS確認 !cat /etc/issue 容量確認 !cat /etc/issu
![Google Colaboratoryを便利に使うためのTIPSまとめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/be3561c36db256ee45ce34bcd68d524b30b639b7/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20181206%2F20181206221739.png)
定番のPython機械学習ライブラリ「scikit-learn」ではじめての学習モデル作成から改善まで (1/3)：CodeZine（コードジン）
本連載ではプログラミングの基本は理解しているが、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語の中でも特にデータ解析環境が整っているPythonをとりあげ、対話型解析ツールやライブラリによるデータ解析の実行・可視化の方法をを解説します。第4回となる本稿ではPythonによる機械学習を解説します。まず機械学習の概観について確認し、Jupyter Notebookとライブラリscikit-learn使った機械学習の手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい方 サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 機械学習の概要 本稿では、実際にPythonでの機械学習に入る前に、機
5ch(旧2ch)をスクレイピングして、過去流行ったネットスラングの今を知る - にほんごのれんしゅう
5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで
[Python] Djangoチュートリアル - 汎用業務Webアプリを最速で作る - Qiita
この記事を元に最小の学習コストでWebアプリを作成する方法を記事にしてみました。 こちらもよろしくお願いします。 [Python] プログラム初心者のためのWebアプリ簡単作成法 この記事について PythonのWebアプリケーションフレームワーク「Django」についてのチュートリアル記事です。 Djangoには定義したデータモデルを元に一覧画面や入力画面を動的に出力する「クラスベース汎用ビュー（class-based generic views）」という仕組みがあります。 これを活用すると単純なCRUD操作（登録・参照・更新・削除）を行うWebアプリを短時間で作成することができます。さらにDjangoのユーザー管理機能を加えてHeroku等のプラットフォームにデプロイすればインターネット上で運用できます。 Djangoのチュートリアルは良質のものがネットで読めますが、クラスベース汎用ビ
![[Python] Djangoチュートリアル - 汎用業務Webアプリを最速で作る - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ef602652061bca5494e41d3fa0b52f71c96457f5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwRGphbmdvJUUzJTgzJTgxJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgyJUEyJUUzJTgzJUFCJTIwLSUyMCVFNiVCMSU4RSVFNyU5NCVBOCVFNiVBNSVBRCVFNSU4QiU5OVdlYiVFMyU4MiVBMiVFMyU4MyU5NyVFMyU4MyVBQSVFMyU4MiU5MiVFNiU5QyU4MCVFOSU4MCU5RiVFMyU4MSVBNyVFNCVCRCU5QyVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YWEyZjc0ZWEzNmYwYTRkMzYzMjU0ZjdkOWQ1MmNkNWU%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBva29wcGU4JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00NzhiNjljNTg3Y2JlN2M4NDQ3NmRmMTEwMjRiMzQzZg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Df61239769560a8a74e96b805bc0657cb)
Python 日本語ドキュメントのお引越し — Elliptium
Python 日本語ドキュメントのお引越し Python ドキュメント日本語訳プロジェクトの翻訳者で管理者の cocoatomo です. Note Python ドキュメント日本語訳プロジェクトは, 常にあらゆる経路でのコントリビュートをお待ちしております. 「訳文の提出」のような直接的だけど労力のかかる貢献の他にも 「誤植報告」「読みづらい箇所を Twitter でつぶやく」 「読んだ感想を Twitter でつぶやく」などの方法があります. 翻訳をしたい方は Transifex から参加申請を, 誤植報告する方は GitHub の issue から issue 登録を, 何かしら Twitter でつぶやく人は @cocoatomo 宛てか, #pythondocja を付けてつぶやいてもらえると嬉しいです. tl;dr 日本語ドキュメントが docs.python.org へお引越し
東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]
新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ
![東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/78e7c0ea2c263bc676ec2c74bae93e76d7853fd9/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180127%2F20180127134253.png)
AnsibleやServerspecより使いやすいサーバ構築・テストツールを作る[FastHandle] - Qiita
2021年3月、FastHnadle2として、作り直しました。 https://github.com/kuritaka/fasthandle2 Python Fabricを使うのではなく、fhコマンドを自作しています。 FastHandleとは FastHandleは、サーバ構築、サーバテストのオペレーションをサポートするツールです。 サーバ構築をより早く、より正確にすることを目指して作っています。 自動化のために、Fabricコマンド、Expectコマンドなどを利用しています。 現状、こんな感じにしようという枠組みはできましたが、まだまだ作成途中です。動かないこともあると思いますが、少しずつ増やして、テストをしていきます。(2018/01/11) 今はLinuxサーバ向けですが、Windowsサーバも検討していきたいと考えています。(2018/01/11) WindowsやVMwareや
![AnsibleやServerspecより使いやすいサーバ構築・テストツールを作る[FastHandle] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a74f9d0ae7bc9fa0e4a6a65eb8716ef17fb3cdb9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QW5zaWJsZSVFMyU4MiU4NFNlcnZlcnNwZWMlRTMlODIlODglRTMlODIlOEElRTQlQkQlQkYlRTMlODElODQlRTMlODIlODQlRTMlODElOTklRTMlODElODQlRTMlODIlQjUlRTMlODMlQkMlRTMlODMlOTAlRTYlQTclOEIlRTclQUYlODklRTMlODMlQkIlRTMlODMlODYlRTMlODIlQjklRTMlODMlODglRTMlODMlODQlRTMlODMlQkMlRTMlODMlQUIlRTMlODIlOTIlRTQlQkQlOUMlRTMlODIlOEIlNUJGYXN0SGFuZGxlJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1hYjNjMmUxOGE1NjBlOTlmY2UzMWM0MTE3MzIwNDk4Nw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWthYWtpX2t1cmloYXJhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xNjFkZGM4M2QxM2Q0NDgwZjc1YmZjNWYzODdmOWY2OQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Daafcd6c20827b29d5a52c8966220ccea)
機械学習初心者が、素早く学べるコンテンツとライブラリ19選（Python編） - paiza times
Photo by Horia Pernea こんにちは。谷口です。 最近「機械学習に興味がある」「いつかやろうと思ってるんだよね……」と言うエンジニアの方をよく目にします。また、その倍ぐらい「機械学習難しすぎて挫折した」という方も見ます。 弊社のITエンジニアにも機械学習を勉強中という人がいますが、特に最初は難しすぎて何から手を付けたらいいのかよく分からず、とても悩んだと言っていました。そこで同じような悩みを抱えている方の参考になればと思い、初心者の頃に参考になった機械学習入門者の方に役立ちそうな記事やスライドを聞いてきました。 また、Pythonには機械学習のためにデータを処理するライブラリ（数値演算をするためのライブラリや図を作成するためのライブラリなど……）がそろっていて、呼び出したり組み合わせて処理したり……といったことがしやすいため、多くの人が機械学習で使っています。コードも短く
みんなのPython第四版 正誤表 | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー オブジェクト指向スクリプト言語Pythonの入門書「みんなのPython 第四版」の正誤表です。誤字でつまづいてしまったりした読者の方には深くお詫びいたします。 誤字や間違いを見つけましたら，お手数ですがご報告いただけると幸いです。Twitter，Facebookなどで報告をお送りいただけます。 第四版初刷の正誤表 帯 誤 : NamPy 正 : NumPy 5ページ 誤 : GoogleのビデオサービスYouTubeは，当初多くの場面でPythonを活用していました。 正 : GoogleのビデオサービスYouTubeは，今でもフロントエンドやAPIでPythonを活用しています。
Djangoの環境をDocker化する（Docker + Django + Gunicorn + nginx）その１ - Qiita
大好きなPython3とDjangoで開発しようと考え、Dockerを使って環境構築をしました。おおよそ1ヶ月(ハマりましたorz)ほどかかりました。そんな惨事を繰り返さないために記録しておきたいと思います。長くなりそうなので、docker-compose.ymlファイルを除く初期設定までを記載します。次回は、docker-compose.ymlを主に記載します。 下記のリンクにて公開しています。 Dockerize Django Environment 環境の詳細 OS 下記の仮想化ツールを利用するため、OS差異による動作差分は発生しない想定です。 仮想化ツール Docker 言語 Python3 フレームワーク Django WSGI Gunicorn Webサーバ Nginx データベース PostgreSQL 依存関係は下記の更新により最新化済み（2021/07/11現在） Upd
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ - Qiita
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri
Unixコマンド”yes”についてのちょっとした話 | POSTD
知っているUnixのコマンドで一番シンプルなものは何ですか？ 例えば echo という、stdoutに文字列を出力し true を返す – すなわち常に0の終了コードで終了するシンプルなコマンドがあります。 シンプルな、と言えば yes もそうでしょう。引数なしで実行すると、改行されたyが無限に出力され続けます。
人工知能(AI)ブームに乗りたい人に切符を提供してみる : 新規事業のつくり方
この記事は、以下の方向けに執筆しています。 ・とにかくAIブームに乗りたい方 ・転職してAI案件に携わりたい方 ・AIに必要な知識だけをざっくり身に付けたい方 関連記事：AI人材になるにはスキルよりまず職種を選択しよう 清水亮さんがAI人材の不足を言われてから、人材不足感は一向に変わっておらず、むしろ不足感が強まっている。企業が本格的に取り組み始めたのに、検証できる人材が誰もいない。データ分析経験があったり、Pythonでnumpyとか少し触れる人が、AI人材として急に売れっ子になるのを何度も見てきたし、その流れはしばらく続くんだと思う。 BIベンダも最近その流れに乗って売り込み始めた。コンサル会社は、AIコンサルと言い始めた。SIベンダは、AIの専門部署をたくさん作り始めた。メーカーもR&D中心にAI人材を採用しはじめてる。 CONNPASSで機械学習と名の付くセミナーはすべて人気で埋ま
iOSアプリ「Pythonista3」でめそ子さんと記念写真を撮れるようにしてみた※追記あり | DevelopersIO
こんにちは。池田です。入社後初の出張では迷子にならず無事に札幌へ戻って来ました。 本日はiOS上にPythonの開発、実行環境を提供してくれるアプリPythonista3（AppStoreで1200円 本投稿公開時点の価格です）を使った画像加工についてご紹介します。 ※友人より本投稿内に掲載しているコードに対してご指摘をいただいたので追記しております。 なお、Pythonista3の操作方法とPythonコードの詳細解説については割愛いたします。ご了承ください。 はじめに Pythonista3とは iOS上でPythonの開発、実行環境を提供するアプリケーションです。 標準でPython2.7とPython3.5の環境が用意されています。 Pythonista3環境の準備 Pythionista3はAppStoreからインストールした直後でも十分なのですが、次の2つを追加することでより強
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonでWebアプリを開発したい人が何を学べばよいか初心者向けに解説してみた - DAINOTE
