pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
BigQuery の ベストプラクティス 〜 2017年度版 〜 - Qiita
この記事はRetty Inc. Advent Calendar 2017 2日目です。 昨日は @bokeneko さんによる 「うわっ…私のリコメンド、ビール多すぎ…？」doc2vecの拡張とリコメンドシステムへの応用 でした。 ということで、みなさん こんにちは。 RettyでSoftware Engineerをやってます@tkngueです。 Retty においては日々の分析業務〜データサービス開発の範囲で BigQueryが利用されています 僕は使い始めてから、およそ半年というところでBigQueryの知見も溜まってきたところで せっかくなのでベストプラクティスを本稿においてまとめてみたいと思います。 Disclaimer: BigQueryの基本的な構文の説明はしません ( クエリリファレンス を参照ください) Standard SQL を利用した BigQueryの説明です。Le
2018年版もっとも参考になった機械学習系記事ベスト10 - Qiita
こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識のアップデートをするのにいい機会だと思いますので、まとめ読みしてみてはいかがでしょうか。 では、スタート！ まずは 2018年にみんなが使った Colaboratory 関連から 1位: 【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/
TerraformでGoogle Compute Engineのインスタンスを追加する - Qiita
概要 Google Compute Engine（Google Cloud Platform上の仮想マシン）のインスタンスは、Google Cloud Platformのコンソールから作成・削除できますが、この記事ではTerraformを使ってインスタンスの作成と削除をします。 Terraformのインストール (Linux) 私はArch Linuxを使っており、Arch Linuxには[community]に、terraformパッケージがあるようです。ですが、このterraformパッケージをインストールして実行してみたところ、バージョンが古いといわれました。 ❯ terraform --version Terraform v0.9.9 Your version of Terraform is out of date! The latest version is 0.9.11. Yo
Cloud Firestore のコレクションを日次で Bigquery にロードする - Qiita
はじめに Cloud FirestoreはFirebase Realtime Databaseの後継であると同時に、Cloud Datastoreの後継でもあるNoSQLのデータベースです。 それらのDBの利用に適していたサービスは、今後Cloud Firestoreの利用を検討していくことになると思います。 現在ベータではありますが、先日のFirebase Summitでアジアリージョンで間もなく利用可能になるというアナウンスもありました。 近いうちにGAになることも期待できるのではないでしょうか。 目的 Firestoreはクエリ機能もありますが、RDBSほど複雑なクエリが実行できないため、 分析のためBigqueryを利用したいケースも多いと思います。 この記事では定期的にFirestoreの内容をBigqueryにロードする方法を紹介します。 全体の流れ Cloud Schdule
最低限知っておくべきネットワーク系コマンド - Qiita
背景 IT未経験から3ヶ月ほど目に先輩より教えていただいた絶対知っておくべきネットワーク系コマンド7選です。 当時はあまり良く理解できませんでしたが(今も正直、、、)その時のメモをもとに再度まとめて見ました。 間違いやそんなの古すぎるわ！と言ったコメント大歓迎です。 対象読者 ネットワーク系のエンジニアじゃない人 Linux触って1,2ヶ月くらいの人 TCP/IPやDNS、HTTPといった概念をなんとなく知ってるレベルの人 取り上げるコマンド目次 dig ifconfig(ip) ping traceroute route tcpdump curl dig - ドメイン名からIPアドレスを知る - 「dig」コマンドはDNSサーバに問い合わせることで、ドメイン名からIPアドレスを調べるコマンドです（逆も可能） 正しく名前解決ができていれば、ANSWER SECTION という項目に goo
[Python] Djangoチュートリアル - 汎用業務Webアプリを最速で作る - Qiita
この記事を元に最小の学習コストでWebアプリを作成する方法を記事にしてみました。 こちらもよろしくお願いします。 [Python] プログラム初心者のためのWebアプリ簡単作成法 この記事について PythonのWebアプリケーションフレームワーク「Django」についてのチュートリアル記事です。 Djangoには定義したデータモデルを元に一覧画面や入力画面を動的に出力する「クラスベース汎用ビュー（class-based generic views）」という仕組みがあります。 これを活用すると単純なCRUD操作（登録・参照・更新・削除）を行うWebアプリを短時間で作成することができます。さらにDjangoのユーザー管理機能を加えてHeroku等のプラットフォームにデプロイすればインターネット上で運用できます。 Djangoのチュートリアルは良質のものがネットで読めますが、クラスベース汎用ビ
![[Python] Djangoチュートリアル - 汎用業務Webアプリを最速で作る - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ef602652061bca5494e41d3fa0b52f71c96457f5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwRGphbmdvJUUzJTgzJTgxJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgyJUEyJUUzJTgzJUFCJTIwLSUyMCVFNiVCMSU4RSVFNyU5NCVBOCVFNiVBNSVBRCVFNSU4QiU5OVdlYiVFMyU4MiVBMiVFMyU4MyU5NyVFMyU4MyVBQSVFMyU4MiU5MiVFNiU5QyU4MCVFOSU4MCU5RiVFMyU4MSVBNyVFNCVCRCU5QyVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YWEyZjc0ZWEzNmYwYTRkMzYzMjU0ZjdkOWQ1MmNkNWU%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBva29wcGU4JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00NzhiNjljNTg3Y2JlN2M4NDQ3NmRmMTEwMjRiMzQzZg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Df61239769560a8a74e96b805bc0657cb)
会議を爆速にする、Visual Studio Code 超便利スニペット集 - Qiita
以前の投稿でVisual Studio CodeとMarkdown Preview Enhanced環境を組み合わせの便利さを紹介しました。 議事メモを作成にマークダウンを使うと、議論が構造化されて表示されるので、非常にわかりやすくなりますね。みなさんもお使いかと思います。本稿では、そこに、更にVisual Studio Codeにマークダウン用のスニペットを登録しておくことを提案します。 出席者の議論をフォーカスさせる図や表がスムーズに呼び出せますので、効率的な会議を行うことができます。そんな爆速会議に便利なスニペットをいくつか紹介します。 以下ではVisual Studio CodeエディタとMarkdown Preview Enhancedプラグインが前提となっております。環境構築には以前の投稿をご参照ください。 1.会議を一気に立ち上げる：議事録スニペット まずは議事録のテンプレー
VSCodeのPython拡張機能が便利になったらしいので試してみた - Qiita
VSCodeのPython拡張機能が更新されたと発表され、Jupyter Notebookの扱いが便利になったようなので確認してみました。 要約 VSCode上でPythonコード(拡張子.py)を#%%の区切り単位で実行できる 実行結果はコードと合わせてJupyter Notebook形式(拡張子.ipynb)で出力できる 逆に既に作成されたJupyter Notebook形式のファイルを#%%で区切られたPythonコードに変換することもできる つまりVSCodeのみでJupyter Notebookの新規作成や既存ファイルの編集を完結させられる 環境 OS : Windows10 (10.0.17134) Visual Studio Code : 1.28.2 VSCodeのPython拡張機能 : 2018.10.1 python : 3.6.6 jupyter : 1.0.0 j
【厳選】Python実務データ分析でよく使う手法（分析手法編） - Qiita
はじめに データ分析実務において、前処理や集計・可視化後によく行う分析手法をまとめました 前処理編とデータ集計・可視化編の続きです ここでいう「実務」とは機械学習やソリューション開発ではなく、アドホックなデータ分析や機械学習の適用に向けた検証（いわゆるPoC）を指します 領域によっては頻繁に使う手法は異なるかと思うので、自分と近しい領域のデータ分析をしている方の参考になればと思います 今回紹介する分析手法 パレート分析 線形回帰 時系列解析（季節成分分解） 時系列解析（時系列データの相関） ランダムフォレストによる特徴量の重要度 1. パレート分析 対象データ：カテゴリカルデータ 用途：各カテゴリの全体に対する構成比率 ケーススタディ：製品カテゴリ別の売上データ（A~H）に対して、各製品カテゴリの売上傾向を把握したい サンプルデータの生成 A = np.repeat('Cat_A', 15
Docker for MacでKubernetes インストールからデプロイまで - Qiita
kubernetesを内蔵したDocker for Macがリリースされたらしいので、試してみた kubectlコマンドでkubernetes-dashboardのデプロイ、docker stackコマンドでmetabaseをデプロイしてみた 2018/01/21追記 docker stackコマンドの例としてopenfassをデプロイしていましたが、動作しない(関数作成できない)のを確認したので、metabaseの例に差し替えました。 環境 macOS 10.13.2 docker 17.12.0-ce(edge) 準備 Docker for Macでkubernetesを起動させる dockerのedgeバージョンインストール https://store.docker.com/editions/community/docker-ce-desktop-mac のページから、edgeバージ
kubernetes初心者のための入門ハンズオン - Qiita
この記事はリクルートライフスタイル Advent Calendar 2016の10日目の記事です。 DEPRECATED! [2020/12/05追記] この記事内のコマンドは現在のバージョンの挙動と一部異なっていたり、説明に不正確な部分があります。 例えば公式のチュートリアルなど、信頼できる情報を参照ください。 https://kubernetes.io/ja/docs/tutorials/kubernetes-basics/ 2019/05/30追記 下記内容は若干の不正確を含みますので、軽く読み流して雰囲気を掴んでいただいたあとは https://qiita.com/Kta-M/items/ce475c0063d3d3f36d5d などご参照いただくとよいかと思います。 こんばんは 「sshするときの-p 443ってなんの数字ですか？」ぐらいの素人がインフラ周りを担当し8ヶ月、kub
[MacOS Mojave]pyenvでpythonのインストールがzlibエラーで失敗した時の対応
先日、macOS High SierraからmacOS Mojave 10.14にOS更新かけました。 その後pyenv 1.2.7で新しいpythonバージョンをインストールしようとすると、よくあるzlibエラーが出るようになりました: 180930202414.28657/Python-3.6.0/Lib/ensurepip/__init__.py", line 27, in _run_pip import pip zipimport.ZipImportError: can't decompress data; zlib not available make: *** [install] Error 1 High Sierra以前ではこれは基本的にxcode-select --install で直せたが、Mojaveではそう上手く行かないようです。 また、brew install zl
![[MacOS Mojave]pyenvでpythonのインストールがzlibエラーで失敗した時の対応](https://cdn-ak-scissors.b.st-hatena.com/image/square/d98f99230184763317f7104390c3eda9226d33d7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTWFjT1MlMjBNb2phdmUlNURweWVudiVFMyU4MSVBN3B5dGhvbiVFMyU4MSVBRSVFMyU4MiVBNCVFMyU4MyVCMyVFMyU4MiVCOSVFMyU4MyU4OCVFMyU4MyVCQyVFMyU4MyVBQiVFMyU4MSU4Q3psaWIlRTMlODIlQTglRTMlODMlQTklRTMlODMlQkMlRTMlODElQTclRTUlQTQlQjElRTYlOTUlOTclRTMlODElOTclRTMlODElOUYlRTYlOTklODIlRTMlODElQUUlRTUlQUYlQkUlRTUlQkYlOUMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTIxYzcwOWFlOWY3OGMyZDMzOTRjZWUwNDc4NzhhMGZl%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwenJlYWN0b3ImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTY0NzQxOWQ4NDIwMDhiMTUxZTc4OWU2ODAwZjY3M2Nl%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D4983e71bf0252f2a7da2814de0e4dc95)
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER
【保存版・初心者向け】僕が本気でオススメするPythonと機械学習の良書12選
※実際記事で紹介する書籍は12冊ですが、メンバーが借りてオフィスになかったため、上記画像内に3冊ないものがあります。 はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 6ヶ月ほど前に書いた下記記事は約1200のいいねと7万viewsを超える記事になりました。 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 お読み頂いた方々、またいいねして頂いた方々ありがとうございました！ あれから6ヶ月ほど経ちまして、さらにPythonや機械学習の書籍が増えて参りましたので、改めて初心者向けにPythonと機械学習の良書12選を紹介し、初学者が独学でも機械学習プログラミングの基礎スキルUPに貢献できたらと思います。 また、AIプログラミングを作りながら学べるプログラミング学習サービスAI Academyを無料でご利用頂けますので
学習率の決め方 -LR range testとCyclical Learning Rate-
本記事について 本記事では、Deep Learningを用いた学習の要となる学習率の決め方、また学習率更新関数の決め方ご説明します。 これから説明する方法は、米国で数多の機械学習エンジニアを輩出している学習講座 fast.ai に取り入れられている手法で、その手法はDeep Learningフレームワークに導入、または導入検討されているものです。 この学習率決定法・更新関数は導入が簡単な割に、精度が数％上昇したり既存の精度までに到達する学習時間(Epoch数)が半分以下なるため、取り入れないのはもったいないと思いから記事にしました。 この記事は fast.ai 及び 論文『Cyclical Learning Rates for Training Neural Networks』を参考しにしています。 初期学習率の決め方: LR range test LR range testとは 初期学習
BigQuery vs Athena vs RedShift vs Hive - Qiita
オブジェクトストレージの料金 お金は大事ですね． まずはストレージの料金から比べます． 料金は各種操作にかかりますが，特にドミナントなのはストレージ代と転送量だと思うのでこれ以外はめんどくさいのでスルー． 料金系は変動が激しそうなので，まずリンクを貼ります． S3 GCS とりあえず検証時点では，こちらの想定するデータ量で以下の通りでした． (東京リージョン) S3 Storage料金: $0.025 / GB 転送料金: $0.14 / GB GCS Storage料金: $0.023 / GB 転送料金: $0.14 / GB よっぽどデータが大きくない限り大した差にはならないので，決め手にはならないでしょう． 後日談の方でも少し述べますが，ストレージの機能としては若干S3の方が優れている気がしたので，若干高いのもまぁ妥当だと思います． 料金 こちらもまずはリンクを. Athena R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraformを使い、Azureのインフラ構築してみた - Qiita
Amazon Linuxでmonitを使ってカジュアルにプロセス監視する！ - Qiita
awkでcsvのカラム数を確認 - Qiita