Pythonのインデントは何が正解なのか、BigQueryで調べてみた - Qiita
これは誰が得をするのかわからないエントリーですが、コーヒーブレイクにどうぞ。 発端その1：Pythonのコードスタイル PythonのコードスタイルといえばPEP8が有名です。スタイルチェックにこれを利用している方も多いのではないでしょうか？こちらでは、インデントに半角スペース4つ使う事がルールとなっています。 Use 4 spaces per indentation level. さて、ところがこの半角スペース4つって、ちょっと幅を取りすぎな感じがしないでしょうか？でも天下のPEP8で規定されているので、勝手に数を減らすとPython警察が出動しそうです。ここはこちらの意見をサポートする事例が必要です。 Chromium Python Style Guideは、Chromium OSにコントリビュートするときに使われるスタイルガイドです。こちらのインデントはどうでしょうか？ Indent
直近１年のQiita記事分析で分かった７つの「驚愕」 - Qiita
背景 Qiita殿堂入り記事ランキングを作った物語のつづき。 前回の投稿は以下を参照： Qiita殿堂入り記事ランキングを作った物語 今回は、その第二の目的、記事の分析結果についてお伝えする。 全部の分析が済んでから公開する予定だったが、 途中段階でもかなり興味深い結果もあったため、 データ取得時から日数がたって鮮度が落ちないうちに公開したいと思った。 本投稿の内容 直近１年＝2017年6月～2018年5月の投稿とする。 過去記事の方が、平均いいね値が数倍高くなる傾向を、前回述べた。 ご参考： Qiita殿堂入り記事ランキングを作った物語 2018年5月いいね平均＝ 6.9 2017年6月いいね平均＝ 8.1 （ここまでの期間を対象） 2016年6月いいね平均=15.6 (仕様変更も影響.。もっと前はより差が大きい） そのため、あまり長期間にわたっての分析は望ましくない。 また、技術の
Jupyter/Pythonでデータ分析する人にお勧めしたい！便利なライブラリー「PixieDust」をザクッと紹介します - Qiita
Jupyter/Pythonでデータ分析する人にお勧めしたい！便利なライブラリー「PixieDust」をザクッと紹介しますPythonSparkpandasVisualizationJupyter はじめに こんにちわ！石田です。皆様、「PixieDust1 」ってPythonライブラリー、ご存知ですか？昨年出て超便利なのに、なぜか日本ではぜんぜん知られてませんッ2。日本語の記事はQiitaの「これ」くらい。。 Plotlyやipywidgetでシコシコ書くよりぜんぜん楽だし守備範囲も広いので、「このまま埋もれさせるのはモッタイナイ！」と思ってご紹介の記事を書きました。一番ウケそうな「インタラクティブなチャート・ウィジェット」については別記事「Jupyter/Python上でたった3行でインタラクティブなチャート・ウィジェットを作れる！PixieDustを触ってみた」にHow-To含め書き
AWS Glue と SQLのみで、サクッとETL（Extract、Transform、Load）するJobを作成する | DevelopersIO
AWS Glue と SQLのみで、サクッとETL（Extract、Transform、Load）するJobを作成する はじめに AWS Glueは、指定した条件に基づいてPySparkのETL（Extract、Transform、Load）の雛形コードが自動生成されますが、それ以上の高度な変換は、PySparkのコードを作成、デバックする必要があります。これには AWS Glue の DynamicFrame や Apache Spark のコード作成、デバックのノウハウが必要になります。今回はAWS Glueを利用するハードルを一気に下げられるように、SQLのみでサクッとETL（Extract、Transform、Load）する実現する方法、Jobを作成する方法をご紹介します。 AWS GlueのETLによるSQL中心アーキテクチャの実現 AWS Glueは、指定した条件に基づいてPy
PostgreSQLとcupyを繋ぐ～機械学習基盤としてのPG-Stromその①～ - KaiGaiの俺メモ
世間の機械学習屋さんは、機械学習・統計解析のライブラリにデータを食わせる時に、どうやってデータを入力しているのだろうか？ 話を聞くに、データを一度CSV形式に落とし込んで、それをPythonスクリプトで読み込むというパターンが多いようではある。 ただ、ある程度大量のデータセットをCSVファイルで扱うようになると、いくつか問題点が露わになってくる。 解析すべきデータセットを切り替えるたびに異なるCSVファイルを用意する事になり、ファイルの取り回しが煩雑である。 前処理をかけた後のCSVファイルがまたできてしまい、ファイルの取り回しが更に煩雑になってくる。 最終的にCSVファイルの所在が誰にも分からなくなってしまい、機械学習・統計解析の元になったファイルが散逸してしまう。 そもそも、GB単位のフラットファイルをシェル上でコピーしたり読み込ませたりするのはそれなりに時間を要する処理である。 デー
Elixir＋Keras＝手軽に高速な「データサイエンスプラットフォーム」 ～Flowでのマルチコア活用事例～ - Qiita
この記事は、「Elixir Advent Calendar 2017」の25日目です Merry Xmas!（実に1日遅れですが…） Elixir Digitalization Implementors／fukuoka.ex／kokura.ex の piacere です ご覧いただいて、ありがとうございます 私は普段、福岡のスタートアップ企業のCTOとして、「ビッグデータ分析＋AI・ML開発の統括」と「Elixir・Phoenix／Kerasリードプログラマ」をしながら、福岡Elixirコミュニティ「fukuoka.ex」のMeetUp（偶数月定期開催）やプログラミング入門ハンズオン、もくもく会を主催しています ちょうど先週末、「fukuoka.ex #4 ～ Elixirのビッグデータ分析～」というテーマでMeetUpを開催したので、そこで扱ったセッションの一部をコラム化してみようと思い
Matplotlib Object Model - steps to phantasien
Matplotlib を使ったコードを写経しようとしたが 10 行くらいで発狂しそうになる。この API, 眺めてるときからクソだと思ってたけれど自分で書くのは更に苦痛。耐えられませぬ... しかし今回は high level な API に逃げないと決めているので、なんとかこの人たちの気持ちを理解しようと公式のドキュメントを読んでみる。と、一定程度理解が深まり殺意も和らいだのでみんな読むと良いよ、という話。 まず Introduction から。「表面的には Matlab インスパイヤな API だけれど中は割と object oriented だよ」という。かすかな希望を抱いて次に Introductory Tutorial を一通り眺める。それから Artist Tutorial を読む。 わかること: Matplotlib の API 呼び出しは、内部の DOM みたいなのを構築し
SCOUTER開発者ブログ
2024-04-29 CSSってどんな勉強をしたらいいの？おすすめの勉強法3選！ 文字やタブなどWebサイトのデザインを作成するマークアップ言語がCSSです。 CSSを勉強すると、おしゃれなWebサイトやかっこいいWebサイトが作れるようになります。 また、Webサイトを作るときに必要なHTMLを理解するのにも役立ちます。 CSSを勉強するならできるだけ効率よく勉強できるようになりたいですよね。 ではCSSの勉強法はどのようなものがあるのでしょうか。 CSSの勉強法は、スクール […] 2024-04-29 WEBエンジニアから見たXserverの使い勝手と評判 レンタルサーバーのおすすめサイトを見ると、大体どこでも上がってくる有料のレンタルサーバーの一つに「Xserver」があります。 このXserverとは、どのようなサーバーで、サービスにはどのようなものがあるのか。 ホームページ関連
pandasで任意の位置の値を取得・変更するat, iat, loc, iloc | note.nkmk.me
pandas.DataFrameの任意の位置のデータを取り出したり変更（代入）したりするには、at, iat, loc, ilocを使う。at()ではなくat[]のように記述する。 pandas.DataFrame.at — pandas 2.0.3 documentation pandas.DataFrame.iat — pandas 2.0.3 documentation pandas.DataFrame.loc — pandas 2.0.3 documentation pandas.DataFrame.iloc — pandas 2.0.3 documentation 位置の指定方法および選択できる範囲に違いがある。 位置の指定方法 at, loc: 行名（行ラベル）、列名（列ラベル） iat, iloc: 行番号、列番号 選択し取得・変更できるデータ at, iat: 単独の要素の
XKCD-style plots in Matplotlib | Pythonic Perambulations
from IPython.display import Image Image('http://jakevdp.github.com/figures/xkcd_version.png') Sometimes when showing schematic plots, this is the type of figure I want to display. But drawing it by hand is a pain: I'd rather just use matplotlib. The problem is, matplotlib is a bit too precise. Attempting to duplicate this figure in matplotlib leads to something like this: It just doesn't have the
手書き風グラフを支える技術 -Matplotlibのxkcd関数とFIRフィルタ- - drilldripper’s blog
Pythonのグラフ描画ライブラリのMatplotlibには、手書き風のグラフを描画するための関数xkcd()があります。以下のソースコードを実行すると、手書き風のsinグラフが描画されます。 from matplotlib import pyplot as plt import numpy as np plt.xkcd() # この関数を実行すると、次のグラフが手書き風グラフになる plt.plot(np.sin(np.linspace(0, 10))) plt.title('Handwriting sin graph') plt.show() 温かみがあっていい感じですね。 このような手書き風グラフは、関数の名前にも使われているxkcdというサイトの画像をリスペクトしたものです。 xkcd: Color Pattern 理系的なネタが多く、エンジニアの間でもよく話題になります。また海外
pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments
概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas の Remote Data Access で WorldBan
Python使いのためのBigQuery連携 - Qiita
PythonとBigQueryのコラボ データ分析を行う上で、PythonとBigQueryの組み合わせはなかなかに相性がよいです。 Pythonは巨大すぎるデータの扱いには向いていませんが、その部分だけをBigQueryにやらせてしまい、データを小さく切り出してしまえば、あとはPythonで自由自在です。 問題はPythonとBigQueryをどう連携するかですが、これは大きく2つの方法があります PythonのBigQuery連携ライブラリを使う Google Cloud Datalabを使う 2は特にJupyter Notebookを使い慣れている人におすすめです。 1.PythonのBigQuery連携ライブラリを使う オススメのライブラリ PythonからBigQueryを叩くためのライブラリはいくつかあります。 例えば、BigQuery-Python、bigquery_py な
pandasからBigQueryを扱う - Qiita
pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) google-api-python-client 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられたアカウントと対応する private key がない場合は作成しておきます。 Google Cloud Platform の「IAMと管理」のメニューから「サービスアカウント」を選択 「プロジェクトを選択」から対象のプロジェクトを選択 「サービスアカウントを作成」でアカ
【Python】t-SNE による Fashion-MNIST の可視化 |
最近公開された Fashion-MNIST データセットに対して t-SNE を試しました。環境は以下です。 macOS 10.12.6 CPU Core i5 1.6 GHz メモリ DDR3 8GB Python 2.7.13 SNE (Stochastic Neighbor Embedding) [1] は非線形次元削減の手法。サンプル間の類似度を条件付き確率で表現する。例えば, ある点 i から別の点 j との類似性は i を中心とするガウス分布で定義される i の近傍の中で見つかる j の条件付き確率 p(j|i) とする。全てのサンプルについて p(j|i) を求めた上で, 高次元空間上での i, j 間の類似度を pij とする。次元削減前後での条件付き確率の誤差を最小化 (なるべく確率分布が一致) するように勾配法で最適化する。分布間の近さを表す尺度として KLダイバージェ
テキストに含まれた情報を有向グラフに変換する話（一）：可視化の章 - Qiita
こんにちは。理系大学院で修業中のスーパーケロケロです。趣味で自然言語解析（NLP）の勉強をしています。最近、テキストに含まれた情報を有向グラフに変換するPythonライブラリーnaruhodoを作ったので、ライブラリーの紹介も兼ねて、テキストを有向グラフに変換する話を少ししてみたいと思います。 naruhodoのGithubリポジトリはこちら、最新バージョンはです。 自然言語解析の流れ 自然言語解析を料理に例えれば、入力されたテキストは収穫待ちのコムギのようで、そのままでは使えない。このコムギを形態素解析で脱殻し（形態素単位で分離）、さらに词类（Part-Of-Speech）や依存構造解析で小麦粉にしてから（文法情報の付与）、ようやくパンのような美味しい食べ物が作れる（実際の応用）。 テキストが処理されるごとに、使える情報が増えて、応用の幅が広げるわけです。 文＝＞木、文章＝＞有向グラフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - CannyLab/tsne-cuda: GPU Accelerated t-SNE for CUDA with Python bindings
GitHub - vispy/vispy: Main repository for Vispy
GitHub - laughingman7743/PyAthenaJDBC: PyAthenaJDBC is an Amazon Athena JDBC driver wrapper for the Python DB API 2.0 (PEP 249).
gensimのword2vecの結果を手軽に可視化する方法 | CloudAdvisor
