どこまで速くできる？ 達人に学ぶPython超高速データ分析～PyData.Tokyo Meetup #4イベントレポート
PyData.Tokyoは「Python＋Dataを通じて、世界のPyDataエクスパートと繋がれるコミュニティーを作る」ことを目的として設立され、これまでに勉強会3回およびチュートリアル1回が開催されました（過去のイベントのリスト）。4回目の勉強会となる今回は「データ解析アルゴリズムの高速化」をテーマに、株式会社ブレインパッドの佐藤貴海さん（@tkm2261）とシルバーエッグ・テクノロジー株式会社の加藤公一さん（@hamukazu）の2人に話していただきました。 登壇者のレベルの高い講演に加え、ヤフー、日本IBM、NTTデータ、AWS、Gunosy、Preferred Networksなど、第一線で活躍されている非常に質の高い聴講者にも参加いただき、大変充実した会になりました。 Pythonは書きやすい言語仕様と豊富なライブラリが特徴で、手軽に複雑なデータ分析を行えますが、他言語と同じ感
PandasとNumPyの違いと使い分け方
PandasとNumPyとの違い NumPyは計算が速い Pandasは扱うデータが幅広い PandasはSQLと似た操作が揃っている Pandasは集計関数などの統計処理に強い Pandasは時系列データに強い Pandasは様々なインタフェースとの互換性を持つ 実際のデータ分析での流れ データの可視化の比較 計算速度の比較 違いのまとめ PandasとNumPyの互換性 NumPy→Pandas Pandas→NumPy まとめ Pythonでデータサイエンスをしている人は必ずと言っていいほどPandasとNumPyを使用していると思います。Pandasは、NumPyを利用してさらにAPIを拡張し、使いやすくしたものです。 本記事では PandasとNumPyの違い PandasとNumPyのデータ型の変換方法 について解説します。 PandasとNumPyとの違い PandasとNu
PandasをDaskで簡単に並列処理して高速化しよう | CCT-recruit
こんにちは、エンジニアのtetsuです。 Pandasでデータを処理しているときに、ここを並列計算させたら早くなりそうなんだけどなぁ、と思うことはありませんか？もしかしたら、Daskを使うことで望みの並列計算がおこなえるかもしれません。今回はDaskでのPandasのapplyの並列化の例を示していきます。 Daskとは？ Daskとは並列計算やOut-Of-Coreの処理が簡単にできるpythonのライブラリです。NumPyやPandasのデータを扱うことができますが、Dask内ではこれらのデータを分割して処理をおこなうことで、並列化を実現しています。 インストールは簡単で、pipで次のようにおこなえます。Anacondaにはデフォルトで入っているので、Anacondaを利用している場合にはインストールは不要です。
[CSS]外部スタイルシートの指定は@importとlinkでどちらがいいか
外部スタイルシートの指定は@importとlinkでどちらがいいかと、書籍「ハイパフォーマンスWebサイト ―高速サイトを実現する14のルール」の@importはパフォーマンスに悪影響を与えることについてのフォローアップを紹介します。 don't use @import 内容は、IEでは@importで外部スタイルシートを指定すると、パフォーマンスに悪影響を与えるので使用しないでください、というものです。 下記は、外部スタイルシートを@importとlinkを組み合わせて、それぞれのパフォーマンスを比較したもので、キャプチャはそのサイトのものと、参考に当環境でIE7/Fx3(XP)を検証したものです。 @import @import 2つの外部スタイルシートを@importで指定。 <textarea name="code" class="html" cols="60" rows="5">
2行でJavaScriptを高速化する方法 - rand's
id:amachangさんの 一行で IE の JavaScript を高速化する方法 - IT戦記 に対して、id:uupaaさんが http://d.hatena.ne.jp/uupaa/20081230/1230604575 でIE以外でも使える色々な方法を提案なさっています。でも、 「正直documentを_docに置き換えるの面倒＞＜」 そこで、たかがreplace(/document/g, '_doc')の手間を惜しむ皆様のために用意した、2行でJavaScriptを高速化する方法がこちら： script全体を(function(document){と})(document)で囲む これだね！ ベンチマーク uupaaさんの記事にあるB系のソースを使わせていただきました。 ブラウザ B0 B1 B2 B3 B4 B5 b6 IE 6 10281 4938 10844 4672
Chromeはなぜ速いのか － ＠IT
Chromeの動作が圧倒的に速いように感じている。Chromeがリリースされた当初、それがなぜなのかよく分からなかった。グーグルだけにできて、ほかのWebブラウザ開発者にできないことなどあるように思えないが、それにしてはあまりに速いように感じたからだ。 その疑問のほとんどは、Chromeのオープンソースプロジェクト版「Chromium」の公式ブログの解説で氷解した。ブログを読んで分かったのはグーグルのエンジニアたちが信じられないほどのスピード狂であることと、そのスピードへのこだわりには2種類の“スピード”があることだ。 1つは処理速度、もう1つは応答速度だ。特に後者、ユーザーをできるだけ待たせない、イラつかせないということに対する徹底したこだわりは、すさまじい。その背後には「スピードとは、つまりお金だ」という洞察があるようだ。 0.5秒の遅延でユーザー離れ グーグル創業約1年後の1999年
uessay: パソコン作業を華麗にスピードアップ(100tips)
今年も残すところわずかですね。 忙しくなって同僚にExcelでの単純作業を手伝ってもらおうとした。そしたら、彼は数千行ものデータをマウスで延々と引っ張って選択してたので、Ctrl＋矢印で一発だよ、と教えたら、なんだか感謝された。 だからというわけじゃないけど、僕自身もパソコンで単純作業が続く時期なので、息抜きに自分が使ってるスピードアップ技を100個を目標に書き出してみることにしました。ショートカットを何でもかんでも列挙するのではなく、実際に効果を生んでるものに絞って。あ、あくまで対象はWindows XPです。 ●使えるスタートメニュー 01.Windows＋Rで「ファイル名を指定して実行」を呼び出す 02.「ファイル名を指定して」でnotepadと入力しメモ帳を起動 03.「ファイル名を指定して」でcalcと入力し電卓を起動 04.「ファイル名を指定して」でURLを入力しgmailなど
MOONGIFT: ? サイトのパフォーマンス向上を目指そう「YSlow」:オープンソースを毎日紹介
AjaxやCSSや様々なJavaScriptライブラリによって、サイトが豪華になっていく反面、全体的なシステムパフォーマンスは急激に悪化している。JavaScript等で、このサイトは重いなと感じる事が少なからずあるはずだ。 便利な機能を提供する限り、これは変えられないのだろうか。いや、そんな事はない。変えるべきポイントは幾つも存在する。それを的確にアドバイスしてくれるのがこのツールだ。 今回紹介するオープンソース・ソフトウェアはYSlow、Firebugと連携するパフォーマンスチェッカーだ。 YSlowはYahoo! Inc.により開発、提供されているソフトウェアで、FirefoxのアドオンであるFirebugと連携して利用する。パフォーマンスを改善したいサイトにアクセスし、YSlowのアイコンをクリックすれば良いだけだ。 チェックされる項目はHTTPリクエストの数、Gzip圧縮されてい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新MBAは『MacBook Pro』より高性能
更新があるシステムにはInnoDBを選ぼう。MyISAMを選択するならそれなりの理由が必要。それにInnoDBのパフォーマンスはそんなに悪くないよ。 || パフォーマンスチューニングBlog: インターオフ