Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい
TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ
Golangで簡単なweb backendを書いた - Qiita
経緯 僕、普段はPythonとDjangoを使って 引きこもりしつつ飛び上がり自殺を考えながら 独自にwebアプリを書いているのですが、最近ではRailsでもSinatraでもFlaskでもDjangoでもPyramidでもなく、Goとそのフレームワークを使ってバックエンドコードを書いている(ように見える)ウェブアプリが見られます。 Goは並列処理がお得意な言語ということでよく知られていますが、今回、実際にGoでコードを書いてみて分かった事をまとめてみました。 書いたコード Go言語そのものを考えるために結構前に書いたやつ Ginを使って簡単なJSONを出力するため、結構前に書いたやつ GQLGenを使って認証機能を書いた 使ったフレームワーク 標準ライブラリ chi Gin Gorm GQLGen JWT 分かったこと Go言語そのものについて Go言語それ自体は並列処理が言語機能の一つ
API Blueprintで書いたWeb APIをdreddでテストする - Qiita
前々回：API BlueprintでWeb APIのドキュメントを生成する - Qiita 前回：API Blueprintとapi-mockでモックサーバを作成する - Qiita 概要 さて、今回はAPI Blueprintを使って作成したWeb APIがドキュメント通りに動作するかを、dreddを使ってテストします。 dreddとは dreddはAPI BlueprintをベースにしたWeb APIのテストフレームワークです。"Language-agnostic"と謳っているだけあってテストのフックにはnode.js以外にもgoやPython、Rubyなど多様な言語が利用でき、またCircleCIやJenkinsCIなどのCIのサポートもあります。 このように、API Blueprintのエコシステムに乗っかることによって、API Blueprint形式で書いた仕様からaglioを使
【Python】🍜機械学習で「隠れた名店」を探してみた。（そして実際に行ってみた）🍜 - Qiita
１.簡単な概要 この記事では都内ラーメン屋の食べログ口コミを使って隠れた名店をレコメンドで発掘するやり方を解説していきます。 私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。 行き場をなくしたラーメン熱を発散すべく**機械学習でラーメンレコメンド（隠れた名店をレコメンドで発掘）**に挑戦してみることにしました。 今回は、集大成として、Word2vecでモデリングしたmodelを使って隠れた名店をガチで発掘し、実際にそのお店に行って確かめるところまでやります！ 有名店のラーメンに対して類似度が高いラーメン店を探すイメージです。 techgymさんのブログに掲載いただきました！ありがとうございます。 【人工知能の無駄遣い?】AIプログラミングの面白記事をまとめてみました
【Python】🍜ラーメンガチ勢によるガチ勢のためのWord2vec（食べログ口コミコーパスの威力を検証してみた）🍜 - Qiita
#１.簡単な概要 この記事では都内ラーメン屋の食べログ口コミを使ってWord2vecでモデル構築するをやり方を解説していきます。 私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。 行き場をなくしたラーメン熱を発散すべく機械学習でラーメンレコメンド（隠れた名店をレコメンドで発掘）に挑戦してみることにしました。 今回は、スクレイピングで取得した口コミを学習データとしてWord2vecでモデル構築を行います。 世の中に食べログ口コミデータでモデリングする記事はいくつかありましたが、 ラーメン屋の"名店の口コミのみ"でモデル構築 をやっている前例が見当たらなかったのでやってみました。 本記事ではword2vecでおなじみの 「王様」ー「男」＋「女」＝「女王」 を**ラーメン
不動産価格分析とモデルの作成とクローム拡張 - にほんごのれんしゅう
序 機械学習で不動産を予想する意味 特徴量から重要度を知ることができる EndUserにとって嬉しいことは？ 線形モデルならばChrome ExtentionなどJavaScriptなどにモデルを埋め込むこともでき、意思決定の補助材料などとして、不動産の情報の正当性を推し量る事ができる 管理会社にとって嬉しいことは？ 特徴量の重要度が明確にわかるため、設備投資戦略をどうするか、異常に値段がずれてしまっている案件の修正などに用いることができる データを集める ダウンロード済みのデータはこちらLink モデルを検討する ElasticNetを利用 ElasticNetはL1, L2の正則化をあわせた線形モデルで、オーバーフィットを強力に避けて、予想するアルゴリズム 1 / (2 * n_samples) * ||y - w*x||^2 + alpha * l1_ratio * ||w|| +
GitHub - yoyoyo-yo/DeepLearningMugenKnock: でぃーぷらーにんぐを無限にやってディープラーニングでDeepLearningするための実装CheatSheet
2020.5.3 Sun [pytorch] CycleGANを追加 2020.4.3 Fri [tf.keras] pix2pixを追加 2020.3.27 Thu [tf.keras] Style Transferを追加 2020.2.25 Tue [Pytorch] WGAN-GPを修正 2020.1.1 [Pytorch] EfficientNetB1~B7を追加 2019.12.30 [Pytorch] EfficientNetB0を追加 2019.12.23 Chainerのサポートが終了したらしいので、PytorchとTensorflowに絞っていきます 2019.12.23 [Pytorch] 可視化 Grad-CAMを追加 2019.11.23 [Pytorch] 言語処理・会話生成のHREDを追加 2019.11.19 [Pytorch] 画像生成のWGAN-GPを追加
画像処理100本ノックを作ったった - Qiita
画像処理が初めての人のための問題集をつくったりました。（完成！！） 研究室の後輩用に作ったものです。 自然言語処理100本ノックがあるのに、画像処理のがなかったので作ってみました。 あくまで趣味ベースで作ったものなので、プルリクエストは受け付けてますが依頼などは一切受け付けません そこをご理解頂けた方のみご利用下さい 画像処理の基本のアルゴリズム理解につながると思います。 pythonのnumpyの練習にもなると思います。(2019.3.8 C++もつくってますーー） ぜひぜひ下のgitをやってみてください。 [HP]https://yoyoyo-yo.github.io/Gasyori100knock/ [Git]https://github.com/yoyoyo-yo/Gasyori100knock ★追記 2020.5.8 環境構築の手間をなくすために、Google Colabに修正
Google Colaboratoryを便利に使うためのTIPSまとめ - karaage. [からあげ]
Google Colaboratoryをもっと便利に使いたい ブラウザさえあれば、環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory（以下Google Colab）」。Windows PC等で手元に適切なPython環境が無い場合や、手元の環境を崩したくないとき、GPUを活用したいときなど幅広く活用しています（詳細は以下記事参照下さい）。 そんな中、よく使うコマンドやTIPS、使いたいときに探すのに時間がかかるのが多いため、一度まとめてみることにしました。 以下に本記事で紹介するコマンドをまとめたGoogle Colabのノートブックのリンクを貼っておくので、こちらも好きにコピーして使用してもらってOKです。 Google Colab Tips集 スペック確認 OS確認 !cat /etc/issue 容量確認 !cat /etc/issu
![Google Colaboratoryを便利に使うためのTIPSまとめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/6bba6138e59d67a36e29d7db05583cd7ace8e239/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F8c2f47e09c0365a620c17e1de95ddb5c6b3ebe85%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20181206%252F20181206221739.png)
Pythonで見つけたヤフオクの闇、１円スタートのからくり - sakapunのブログ
スノーボードを少しでも安く買いたかった そこで目を付けたのがヤフオクで開催されている１円スタートのスノボである 終了直前までの価格をみていると結構お得に買える！と、思っていた 少しの間、１円商品のスタートを見ていると入札されている価格帯が同じだということに気づいた だとすれば自分もその価格帯付近で入札すれば買えるんじゃないかと思い、価格帯を調べることにした 最近スクレイピングではPythonを使う NodeJSだと非同期を少しでも考えるのが嫌なので、できるだけ使いたくない 実行環境はColaboratoryを用いた スクレイピングして表形式で出力したいだけだからだ 簡単にPythonの実行環境にできるのでスゴイおすすめである colab.research.google.com スクレイピングには定番のBeautiful Soupを使って集計するコードを書き始め、できた結果が下記のようなコー
脱・とりあえず動く[DRF JWT編] - Qiita
課題 「業務で使っているけど、よく知らない。けどとりあえず動いている」ということが非常に多いので、調べたこと、試したことをまとめていこうと思います。 今回はDjango REST framework JWT編です。 そもそもJWTって？ 参考 https://tools.ietf.org/html/rfc7519 https://jwt.io JSON形式で認証・証明するための仕様 Header.Payload.Signatureからなる Headerにはトークンの情報と暗号化の情報、Payloadにはエンティティ(ユーザー)の情報、Signatureには署名が入っている これらをくっつけて暗号化したものを渡す 流れとしては、 ログイン成功するとサーバーからJWTが返される 以降、リクエストのAuthorizationに受け取ったJWTを含めると、制限されている処理が許可される DRFでど
![脱・とりあえず動く[DRF JWT編] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/06426c373c5466e76ae66bcd381eb9412b8f815e/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjkyNTAwJTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM5MTA2NDIyP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hODlmMGYwNTA1YzVjNzRjYjViNjRkNTA0Zjc3ZGNiNw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D8deac1a33dcb0cb1c3b64c2b090f922b%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JUU4JTg0JUIxJUUzJTgzJUJCJUUzJTgxJUE4JUUzJTgyJThBJUUzJTgxJTgyJUUzJTgxJTg4JUUzJTgxJTlBJUU1JThCJTk1JUUzJTgxJThGJTVCRFJGJTIwSldUJUU3JUI3JUE4JTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YjRkZWIzNTBlOGI3ZTgxOGFmZGE0NTIzYTI2OGU2NmU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrYXJpbnRvdSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTU1ZTM3NDg4OTM3N2FjMWNkOTRkZWMwNzZhMWUzMGZi%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Da7d7eaafaebe38da1f6b95954481bdc7)
best-python-framework-2018
先日、こんな記事を書きましたが、とても好評で 調子に乗って、Pythonのフレームワークの比較も書きたいと思います！しかも2018年最新版という位置付けで書きます！ PythonのFlaskフレームワークでWebを作る！ では、始めましょう！ Django Official Website | GitHub | PyPI | Awesome 特徴メモ DjangoはPythonのフレームワークでも最も有名なフレームワークです。 Pythonのウェブフレームワークと言ったらDjangoが定番と言って良いでしょう。 Flask Official Website | GitHub | PyPI | Awesome 特徴メモ FlaskはPythonのWebアプリケーションフレームワークです。 マイクロWebフレームワークの中でも人気のフレームワークです。中規模以上の開発にも対応しているということ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Catching phishing before they catch you
GitHub - x0rz/phishing_catcher: Phishing catcher using Certstream
venvで環境構築 - Qiita
JupyterからShodanのAPIにアクセスする - Qiita
Pythonista3でインフラエンジニアリング5選 - Qiita
SHODAN - Qiita
GitHub - CaliDog/certstream-python: Python library for connecting to CertStream
GitHub - FavioVazquez/ds-cheatsheets: List of Data Science Cheatsheets to rule the world
