最近見つけたクールなPythonライブラリ6選 - Qiita
機械学習のためのすごいPythonライブラリ Image by Free-Photos from Pixabay はじめに Pythonは機械学習に不可欠な要素で、ライブラリは作業をより単純にしてくれます。最近、MLのプロジェクトに取り組んでいる時に、素晴らしいライブラリを6つ見つけました。ここでは、それを紹介します。 1. clean-text clean-textは本当に素晴らしいライブラリで、スクレイピングやソーシャルメディアデータを処理する時にまず使うべきものです。最も素晴らしい点は、データをクリーンアップするために長く凝ったコードや正規表現を必要としないことです。 いくつかの例を見てみましょう。 インストール #Importing the clean text library from cleantext import clean # Sample text text = """
jsライブラリ選定はopenbaseが超絶便利 - Qiita
openbaseとは https://openbase.io Find and compare open-source packages with user reviews, categorization, and unparalleled insights about packages' popularity, reliability, activity, and more. 手を抜いてdeeplでw ユーザーレビュー、カテゴリ分け、パッケージの人気、信頼性、アクティビティなどについての他の追随を許さない洞察力で、オープンソースパッケージを見つけて比較してください。 現在、多くのプログラミング言語はパッケージマネージャがあって、何らかの方法でパッケージについての情報を取得することができると思います。 パッケージの選び方 自分の場合はjs系が殆どなので、ライブラリを選ぶ方法は以下のような感
米Microsoft、最近傍探索ライブラリ「Space Partition Tree And Graph（SPTAG）」をオープンソースで公開 | OSDN Magazine
米Microsoftは5月15日、Bingで用いている最近傍探索ライブラリ「Space Partition Tree And Graph（SPTAG）」をオープンソースで公開したことを発表した。 最近傍探索は、言語、画像ピクセルなどの数値表現を類似性を示す近接にマッピングし、それを使って検索を行う技術。検索のほか、検索でのユーザーのクリックなどを考慮したモデルのトレーニングにも使われるという。 Space Partition Tree And Graph（SPTAG）は分散処理に対応する最近傍探索ライブラリ。Microsoft Research（MSR）とMicrosoft Search Technology Center（STC）が開発した技術で、C++とPythonで実装されている。大規模なベクター検索シナリオ向けに高品質のベクターインデックスの構築や検索が可能という。 Microso
【Python】 機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい
機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=
Pynote
概要 ImageDataGenerator を使用して画像分類の学習を行うチュートリアル。 関連記事 pynote.hatenablog.com pynote.hatenablog.com Jupyter Notebook 本記事のコード全体は以下。 keras-image-data-generator-usage.ipynb 概要 関連記事 Jupyter Notebook flower_photos モデルを作成する。 モデルをコンパイルする。 ImageDataGenerator を作成する。 学習する。 損失関数の値、精度の履歴を可視化する。 評価する。 推論する。 続きを読む 概要 CNN の学習を行う場合にオーグメンテーション (augmentation) を行い、学習データのバリエーションを増やすことで精度向上ができる場合がある。 Keras の preprocessing.
Pythonの可視化ライブラリ「Bokeh」ではじめるデータビジュアライゼーション
Pythonの可視化ライブラリ「Bokeh」ではじめるデータビジュアライゼーション Bokehではじめるデータビジュアライゼーション 2019年1月22日、freee株式会社にて、Data Driven Developer Meetupが主催するイベント「Data Driven Developer Meetup #4」が開催されました。サービスをより良いものにするために日々データと向き合っているデータサイエンティストやエンジニアなど、様々な職種で活躍する人々が集い、知見を共有する本イベント。今回は日本経済新聞社とエムスリー株式会社の2社がメインセッションに登壇し、自社の取り組みについて語りました。プレゼンテーション「Bokehではじめるデータビジュアライゼーション」に登場したのは、YukiyoshiSato氏。デモを交えながら、Pythonのインタラクティブビジュアライゼーションライブラリ
Home
Graphillion - 無数のグラフを効率的に扱うための高速・軽量ライブラリ 最新のドキュメントは英語版を参照ください． ニュース 特徴 概要 インストール チュートリアル グラフセットの作成 グラフセットの操作 並列計算 NetworkXとの連携 ライブラリ・リファレンス サンプルコード 今後の予定 参考資料 ニュース Graphillion 1.0 がとうとうリリースされました． Python 3 をサポートしました (Python 2 でも使えます)． OpenMP を用いた 並列計算 が可能になりました． より効率的な辺の順序づけが実装されました． 高度な集合演算 (join, meet, quotient など) が追加されました． 2015年4月に，Graphillion の本が出版されます． 2015年1-2月に，奈良先端科学技術大学院大学の川原純先生による講義で Gra
Javaのグラフ構造・アルゴリズムライブラリ「JGraphT」の使い方
グラフ理論の文脈におけるグラフとは、頂点と辺によって構成されるデータ構造です。グラフで表すことのできる構造は実世界の様々な場面に存在し、またプログラミング上で必要（有用）となる場面も多くあります。 一方でグラフをソースコードで表現する場合、その構造や各種操作・アルゴリズムなどまで実装することを考えるとなかなか一苦労でもあります。 今回はJava上でグラフ構造を表現し、グラフ上のアルゴリズムまで提供するライブラリである「JGraphT」の使い方を紹介します。 JGraphTの紹介 詳しい説明は公式ページまたはGitHubを参照いただくのが一番ですが、一言で表現すればJava用のグラフ構造・アルゴリズムライブラリです。 importするだけでグラフ表現や探索、最短路計算などのアルゴリズムを使用することができます。 機能 JGraphTは様々なグラフを表現することができ、現時点（2018年9月）
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
活用しなきゃ損！C#のオープンソースライブラリ6選！ | プログラミング教育ナビ
はじめに ライブラリを活用していますか？ プログラムのすべてを自分でコーディングすることはほとんどありません。 通常は、なんらかのライブラリやフレームワークのお世話になることでしょう。 入念にテストされたライブラリを使えばバグの発生数が少なくなりますし、コーディングの手間も削減できて一石二鳥です。 この記事では、C#プログラマーの方のためにC#で使えるオープンソースライブラリを紹介していきます。気になるものがあったらぜひ使ってみてください。 JSON.NET（JSONライブラリ） サイト：http://www.newtonsoft.com/json JSON.NETは、その名の通りJSONを扱うためのライブラリです。 JSONはJavaScriptを元にしたデータ記述言語で、データのやり取りに使われています。 JavaScriptと相性がよいため、Web APIのデータ形式として最もよく使
小ネタ7 Math.Net Numerics を使ってみた
「プログラムをしていると行列の計算をしたいことがありませんか？」 え、ないって？ｗ まあまあ、あるとして聴いて下さいませｗ 「必要なら数値計算ライブラリ買うかフリーの探せばいいじゃん？」 と思うかもしれませんが C# であんまりいいのないんですよね・・・ もちろんフリーでも C/C++ ならば結構あるんですが、 C# 用でないといまいち使いにくかったりして結局、自作ライブラリを C# で作って使っていました。 あと、仕事の場合には有料のライブラリでも構わないのですが、 その場合にしても「ちょっと逆行列が計算したい」程度の用途に お金を払うのは勿体ないというのもあります。 というわけで、今までは自作ライブラリで用は足りていたのですが、 所詮自作は自作、精度面や速度面で良い選択といえないと思っていました。 なんせプログラムや数学の専門家でもないので、 参考書片手に古典的かつ教科書的なアルゴリズ
What is a good network graph library for language X?
I have noticed that a recurring question is: “What is a good network graph library for language X”. I have played with quite a few of the libraries and I can share my experiences with you. Python: NetworkX is a robust library which has built-in visualization but also has an interface to Graphviz using pyGraphviz. (pyGraphviz and NetworkX are written by the same author). NetworkX is open source and
ちょっとしたツールを作るのに便利なPythonライブラリ - Qiita
この記事は、LIFULL Advent Calendar 2017の2日目の記事です。 おはようございます。新UX開発部の二宮( @ninomiyt )です。 LIFULLではデータ解析や最適化の用途、もしくはAWS Lambda上の簡易ツール実装用途などでPythonがそれなりに普及してきました。数値計算寄りの（いわゆるデータサイエンティスト的な）メンバーも今はPythonを使うことが多く、コード量としては小規模なプロジェクトが多く、簡単なAPIやバッチ処理の実装までやってもらうこともあります。 そのレビューをやっていく中で、「これ使うともっと簡単に実装できるよね」っていうライブラリがいくつかまとまってきたので紹介します。 click コマンドラインパーサー用のライブラリで、デコレータを使って関数を簡単にCLI化できます。 標準ライブラリのargparseがありますが、clickではバリ
グラフ理論ライブラリのJGraphTを使ってみた - kaisehのブログ
JGraphT JGraphTは、Javaのグラフライブラリです。グラフの描画ではなく、グラフ理論のモデルとアルゴリズムの方にフォーカスしています。とても使いやすかったので、紹介してみます。 無向グラフ UndirectedGraph<String, DefaultEdge> g = new SimpleGraph<String, DefaultEdge>( DefaultEdge.class); g.addVertex("a"); g.addVertex("b"); g.addVertex("c"); g.addEdge("a", "b"); g.addEdge("b", "c"); System.out.println(g.vertexSet()); System.out.println(g.edgeSet()); System.out.println(g.edgesOf("c"));
グラフを扱うJavaライブラリ「Jung」の紹介 - Twitterのグラフ構造を視覚化 - public static void main
java-ja 第12回のLTで話そうと思ったのですが、出番がなかったので資料をブログで公開しておきます。 Jungは研究などでグラフ構造が出たときに、理解しやすくするために可視化するのに使っています。他にもいくつかグラフを扱うライブラリは存在していますが、日本語の資料があったのと拡張可能なことが多かったのでJungを結果的に使うようになりました。 以下はそのJungについての簡単な解説です。 Jungとは Jungの正式名称はJava Universal Network/Graph Frameworkで、ネットワーク(グラフ) 構造の分析や視覚化を行うためのJavaのOSSライブラリです。グラフ理論、データマイニング、ソーシャルネットワーク分析のアルゴリズムを数多く実装しています。 安定バージョンは1.7.6で最新は2.0betaで、BSDライセンスで使用できます。 http://jun
.NETグラフライブラリ QuickGraphを使う
本エントリはC# Advent Calendar 2013 9日目のエントリです。 自己紹介ですが、デンソーアイティーラボラトリというところで研究開発をやっております。スコープは車とかITSとかそれにまつわるソフトウェア全般です。 研究のためのソフトウェア環境としては珍しくC#を使っておりますが、JavaやPythonよりもそういったリソースが少ないながら、質の高いライブラリが多いというのが実感です。今回はその中からQuickGraphという便利なライブラリの紹介です。かなり以前からCodePlexで公開されているので利用されている方も多いと思いますが、簡単に使えるように解説します。 QuickGraphを使おう QuickGraphとは、グラフ型のデータ構造や各種アルゴリズムを備えた、.NET用のライブラリです。CodePlexのプロジェクトとして、2003年12月から公開されていました
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 - にほんごのれんしゅう
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが
conda で python の環境つくり
stfuawsc_itg_advent2014_4_conda.md これは stfuawsc_itg Advent Calendar 2014 4日目の記事です。 プログラミングをしていると、いろいろなバージョンの環境を行ったり来たりしたくなることがあります。たとえば言語処理は python 2 へ nltk を入れてやりたい。シミュレーションは python 3 へ numpy 入れてやりたいとか。 そういうふうに言語やモジュールのバージョンをいろいろ組合せた環境を気軽に切り替えられると便利です。 実際そういうことを可能にするツールはたくさんあります。virtualenv, pyenv など。 ここで紹介する conda というツールもその1つです。 virtualenv などでは、モジュールを入れるときは通常の python の流儀でインストールするのですが、インストールがうまくいか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
awesome-java/README.md at master · akullpp/awesome-java
https://www.google.co.jp/url?sa=t&source=web&rct=j&url=http://ci.nii.ac.jp/lognavi%3Fname%3Dnels%26lang%3Den%26type%3Dpdf%26id%3DART0010307758&ved=0ahUKEwiT1Or6jfrWAhVGipQKHUk6CkgQFghBMAU&usg=AOvVaw3G8ffCPQwyT5kJOwYGWoBY