機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]
自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすことなく、また何の目的もなくブログを分析してみることにしました。今回は以前から興味のあった機械学習を用いたブログの文章の分析・可視化（テキストマイニングと呼ばれるらしいです）にチャレンジしてみることにしました。どちらかというとテキストマイニングが主で、使用する素材（学習データ）に困ったので仕方なく自分のブログを使ってみたというのが正直なところです。 ネットでコピペすりゃ簡単にできるだろと思っていたのですが、自分のやりたいことするのはそれなりに大変だったので、知見としてやり方とどんなことが分かるのかを残しておきます。 ブログのテキ
![機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/53baca70fcdf8a36bdde0cca3f5f5bb458dd6502/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F39108ba4d9212baac1dbca353b64e95fe71fc61b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180208%252F20180208010932.png)
Jupyter Notebook 5.3.0
We are pleased to announce the release of Jupyter Notebook 5.3.0. This is a minor release that introduces some notable improvements, such as terminal support for Windows and support for operating system trash (files deleted from the notebook dashboard are moved to the trash vs. deleted permanently), as well as many bug fixes and enhancements You can install the new version of the notebook now usin
Pythonですべての変数を保存するにはPickleよりdillが便利 - Qiita
Pythonでデータ解析などをしていると、途中でいままで行った処理の結果を保存しておきたい場合が多々あります。そういったときに考えられる手段としては、numpyやpandasであればcsvに書き出す、その他の変数であればPickleで書き出すといったものがあります。 しかし、一部の変数であればそれでもよいかもしれませんが、とりあえず全部保存したい、となると面倒です。そんなときにはdillというライブラリが便利です。dillは今どき珍しくドキュメントがなく、レポジトリのREADMEを読むと、詳しい使い方はテストコードを読んでね、という非常にユーザーに優しくないライブラリであるため、dillの便利な使い方を以下に示しておきます。 まず、何らかの変数を作って、適当な処理をするとします。 orders = {'Akagai':1, 'Hirame':2, 'Hamburg steak':2} pr
Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで - Lean Baseball
【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.
アイデミー、無料AIプログラミング学習サービス「Aidemy」をリリース
アイデミー、無料AIプログラミング学習サービス「Aidemy」をリリース：深層学習や自然言語処理、数値予測などを学習可能 アイデミーは、オンラインでAIプログラミングが学習できるサービス「Aidemy」を公開した。Python入門の他、深層学習や自然言語処理、数値予測など全11講座を無料で利用できる。 アイデミーは2017年12月20日、技術者向けのAI（人工知能）プログラミングを無料で学べるサービス「Aidemy」を公開した。Webブラウザで利用するオンライン講座なので、利用者は手元のPCにプログラミング環境を構築せずに学べる。 Aidemyは、深層学習や自然言語処理、数値予測など全11講座を無料で提供。AIプログラミングに広く利用されているPython言語や、NumPy、Pandas、scikit-learn、TensorFlowといったPython向けのライブラリについても学べる。理
ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中
Excelユーザーの要望をとりまとめるサイトで、ExcelへのPython搭載の要望が相次いだ。その結果、マイクロソフトは検討のためのアンケートを開始した。 Excelは業務アプリケーションとしてもっとも使われ、普及している製品のひとつでしょう。そのExcelを今後も発展させていくために、マイクロソフトはユーザーが要望を提案できるコミュニティサイト「Excel’s Suggestion Box」（英語）を公開しています。 このコミュニティサイトに2015年11月、Excelのスクリプティング言語としてPythonを搭載してほしいという要望「Python as an Excel scripting language」がポストされました。 それから2年以上が経過し、現時点でこの要望は2位以下を大きく引き離す3862票の賛成票（2017年12月17日現在）を獲得して要望リストのトップにあがってい
ベイズ推定でエンゼルの出現確率を予測する - チョコボール統計
はじめに レアな現象の発生確率予測 最尤推定でのエンゼル出現確率予測 ベイズ推定でのエンゼル出現確率予測 ベイズ推定の基本 モデル設計 MCMCでの予測 予測結果 終わりに 参考文献 はじめに チョコボールといえばエンゼル。 エンゼルがどのくらいの確率で入っているのか？というのは 全国のチョコボールファンが常に気になることです。 今回は、ついにこの永遠の謎に挑戦してみます。 とはいえ、結局まだデータがない状態なので、出現確率はX％ですということは言えませんのであしからず。 レアな現象の発生確率予測 事故や地震、工場での生産ライン異常など、これらは発生確率に差はあるものの一般的に稀な現象です。 稀な現象を予測するというニーズは常にあるのですが、 古典的な解析ではこれらの確率を予測するというのは難しい問題です。 稀なのでデータが少なく、予測確率には常に大きな誤差を含んでいる可能性があります。
ちょっとしたツールを作るのに便利なPythonライブラリ - Qiita
この記事は、LIFULL Advent Calendar 2017の2日目の記事です。 おはようございます。新UX開発部の二宮( @ninomiyt )です。 LIFULLではデータ解析や最適化の用途、もしくはAWS Lambda上の簡易ツール実装用途などでPythonがそれなりに普及してきました。数値計算寄りの（いわゆるデータサイエンティスト的な）メンバーも今はPythonを使うことが多く、コード量としては小規模なプロジェクトが多く、簡単なAPIやバッチ処理の実装までやってもらうこともあります。 そのレビューをやっていく中で、「これ使うともっと簡単に実装できるよね」っていうライブラリがいくつかまとまってきたので紹介します。 click コマンドラインパーサー用のライブラリで、デコレータを使って関数を簡単にCLI化できます。 標準ライブラリのargparseがありますが、clickではバリ
【Day-1】データ分析/機械学習を行うために知っておきたいことを列挙する - プロクラシスト
データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★ : 周辺ツール、知っていればより便利になるよという感じ ★ : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし
【図解：3分で解説】クリスパー・キャスナインとは｜遺伝子改変、ゲノム編集技術
As the world’s largest domain registrar with over 20 million customers, GoDaddy manages more than 84 million domains, offering a robust platform with 24/7 customer support and a wide range of TLDs. Its user-friendly interface and comprehensive services, including hosting and website builders, make it ideal for businesses seeking an all-in-one solution. Price 395 USD Auction Type GoDaddy Buy Now Go
日本語版最速！? jupyter notebookをgoogleが神改造 colaboratoryについてまとめてみた。 | Aidemy | 10秒で始めるAIプログラミング学習サービスAidemy［アイデミー］
こんにちは、たくやです。最近すっかりニュース担当として定着してしまいましたね。 今回はgoogle が公開した教育と研究のための研究ツールである Colaboratory について解説していきたいと思います。 ざっと検索してみたところ英語版でしかまだ記事が出ていないようでしたので、日本語版最速と題させていただきました。 ニュース概要 ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクト。現在、ColaboratoryはChromeのデスクトップ版でのみ動作する。優れたユーザーエクスペリエンスを提供するために、当初はノートブックの作成や編集へのアクセスを制限して いる。そのため、利用するには申し込みをしなくてはいけない。ColaboratoryノートブックはすべてGoogleドライブに保存される。既存のJupyter / IPythonノ
Pythonを使って、ボードゲームで勝つための確率計算をしてみた -
秋山です。 最近、社内でボードゲームが流行っていて、お昼休みにみんなで集まって遊んだりしています。 大体どんなゲームをやっていても、みんな途中から「誰が何手前でこうしていればああなっていた」とか「あのときこうしていたらこうなっていた確率はどれぐらい」とか、そんな話で盛り上がってしまって全然終わらなくなってしまいます。エンジニアが多いからなのか…。 そこで今回はPythonを使って、「カタン」というボードゲームで勝つためのヒントが何か得られないか、いろいろ計算して遊んでみようと思います。 カタン スタンダード版 出版社/メーカー: ジーピー発売日: 2015/11/30メディア: おもちゃ＆ホビーこの商品を含むブログ (2件) を見る ■Pythonを使ってカタンで勝てるヒントを探してみた カタンのルールは、こんな感じです。 最初に六角形のタイルを並べて作るカタン島が舞台となる。各タイル（土
Facebookの予測ツールProphetについて発表しました - ほくそ笑む
Facebook が出した誰でも簡単に時系列予測ができるツール Prophet についていくつか発表しました。 Prophet入門【Python編】 Prophet入門【R編】 Prophet入門【理論編】 Prophetはビジネス時系列、すなわち人間の行動に左右される時系列データに対する自動予測ツールです。 ビジネスでは大量の時系列データに対する予測を作成する必要があります。 しかし、それを1人のデータ分析者が1つ1つ作っていくのでは手が足りません。 そこで、統計の知識を必要しない、誰にでも簡単に時系列予測を行うツールとして Prophet が作成されました。 Prophet はオープンソースで開発され、Python と R のライブラリが公開されています。 まずは今年5月に Python版についての発表を foundIT データ解析・機械学習セミナー にて行いました。 Python版の
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
ExcelデータをPython pandasで扱う - Qiita
はじめに Excelでしか保存されていないデータをpandasで扱うときの備忘録。 正直に言うとバッドノウハウの塊かも。 本当に効率よくやりたいんならインフラをちゃんと整備しましょうね。 やりたいこと Excelをcsvにしてほかのシステムに投入する 各シートに分かれたデータを一つのDataFrameにする Excelを扱うときにはpandas.read_excelをよく使うが、複数のシートを扱うときにはpandas.ExcelFileを使うと便利。 https://pandas.pydata.org/pandas-docs/stable/generated/pandas.ExcelFile.parse.html pandas.ExcelFile.sheet_namesでシート名のリストを取得 pandas.ExcelFile.parse(pandas.read_excelと同じ)でシート
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
【コードで一発】ブログ最適化/SEO対策で面倒なことは全てPythonにやらせよう - プロクラシスト
こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで
【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
週刊少年ジャンプの短命作品を，機械学習で予測する （前編：データ分析） - Qiita
1. はじめに 週刊少年ジャンプ（以下，ジャンプ）は，日本で最も売れている漫画雑誌1です．言うまでもなく，私は大ファンです． ジャンプ編集部の連載会議は非常にシビアです．ジャンプ作家の奮闘を描いたフィクション漫画「バクマン。」では，編集部が毎号の読者アンケートをもとに各漫画の人気を評価し，掲載順や打ち切り作品を決定する様子が描かれています2．連載開始から10週以内（単行本約1冊分）で連載が打ち切られてしまうことも珍しくありません．とても厳しい世界です． 本記事では，機械学習を使って，短命作品（10週以内に終了する作品）の予測を行います．究極の目標は，ジャンプ編集部より先に打ち切り作品を予測し，好みの作品が危ない場合はアンケートを出して打ち切りを回避することです3．我々は読者アンケートの結果を知ることができないので，掲載順の履歴を入力とし，短命作品か否かを出力する多層パーセプトロン4をTen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの可視化ツールはHoloViewsが標準になるかもしれない - Qiita
