これは、小１の息子がおこづかいを増やしてポケカを買うためにとった行動が結果的に、彼にとって「数字／お金／仕事」の学びにつながった話です。 １：おこづかい講座小1になった息子はポケモンカードゲームにハマっていました。おこづかいは月に100円。ポケカは強化拡張パックで150円。もっといろんなポケカが欲しい。 どうしたらおこづかい以外で稼げるか悩んでたので、100円払ってもらって「おこづかい講座」を開きました。100円といえば、小１にとってすごく大金なので、それを払うかどうかめちゃくちゃ悩んでいましたが笑、勇気を出して受講することに。 ちゃんと仕事場の会議室をつかって、講座を開催しました。 小１向けのおこづかい講座：ざっくりまとめ ●お金や時間の使い方は１つではない。投資、消費、浪費の３つがある。 ●この講座のために、100円払うことはドキドキしたと思う。こういうのを、投資と呼ぶ。 ●フィーを得

チュートリアル「Janome ではじめるテキストマイニング」を GitHub & Google Colab で公開しました 先日，PythonBeginners沖縄 (Docker/テキストマイニング入門) で枠をいただき，janome を使った初心者向けハンズオンを開催しました。 講師側の段取りがわるく，準備していた内容の半分程度までしか進められませんでしたが，事後にいただいたアンケートを見るとけっこう好評だった（…っぽい）こともあり，少し整理したものをチュートリアルとして公開してみました。 Janome ではじめるテキストマイニング GitHub リポジトリチュートリアル資料 (HTML)沖縄開催時の反省を踏まえて，ハンズオン実行環境を Google Colab に移し，webブラウザだけですべての演習が完結するようにしています。 カバーしている内容は， janome CLI / AP

今の場合は A さんが 31 歳の場合のストーリーでしたが、A さんが 20 歳～ 35 歳のうちのどの年齢であったとしても、似たようなストーリーで必ず 4 回の質問で当てることができます！(他の例も是非考えてみてください。) ちなみに、このような「真ん中で切ってどちらかに絞って行く」タイプのアルゴリズムには二分探索法という名前がついています。応用情報技術者試験でも頻出のテーマですので馴染みのある方も多いと思います。 1-2. つまり、アルゴリズムとは 上の年齢当てゲームという問題では、相手の年齢を当てる「方法・手順」を二分探索法に基づいて導きました。このようにアルゴリズムとは、 問題を解くための方法・手順 のことです。さて、アルゴリズムと聞くと「コンピュータ上で実装されたプログラム」のことを思い浮かべる方も多いと思いますが、必ずしもコンピュータと関係がある必要はなく、日常生活でも多々登場

「Rの神様」ハドリー・ウィッカムに「Rのデータ分析を変えた」と言わしめた革新的なパッケージ、tidytextの開発者たちによる、データ分析と可視化の基礎を学ぶことができるテキストマイニングの入門書です。取得した生データを、「整理データ原則」に基づいてtidytextで扱いやすい形に変換すると、簡単に既存のツールと組み合わせることができ、効果的にデータ分析や可視化を行うことができます。本書はその原則に基づき、tidytext、dplyr、ggraph、widyrパッケージ等を使って、ジェーン・オースティンの小説や古典、Twitter、ニュースサイト、NASAのメタデータなどを分析していきます。著者たちの豊富な経験と科学的理論に基づいた、明確でシンプルかつ応用力抜群のテキストマイニング手法を提示します。 目次 はじめに 1章　整理テキスト形式 1.1　整理テキストとほかのデータ構造の比較 1.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ・深層強化学習をビジネスに役立てるにはどうすれば良いのか？ ・AIに自然言語を理解させるにはどうすれば良いのか？ について、考えてみたという内容です。 記事構成としては、 深層強化学習のビジネス応用について AIの知能獲得と言語獲得手法（妄想） 最新の深層強化学習を学べるおすすめ本3冊の紹介 となっています。 先日、拙著「つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~」を発売させていただきました（18年6月28日）。 現在は、どのようにして深層強化学習をビジネスに役立てるのかを考えています。 そこで本記事で

青空文庫のテキストデータの一括ダウンロード方法 2018-07-25-1 [NLP][Programming] 青空文庫のテキストデータを一括でダウンロードする方法について。 GitHub にサイトのデータなど一式入っているのでそこからゲットするだけ。 知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！ (やじうまの杜 - 窓の杜) 大量のテキストを自然言語処理などで分析して有用な情報を抽出する“テキストマイニング”などには役立ちそう。 青空文庫のサイトから wget でまとめてダウンロードしてもいいんだけど、運用サーバに負荷かけるのはさけたいので、github から取れるのはありがたいです。 GitHub - aozorabunko/aozorabunko ディレクトリ "cards/" の下にテキストデータあり。 青空文庫のサイトの構成と同じですね。

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

著：ジョディ・アーチャー、マシュー・ジョッカーズ、監修：西内啓、訳：川添節子 テキストマイニングと機械学習を用いて、アメリカでベストセラーになった小説とあまり売れなかった小説をコンピュータで比較。売れる小説というのはどういう特徴を備えたものなのかを解説した本である。 テーマを多く詰め込みすぎないようにして主要なものは３つくらいに絞る。物語の基本は３幕構成で、時間軸でみて大きく７種類のプロットラインに分ける。短く簡潔な文を多用する。登場人物は何かを必要とし、主体的に求め、考え、実行し、愛する。タイトルは、時には1000万ドルの価値がある。 率直に感想を書くなら、驚くようなことは書かれていない。テーマとして裁判が大きな存在感があるというような日本との違いはあるが、アメリカだったらこうだろうな、という常識的な分析結果である。ただ、データ分析の裏付けによって、やっぱりそうだったんだ、という感じがす

テキストデータ（文字のみの情報）を金融市場や経済の分析に利用する動きが広がっている。 日本銀行は9月3日に「機械学習による景気分析 ―『景気ウォッチャー調査』のテキストマイニング―」というワーキングペーパーを発表した。そこで、「景気分析におけるテキスト分析の位置づけは、公的統計等を利用した従来の分析手法にはない新しい角度から有力な材料を提供することで、景気認識を容易にし、景気判断の精度を向上させるための補完的な役割を果たし得る」としている。 筆者も6月に政府の「骨太の方針」（「経済財政運営と改革の基本方針2018」）からテキストマイニングによって重要なキーワードを洗い出し、改革色が強いのか、既存政策の推進に主眼が置かれているのかなどを分析・議論した。 また、時系列データではない質的データを扱うことになるテキストマイニングと親和性の高いAI（人工知能）・機械学習も金融・経済の分析において重要

今回は、最近ホットワードの自然言語処理の中でも、自然言語処理の一過程である「形態素解析」について、基礎から丁寧に解説します！ また、形態素解析が実際に何に使われているのか、さらに形態素解析をするためのおすすめツールを日本語用と英語用にわけて紹介します。 ぜひ最後まで読んで、形態素解析とはなにかを理解してください！ 公開日：2018年1月9日 形態素解析とは？応用例も交えてわかりやすく解説！ まず「形態素解析」という言葉とはどんな意味なのか、わかりやすく解説します。 形態素解析とは、私たちが普段生活の中で一般的に使っている言葉、つまり「自然言語」を形態素にまで分割する技術のことです。 形態素とは、言葉が意味を持つまとまりの単語の最小単位のことです。 例えば、「私は台所で料理します」という文章を形態素解析すると「私(代名詞)/は（副助詞）/台所(名詞)/で(助詞)/料理（名詞）/し(動詞)/ま

AIDA Technologies：金融機関のコンプライアンスリスクを検出 金融機関におけるコンプライアンスリスクの検出を効率化するAIソリューションを提供している企業。 機械学習を活用したテキストマイニングによってコミュニケーションデータを分析。不正な疑いのある行為を検出し、コンプライアンス違反を阻止する。たとえば、トレーディングフロアでのコミュニケーションで不正な疑いのあるやり取りを検出する。誤検出が限りなく少ない点も強み。 http://aidatech.io/ Binah.ai：AIを活用して為替レートの変動を予測 AIを活用した拡張分析を実行できるソリューション「BinahNOW」を提供している企業。 BinahNOWは、金融サービス業を中心に利用されている。主な利用用途としては、キャピタルマーケット（為替レートの変動予測など）、信用リスク（データに基づき顧客の信用リスクを判定）

本邦初、犯罪捜査のためのテキストマイニング技術を解説。近年、サイバー空間を舞台とした犯罪が増加傾向にある。電子掲示板への書き込みや電子メールの送信による脅迫、名誉毀損、業務妨害などの犯罪は、いつでもどこでも誰にでも容易に実行できてしまうとともに、証拠が残りにくく、また他人への｢なりすまし｣も容易である。このようなサイバー犯罪は、犯人の特定をはじめとして、その犯人性の立証が比較的困難といった特徴を有する。本書は、文章情報に基づき、書き手を特定する｢著者識別｣あるいは書き手の特徴(性別や年齢層など)を推定する｢著者プロファイリング｣といったサイバー犯罪に挑む分析手法を解説。 第1章　近年の犯罪と計量的文体分析への期待 1.1　サイバー犯罪の出現と犯罪捜査 1.2　「パソコン遠隔操作事件」解決に向けた新たなツール 1.2.1　事件の概要と流れ 1.2.2　犯人性立証の可能性と誤認逮捕の防止 1.

お断り：下記は2018年時点で書いたものです。そのため、内容が古い可能性があります。 はじめに Rのデータサイエンス書籍相関図の超個人的版を作りました。R言語のおかげで、今はお仕事ができているようなものなので、1人でも多くのRユーザーが増えてRコミュニティがもっと活発になればと思い、作成しました。 私の技術や知識はこの著者の方々のおかげで成り立っているので、良書を作るために、自分の時間を削って執筆活動をされている方には頭があがりません。感謝しかありません。 そして、Rを使い始める方のお助けになればと思います。 【注意事項】 自分が読んだ書籍の中から「R」が中心の書籍を選びました。無論、良書は他にも多数あると思われます。 理論系、ベイズ統計、Python系は除いています。 言語処理、時系列、異常値検知、画像処理、音声処理はあまり知らないので除いています。 私はどれかの書籍の著者でもないので、

Rのおすすめパッケージをアップデートしてまとめた。定番の分析手法をはじめ、可視化やデータ処理に便利なものなど、幅広く紹介した。中にはマストというものもあるし、意外と知られていないがインストールしておくと便利なものまで、使い方の例も挙げて説明している。 ミドルウェア的なレイヤーのライブラリ（must） curl ファイルをwebからダウンロードするときに使う。 データファイルやパッケージのダウンロードが発生する処理で内部的に使われるライブラリで、他のパッケージのインストールの際に同時にインストールされることが多く、意識されることは少ないパッケージ。たまに依存関係の問題でも解決されずに未インストールの場合があるので、明示的にインストールする必要がある。 read.csv('https://...') などのために必要。 devtools GitHubからのインストールなど。ほとんどがGitHu

『Pythonで動かして学ぶ 自然言語処理入門』は、自然言語処理の基本を押さえ、実際に様々な処理を試してみる手法を紹介した入門書です。 自然言語処理は人間が使用する言語をコンピューターに処理させる技術で、人工知能に深く関わる分野です。予測変換などに利用され、ニュースを自動生成させる事例も出てきました。興味を持っている方も多いのではないでしょうか。 本書ではHTMLデータを収集し、 テキストの抽出、クレンジングなどの前準備やデータベースに格納するところから始め、構文解析やテキストマイニングなど基本的な処理の方法をPythonを用いて紹介。テキスト検索ツールを作ったり、テキストの印象を判断する評判分析を行ったりすることができます。 もちろん入門書なので、自然言語処理の知識に自信がない方でもわかりやすい内容になっています。まず体験してみたいときの1冊としておすすめです。 目次 第1章 実行環境を

はじめに 機械学習/ディープラーニング/Pythonに関する、私が書いた記事をまとめたものです。対象のブログは主に以下になります。 karaage. note.mu まとめページを新たに作りました ここにある情報もだいぶ古いものが多くなってきたので、新たに自分が学んだことを以下のページにまとめ直しました。今からだと、こちらから見ていった方が良いかもしれません。 Pythonで基礎から機械学習まとめ 概要・初心者向け 機械学習もディープラーニングもPythonも詳しく知らない・初心者という方は、まずはこちらを参照下さい。 人工知能・機械学習・ディープラーニング関係の雑多なまとめ Pythonで最初に知っておきたかったことのまとめ【初心者向け】 環境構築 環境構築に関する記事です。 Pythonで機械学習をするための環境を雑にセットアップする方法（Jupyter notebook環境、ディープ

データ分析とは、「数あるデータから有益な情報を探し出し、改善に役立てる取り組みのこと」を指します。ビッグデータの時代では、データの分析や活用はますます重要になっています。 ビジネスにデータ分析を取り入れることで、意思決定がスピードアップしたり、課題を特定できたり、新しい施策を考えられたりといったように、数多くのメリットがあります。 膨大なデータを収集し、素早く分析を進めるには、ITツールの利用が欠かせません。近年では、データ分析が注目されていることで、さまざまな分析ツールが登場しています。そこで今回はデータ分析に役に立つツール29選を目的別に紹介します。 Webデータ収集ツール4選 1. Octoparse Octoparse（オクトパス）は、あらゆるWebサイト上のデータを手軽に抽出できる強力なWebスクレイピングツールです。Webページ自動認識の機能を備え、取得先のURLを入力すると、

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 社内で定時後に有志で勉強会というか、その場に集まってPythonやRをもくもくと勉強をするもくもく会を開きたいと考えています。目的としては分析スキルの向上や機械学習ができるようになりたいとかいう個々人の願いを叶えることです。 色々なスキルレベルのメンバーが参加することが予想されるので、皆を幸せにするためにもレベルに応じた良い教材が必要だと思いました。 ここでは、レベルに応じて適切な教材などを忘備録として残していきたいと思います。 （私自身、全てのレベルの対象