はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

  • はてなブックマークって?
  • アプリ・拡張の紹介
  • ユーザー登録
  • ログイン
  • Hatena

はてなブックマーク

トップへ戻る

  • 総合
    • 人気
    • 新着
    • IT
    • 最新ガジェット
    • 自然科学
    • 経済・金融
    • おもしろ
    • マンガ
    • ゲーム
    • はてなブログ(総合)
  • 一般
    • 人気
    • 新着
    • 社会ニュース
    • 地域
    • 国際
    • 天気
    • グルメ
    • 映画・音楽
    • スポーツ
    • はてな匿名ダイアリー
    • はてなブログ(一般)
  • 世の中
    • 人気
    • 新着
    • 新型コロナウイルス
    • 働き方
    • 生き方
    • 地域
    • 医療・ヘルス
    • 教育
    • はてな匿名ダイアリー
    • はてなブログ(世の中)
  • 政治と経済
    • 人気
    • 新着
    • 政治
    • 経済・金融
    • 企業
    • 仕事・就職
    • マーケット
    • 国際
    • はてなブログ(政治と経済)
  • 暮らし
    • 人気
    • 新着
    • カルチャー・ライフスタイル
    • ファッション
    • 運動・エクササイズ
    • 結婚・子育て
    • 住まい
    • グルメ
    • 相続
    • はてなブログ(暮らし)
    • 掃除・整理整頓
    • 雑貨
    • 買ってよかったもの
    • 旅行
    • アウトドア
    • 趣味
  • 学び
    • 人気
    • 新着
    • 人文科学
    • 社会科学
    • 自然科学
    • 語学
    • ビジネス・経営学
    • デザイン
    • 法律
    • 本・書評
    • 将棋・囲碁
    • はてなブログ(学び)
  • テクノロジー
    • 人気
    • 新着
    • IT
    • セキュリティ技術
    • はてなブログ(テクノロジー)
    • AI・機械学習
    • プログラミング
    • エンジニア
  • おもしろ
    • 人気
    • 新着
    • まとめ
    • ネタ
    • おもしろ
    • これはすごい
    • かわいい
    • 雑学
    • 癒やし
    • はてなブログ(おもしろ)
  • エンタメ
    • 人気
    • 新着
    • スポーツ
    • 映画
    • 音楽
    • アイドル
    • 芸能
    • お笑い
    • サッカー
    • 話題の動画
    • はてなブログ(エンタメ)
  • アニメとゲーム
    • 人気
    • 新着
    • マンガ
    • Webマンガ
    • ゲーム
    • 任天堂
    • PlayStation
    • アニメ
    • バーチャルYouTuber
    • オタクカルチャー
    • はてなブログ(アニメとゲーム)
    • はてなブログ(ゲーム)
  • おすすめ

    Google I/O

『ミエルカAI - 【法人向け】自然言語処理技術を活用した、APIソリューション提供』

  • 人気
  • 新着
  • すべて
  • 【自然言語処理入門】日本語ストップワードの考察【品詞別】 - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

    20 users

    mieruca-ai.com

    ストップワードの除去は自然言語処理やテキストマイニングにおける重要な作業です. 解析の精度を上げるために不要な記号や単語を等をデータセットから除去します. ストップワードの選定にはタスクに特化した分析が必要ですが,ある程度整理されているデータがあるととても助かります. そこで,今回は私が自然言語処理のタスクでよく行う,日本語のストップワードについてまとめました. また単語の分布などから,品詞ごとのストップワードに対する考察も行いました. このことからストップワードを介して自然言語処理のあまり語らることのない知識などをご共有できればと思います. (この記事の考察部分は主に自然言語処理の初心者を対象とした入門記事です.) 目次 1. 自然言語処理・ストップワードとは 2. 分析の対象 3. 単語の分布に対する考察 ┣ 出現頻度 上位300件 ┗ 出現頻度と単語 4. 品詞ごとに考察 ┣ 名詞

    • テクノロジー
    • 2019/06/25 15:00
    • 自然言語処理
    • 形態素解析
    • nlp
    • 日本語
    • japanese
    • 言語
    • ai
    • 技術
    • 記事内容に関するお詫び - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

      9 users

      mieruca-ai.com

      平素は大変お世話になっております。 ミエルカAIブログ 編集チーム一同です 本記事(https://mieruca-ai.com/ai/fisherian-bayesian/ ※現在は内容非公開)の内容に 誤りや誤解を招く表現が、ございました。 つきましては、指摘いただいたご記載含め、 まずは、記事内容の取り下げを早々に行いました。(2019年7月16日10時35分) 今後、内容につきましては、鋭意検討していく所存です。 お手数をおかけしまして、恐縮の至りではございますが 何卒よろしくお願いいたします。 この度は、多大なるご迷惑をおかけしましたことを 心よりお詫び申し上げます。 今後このようなことのないように徹底してまいります。 どうぞよろしくお願いいたします。 ミエルカAIブログ 編集チーム一同

      • テクノロジー
      • 2019/06/01 07:49
      • あとで読む
      • 【技術解説】潜在意味解析(LSA) ~特異値分解(SVD)から文書検索まで~ - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

        6 users

        mieruca-ai.com

        今回は潜在意味解析(Latent Semantic Analysis: LSA)と特異値分解(Singular Value Decomposition: SVD)について解説します. LSAは文書の分類や,情報検索の分野(この分野ではLSIとして知られる)などに使われるトピックモデルの代表例として知られています. このモデルを使うと,単語と文書のそれぞれの組み合わせについて,類似度を測れるようになります. 目次 潜在意味解析(LSA, LSI)とは 特異値分解(SVD) LSAのアルゴリズム LSAの応用 LSAの問題点 参考文献 潜在意味解析(LSA, LSI)とは 潜在意味解析(Latent Semantic Analysis: LSA)とは,1990年にDeerwesterらが発表した,文章の自動インデックス化,検索の方法である.検索の分野では潜在意味インデックス(Latent Se

        • テクノロジー
        • 2019/02/26 08:05
        • あとで読む
        • 【技術解説】似ている文字列がわかる!レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改

          62 users

          mieruca-ai.com

          ミエルカAI TOP > メディア > 技術解説 > 自然言語処理 > 【技術解説】似ている文字列がわかる!レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは 執筆:金子冴 人はだれしも間違いを犯すものである.徹夜で仕上げた報告書を提出した後,よく見直してみると誤字脱字が山ほど見つかった経験が読者にもあるだろう(もしかすると私だけかもしれないが).そういう時,もし自動で間違っている単語を見つけてくれるプログラムがあったら…と考える人もいるかもしれない.そこで今回は,文字列同士の似ている度合いを計算する2つの手法を紹介しよう. ●レーベンシュタイン距離(Levenshtein Distance) ●ジャロ・ウィンクラー距離(Jaro-winkler Distance) 目次 文字列の類似度,距離 編集処理(挿入,削除,置換) レーベンシュタイン距離(Levenshtein Dis

          • テクノロジー
          • 2018/08/24 17:48
          • アルゴリズム
          • 自然言語処理
          • 【技術解説】集合の類似度(Jaccard係数,Dice係数,Simpson係数) - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

            27 users

            mieruca-ai.com

            執筆:金子冴 前回の記事(【技術解説】似ている文字列がわかる!レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは)では,文字列同士の類似度(距離)が計算できる手法を紹介した.また,その記事の中で,自然言語処理分野では主に文書,文字列,集合等について類似度を計算する場面が多いことについても触れた.今回は集合同士の類似度を表現する以下の3つの係数と計算方法について解説する. ●Jaccard係数 ●Dice係数 ●Simpson係数 その前に,自然言語処理で類似度を表す指標について確認しよう. 自然言語処理で使用される類似度(距離) 自然言語処理の分野では,類似度を測る対象によって手法を使い分ける. ここでは事前に,主に使用される手法について確認しておこう. ベクトル同士の類似度 ●コサイン類似度 ●ピアソンの相関係数 ●偏差パターン類似度 集合同士の類似度(今回の解説対象) ●J

            • テクノロジー
            • 2018/08/09 11:00
            • algorithm
            • math
            • あとで読む
            • 中学生でもなんとなくわかるDeepLearningのアルゴリズム

              113 users

              mieruca-ai.com

              人工知能(AI)やDeepLearning(ディープラーニング),この頃よく聞きますよね. しかし,いまいち何なのかよくわからないという人は多いのではないでしょうか. 私の周りの人たちも教養として興味はあるけれども,数式が出てくると何がなんだかという人が多いようです. また,人工知能やディープラーニングをビジネスに応用したいけど何ができるのか全く見当もつかないといった人も多いようです. そもそも,ディープラーニングとはなんのことなんでしょう.AIや機械学習との違いはどこにあるのでしょう. そこで今回はエンジニアや理系の学生でない人に向けて,ディープラーニング(主にその基礎となるニューラルネット)の仕組み,原理,アルゴリズムや種類,それが何の役に立つのかについて解説してみようと思います. このような場合には,よくわからない記号が出てくる数式は避けるべきだと思います. しかし,すべてを包み隠さ

              • テクノロジー
              • 2018/07/18 23:48
              • 機械学習
              • deeplearning
              • あとで読む
              • アルゴリズム
              • AI
              • 入門
              • 学習
              • エンジニア
              • データ
              • 動的計画法がわかる!ダイクストラ法の実装(Python)や問題への適用手順 - ミエルカAI

                8 users

                mieruca-ai.com

                執筆:金子冴 今回は,Viterbiアルゴリズムの解説(【技術解説】HMMに基づいたViterbiアルゴリズムによる解推定手法(例題つき))をした際に登場した動的計画法について,その解説と,簡単な例を用いたプログラム(Python)での実装例を紹介する.また,問題文から動的計画法を用いて問題を解決する際のプロセス(漸化式の作成方法等)についても触れながら,具体的な応用方法について確認する.まずは,動的計画法とはどういうものなのか,概要を確認しよう. 目次 動的計画法(DP;Dynamic Programming)とは 例題:最短経路問題をダイクストラ法で解く(Python実装) 動的計画法を用いた問題解決手順 参考 動的計画法(DP;Dynamic Programming)とは 動的計画法の概要 動的計画法とはそのままでは解けないような大きな問題を複数の小さな問題(部分問題と呼ぶ)に分解し

                • テクノロジー
                • 2018/07/12 22:01
                • 分析
                • https://mieruca-ai.com/ai/research-tf-idf-lsi-lda/

                  3 users

                  mieruca-ai.com

                  • 学び
                  • 2018/07/12 17:45
                  • 【技術解説】HMMに基づいたViterbiアルゴリズムによる解推定手法(例題つき) - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

                    5 users

                    mieruca-ai.com

                    執筆:金子冴 今回は,形態素解析器であるMeCab,Chasen,JUMANで解探索アルゴリズムに採用されているViterbiアルゴリズム(Viterbi algorithm)について解説する. 目次 Viterbiアルゴリズム(Viterbi algorithm)とは Viterbiアルゴリズムの推定手順 Viterbiアルゴリズムの推定手順(例題) Viterbiアルゴリズムの応用可能性 参考 Viterbiアルゴリズム(Viterbi algorithm)とは アルゴリズムの解説にうつる前に,まずは概要を理解しよう. Viterbiアルゴリズムの概要 “ビタビアルゴリズム(英: Viterbi algorithm)は、観測された事象系列を結果として生じる隠された状態の最も尤もらしい並び(ビタビ経路と呼ぶ)を探す動的計画法アルゴリズムの一種であり、特に隠れマルコフモデルに基づいている。

                    • テクノロジー
                    • 2018/06/20 14:10
                    • あとで読む
                    • 【技術解説】マルコフモデルと隠れマルコフモデル - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

                      6 users

                      mieruca-ai.com

                      執筆:金子冴 今回はマルコフモデルと,マルコフモデルを拡張した隠れマルコフモデルを題材に,それぞれのモデルの解説と2つのモデルの違いについて解説する. まずはマルコフモデルについて解説しよう. 目次 マルコフ過程とは マルコフ過程の分類とマルコフ連鎖について 隠れマルコフモデルとは マルコフモデルと隠れマルコフモデルの違い(応用例) 参考 マルコフ過程とは マルコフモデルを説明すると言っておきながら,見出しがマルコフ過程となっていることに疑問を抱く人もいるだろう.一般的にマルコフモデルといった場合,マルコフ過程を指す.それでは,マルコフモデル改め,マルコフ過程の概要を確認しよう. マルコフ過程の概要 “マルコフ過程(マルコフかてい)とは、マルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。” – マルコ

                      • テクノロジー
                      • 2018/06/20 14:10
                      • 【技術解説】CRF(Conditional Random Fields) - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

                        7 users

                        mieruca-ai.com

                        執筆:金子冴 今回は,形態素解析器の1つであるMeCab内で学習モデルとして用いられているCRF(Conditional random field)について解説する. 初めに,CRFのwikipediaの定義を確認しよう. CRF(Conditional random field)の定義 “条件付き確率場(じょうけんつきかくりつば、英語: Conditional random field、略称: CRF)は無向グラフにより表現される確率的グラフィカルモデルの一つであり、識別モデルである。” – 条件付き確率場(wikipedia) また,CRFは特徴的に訓練されたマルコフ確率場(マルコフ性のある確率変数の集合)である. それでは,定義に登場する用語について無向グラフから順に解説する. 無向グラフとは 無向グラフは方向性のないエッジ(辺)とノード(頂点)からなるグラフである.方向性がないとは

                        • テクノロジー
                        • 2018/06/20 14:10
                        • ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発 - ミエルカAI - ミエルカAI は、自然言語処理技術を中心とした、チャットボット・サイト改善・レコメンドエンジンの開発を行っています。

                          18 users

                          mieruca-ai.com

                          ストップワードの除去は自然言語処理やテキストマイニングにおける重要な作業です. 解析の精度を上げるために不要な記号や単語を等をデータセットから除去します. ストップワードの選定にはタスクに特化した分析が必要ですが,ある程度整理されているデータがあるととても助かります. そこで,今回は私が自然言語処理のタスクでよく行う,日本語のストップワードについてまとめました. また単語の分布などから,品詞ごとのストップワードに対する考察も行いました. このことからストップワードを介して自然言語処理のあまり語らることのない知識などをご共有できればと思います. (この記事の考察部分は主に自然言語処理の初心者を対象とした入門記事です.) (more…)

                          • テクノロジー
                          • 2018/06/19 09:21
                          • 自然言語処理
                          • programming
                          • 【技術解説】形態素解析とは?MeCabインストール手順からPythonでの実行例まで - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

                            8 users

                            mieruca-ai.com

                            執筆:金子冴 今回は,自然言語処理分野で事前処理として用いられることが多い形態素解析に着目し,形態素解析を行う目的や,主要な形態素解析器の比較を行う.また,形態素解析器の1つであるMeCabを取り上げ,インストール方法や実行例,商用利用の注意点等を確認する.また,次回以降の記事にて,MeCabで用いられている以下のアルゴリズムについて解説する. ●bi-gram マルコフモデル(解析モデル) ●CRF(Conditional Random Fields)(学習モデル) ●Viterbi(解探索アルゴリズム) 初めに,形態素解析の概要とメリット,注意点について確認しよう. 目次 形態素解析(Morphological Analysis)とは 形態素解析器(MeCab,JUMAN,その他)の紹介 MeCabのインストールと辞書の追加手順 MeCabの実行例(コマンドライン, Python) M

                            • テクノロジー
                            • 2018/05/15 09:56
                            • 【技術解説】単語の重要度を測る?TF-IDFとOkapi BM25の計算方法とは - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

                              12 users

                              mieruca-ai.com

                              執筆:金子冴 世の中には単なるメモ書きから予算案,スポーツ記事や文学作品等,数えられないほどの文書が存在する.例えば,その数多の文書から「スポーツに関する記事が読みたい」と思った時,どれがスポーツに関する文書なのか判断する必要があるだろう.しかし,すべての文書を目で読んで判断することは到底不可能であり,現実的ではない.今回は,数多の文書に含まれる単語の重要度を測る手法であるTF-IDFとOkapi BM25について解説する. 目次 TF-IDFとは Okapi BM25とは TF-IDFおよびOkapi BM25の応用可能性 参考 TF-IDFとは TF-IDFとは,文書内に出現する単語について,以下の2つの情報から,その単語の重要度を算出する手法である. ・単語の出現頻度(TF値) ・単語の逆文書頻度(IDF値) それぞれについて,その値が表す意味と計算式を確認しよう. TF(Term

                              • テクノロジー
                              • 2018/05/08 21:09
                              • 自然言語処理
                              • search
                              • AI
                              • 開発
                              • あとで読む
                              • 【研究】技術的側面からの検索エンジンの考察 ~第1回 テキストマイニングの基本中の基本、形態素解析とBOWとは~ - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発

                                5 users

                                mieruca-ai.com

                                ミエルカAI TOP > メディア > 研究ブログ > 【研究】技術的側面からの検索エンジンの考察 ~第1回 テキストマイニングの基本中の基本、形態素解析とBOWとは~ 「検索エンジンのアルゴリズムを技術的に紐解いてみたい」というモチベーションで、当連載を始めることにしました。 とはいえ、中々これは壮大な取り組みになります。先がどうなるかわからないです。しかし、なにごともとにかく触れてみるやってみる、すなわちハンズオンが重要です。 そのため、初期の三部作だけ予告して、連載を始めてみたいと思います。 とにかく初期の三部作では、「テキストマイニングの知見から検索エンジンのアルゴリズム変遷を振り返る」ものとしたいと思います。それぞれの回では、 第1回 テキストマイニングの基本中の基本、形態素解析とBOWとは 第2回 テキストマイニングの基本的手法(TFIDF、LSI、LDA) 第3回  検索エン

                                • テクノロジー
                                • 2015/06/24 16:54
                                • 形態素解析

                                このページはまだ
                                ブックマークされていません

                                このページを最初にブックマークしてみませんか?

                                『ミエルカAI - 【法人向け】自然言語処理技術を活用した、APIソリューション提供』の新着エントリーを見る

                                キーボードショートカット一覧

                                j次のブックマーク

                                k前のブックマーク

                                lあとで読む

                                eコメント一覧を開く

                                oページを開く

                                はてなブックマーク

                                • 総合
                                • 一般
                                • 世の中
                                • 政治と経済
                                • 暮らし
                                • 学び
                                • テクノロジー
                                • エンタメ
                                • アニメとゲーム
                                • おもしろ
                                • アプリ・拡張機能
                                • 開発ブログ
                                • ヘルプ
                                • お問い合わせ
                                • ガイドライン
                                • 利用規約
                                • プライバシーポリシー
                                • 利用者情報の外部送信について
                                • ガイドライン
                                • 利用規約
                                • プライバシーポリシー
                                • 利用者情報の外部送信について

                                公式Twitter

                                • 公式アカウント
                                • ホットエントリー

                                はてなのサービス

                                • はてなブログ
                                • はてなブログPro
                                • 人力検索はてな
                                • はてなブログ タグ
                                • はてなニュース
                                • ソレドコ
                                • App Storeからダウンロード
                                • Google Playで手に入れよう
                                Copyright © 2005-2025 Hatena. All Rights Reserved.
                                設定を変更しましたx