TechCrunch | Startup and Technology NewsFeaturing Prime Minister of Greece & top Euro tech voices!
機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]
自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすことなく、また何の目的もなくブログを分析してみることにしました。今回は以前から興味のあった機械学習を用いたブログの文章の分析・可視化（テキストマイニングと呼ばれるらしいです）にチャレンジしてみることにしました。どちらかというとテキストマイニングが主で、使用する素材（学習データ）に困ったので仕方なく自分のブログを使ってみたというのが正直なところです。 ネットでコピペすりゃ簡単にできるだろと思っていたのですが、自分のやりたいことするのはそれなりに大変だったので、知見としてやり方とどんなことが分かるのかを残しておきます。 ブログのテキ
![機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/53baca70fcdf8a36bdde0cca3f5f5bb458dd6502/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F39108ba4d9212baac1dbca353b64e95fe71fc61b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180208%252F20180208010932.png)
ファクトチェックを支援する技術的な取り組みについてデブサミ 2018 #devsumi でお話してきました
ファクトチェックを技術的に支援する取り組みPermalink 昨年 6 月の ファクトチェック・イニシアティブ 設立とともに始まった テクノロジーを用いたファクトチェック支援 を目指すプロジェクト1 では、ファクトチェッカーの方々の業務を自然言語処理や機械学習を用いて効率化したり、またファクトチェックの成果物であるレビューデータをオープンに利活用できる仕組みを作ることを目的としています。 今回のデブサミでは、特に前者の取り組みについてお話ししました。発表資料は以下になります。 発表を終えてPermalink 発表では「ファクトチェック」の説明にかなり時間を割いて話をしたので、その分技術寄りの話がちょっと手薄になってしまった感がありました。自然言語処理や機械学習の濃ゆい話を期待していた方にはちょっと物足りない発表だったかもしれません 🙇 なおそのあたりの話題については発表でも言及したとおり
【Unity】Unityで機械学習する「ML-Agent」を色々と試して得た知見とか - テラシュールブログ
去年の９月頃、Unityで機械学習を行う ML-Agent（ver 0.01)が公開されました。 このライブラリを使用すると、Unity上で作成したゲームで機械学習によるAIを実行したり出来そうです。 最近このML-Agentを使用して色々と試していたのですが、ある程度形になったので色々とこちらの記事にメモを残します。 目次 機械学習？ 強化学習？ 報酬は"結果"ではなく"連続した動作"に与えられる Unityと強化学習 独自のプロジェクトを作ってみる シーンのセットアップ アクションの設定 Stateの設定 Reward（報酬）の設定 終了とリスタート 学習 その他 関連 機械学習？ 機械学習は最近騒がれている技術の一つで、AIの一種です。 その特徴は、「明示的にプログラムされる事なく、経験から学習する」という点にあります。この学習のプロセスは、提供されたデータに基づいてパターンを抽出、
Hacker Tackleで「はてなにおける機械学習の取り組み」について登壇しました - yasuhisa's blog
LINE福岡で行なわれたHacker Tackleにて登壇してきました。 発表内容は(1)機械学習を使ったサービス開発の難しい点について整理し(2)その難しさを乗り越えていくためにはてながどのような取り組みを行なっているかについてでした。一口に機械学習を使ったサービス開発といっても、古典的な問題設定でどうやればいいか比較的クリアに見えているものと、R&D要素が強くどう取り組んでよいか分からないものではよい取り組み方も異なってきます。そこで、今回の発表では古典的な問題設定(テキスト分類)であるBrandSafe はてなのリニューアル、R&D要素の強いMackerelの異常検知、それぞれに対し技術的/組織的にどのような取り組みを行なったかについて話させてもらいました。 はてなにおける機械学習の取り組み from syou6162 登壇時間は30分で割と話すことも多かったので、当初話す予定だった
Gradient descent, how neural networks learn | Deep Learning Chapter 2
Cost functions and training for neural networks. Help fund future projects: https://www.patreon.com/3blue1brown Special thanks to these supporters: http://3b1b.co/nn2-thanks Written/interactive form of this series: https://www.3blue1brown.com/topics/neural-networks This video was supported by Amplify Partners. For any early-stage ML startup founders, Amplify Partners would love to hear from you v
R＆D部部長が語る、ホットリンクにおける「データサイエンティスト定義と求められるスキル」の話｜#ホットリンク
R&D部部長の 榊 です。今日は、当社におけるデータサイエンティストの定義と求められるべきスキルセットについて話したいと思います。 概要 下図のように当社における「データ分析を活用したSaasを開発する場合のデータサイエンティストの定義」を作りました。 既存の3つの定義から、良い部分を拝借しました。 各社ごとに、自社にあったデータサイエンティストを定義しておくのが重要ではないか？ はじめに 当社は、「データとAIで意思決定をサポートする」を事業ミッションとして掲げており、特に去年から人工知能技術 （※） に長じた人材、言い方を変えればデータサイエンティストの採用と育成に力を入れてきました。しかし、特に社内で「データサイエンティストとは何か」の定義などを作ることもなく、当社に必要な人材のスキルを列挙し、そちらを募集要項に書くことで満足していました。 そんな中で、某強面の役員から、ある日 「そ
tensorflowbook.com
<p>Original location: <a href="http://www.tensorflowbook.com/?new">http://www.tensorflowbook.com/?new</a> </p>
近接勾配法（Proximal Gradient Method） - Qiita
はじめに 効くか効かないかわからない特徴量が大量にあって、中にはいくつか効くものがきっとある・・・というときに、L1正則化やGroup LASSOが用いられます。これらは微分不可能な点を含むため、通常の勾配法では解けません。 そこで、微分不可能な点を含む凸関数最適化の一手法である近接勾配法について、勉強したことをまとめてみました。 近接勾配法の更新式 微分可能な凸関数$f(\boldsymbol{x})$と微分不可能な点を含む凸関数$g(\boldsymbol{x})$に対して、$F(\boldsymbol{x})=f(\boldsymbol{x})+g(\boldsymbol{x})$を最小化します。 ステップ$k$における点$\boldsymbol{x}_k$とステップ幅$\eta$に対して、近接勾配法は \begin{align} \boldsymbol{x}_{k+1} &= {\
敵対的摂動入門
数ヶ月卒論で取り組んだ程度の知識で恐縮ですが、本記事ではadversarial perturbationの研究の全体像が把握できることを目指します。敵対的摂動はadversarial perturbationの直訳で(必要にかられて)僕が勝手に呼んでいるだけの用語です。この記事はなるべく短くまとめますが、需要があればもう少し長い記事も書くかもしれないです。 index 敵対的摂動とは 敵対的摂動を作る 敵対的摂動から守る 敵対的摂動とは – 有名なのは下の図ですね。出典:Explaining and Harnessing Adversarial Examples. 概要をざっくり説明すると、人の目には見えないノイズを加えることでネットワークの出力をコントロールできてセキュリティ上やばいという話です。 ガードレールに自動運転者を突っ込ませるとかstop signを無視させるとか自動検知システ
W3C、「WebAssembly」仕様について初めてのワーキングドラフトを公開
W3CのWebAssemblyワーキンググループは、「WebAssembly」仕様に関する初めてのワーキングドラフトを公開した。WebAssemblyはすでに主要なブラウザで実装が進んでいるため、このまま順調に勧告となるのではないか。 マイクロソフト、Google、Mozilla、Appleなどの主要なWebブラウザベンダが協力して、Webブラウザ上でネイティブコードに近い実行速度で高速に実行できるバイナリフォーマット「WebAssembly」の開発に取り組んでいます。 すでに実装の面では、昨年2017年11月の時点でChrome、Firefox、Safari、Edgeの主要なWebブラウザでのWebAssembly対応が揃っていますが、同時にW3CにおいてWebAssemblyの標準化作業が進められています。 そのW3Cから、WebAssembly仕様について初めてのワーキングドラフトが
ニューラルネットワーク使ったAIなんかめっちゃ簡単だから。俺天才ｗｗみたいなフリすんのやめろ - bonotakeの日記
スイマセン。クソ煽りタイトルですが、下記の記事のタイトル意訳しただけです。草生やして更にクソさを増してはいます。 Neural network AI is simple. So… Stop pretending you are a genius 個人的にはぜひ本文読んでこの記事のクソ煽りっぷりを満喫してほしいのですが、英語読むのもメンドクセという方に、何が書いてあるかをさらっとだけ説明すると。 要はニューラルネットワークって、↓のPythonで11行のコード分の処理やってるだけじゃね？ こんなの使いまわした程度で「うはｗｗｗ俺天才ｗｗｗ」みたいな顔すんのやめろ、ってことのようです。 まぁハッキリ言って、クソ記事ｗｗｗ煽り乙ｗｗｗなんですけど。 でもぶっちゃけ、真実なんですよ。ある面においては。 僕も今の会社に入るまでディープラーニングに関する知識ほぼゼロだったけど、今は少なくとも、自分の業
ExcelにPythonが搭載？ - Qiita
自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにします。自分は、ExcelはデータのためのGUIツールとしては便利で役に立つツールだと思っています。ただ、VBAの方が長年放置されていて最近の言語としては落第なのでPythonが搭載されることを期待したいと思っています。急遽テーマを変更したので、時間がなくて以下は「Excel VBA Advent Calendar 2017 20日目」の記事と同じにしてしまいました。 「ExcelにPythonが搭
AIの進展と「ブラックボックス」の実情
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 人工知能（AI）は着実に普及が進んでいる。また、ビッグデータや機械学習（ML）、ニューラルネットワークとともに、テクノロジ分野の流行語となっている。しかし、こうしたかたちで語られるAIという言葉には、多少の誇張が含まれており、AIの土台となる詳細や、AIが業務にもたらす意味について十分に知られていない場合がある。このまま普及していくと、企業はマネジメントにおける難題を抱える可能性も考えられる。 例えば、アナリティクスの結果が、元となるデータの品質によって歪曲される可能性がある。そうしたことを考慮し、ブラックボックスでの意思決定を避ける必要があるとの見方がある。一方で、そのようなAIによる判断の根拠を説明することが難しいというブラックボッ
サーバレスコンピューティングの基本的な知識を網羅。その定義、歴史、ユースケース、利点と欠点、モデルなどをまとめたホワイトペーパー「CNCF Serverless Whitepaper v1.0」をCNCFが公開
サーバレスコンピューティングの基本的な知識を網羅。その定義、歴史、ユースケース、利点と欠点、モデルなどをまとめたホワイトペーパー「CNCF Serverless Whitepaper v1.0」をCNCFが公開 Kubernetesなどの開発をホストするCloud Native Computing Foundation（CNCF）には、サーバレスコンピューティングを主題に活動する「Serverless Working Group」が設置されています。 そのSeverless Working Groupが、サーバレスコンピューティングに関するホワイトペーパー「CNCF Serverless Whitepaper v1.0」を公開しました。 ホワイトペーパーの冒頭には、次のようにこのドキュメントの内容が説明されています。 This paper describes a new model of
「入門コンピュータ科学 ITを支える技術と理論の基礎知識」を読んだ - 桐生あんずです
桐生あんずです。 最近、プログラミング言語の教本を読み進めて勉強してはいるけれども、もっと根底の部分というか情報学の土台の部分をもっと知るべきなのではないかと思ってまずはKADOKAWAから出版されている「入門コンピュータ科学 ITを支える技術と理論の基礎知識」を数日間かけて読んでいた。 入門 コンピュータ科学 ITを支える技術と理論の基礎知識 作者: J.Glenn Brookshear,神林靖,長尾高弘出版社/メーカー: KADOKAWA発売日: 2017/03/15メディア: 単行本この商品を含むブログを見る内容としては、1~3章はブール演算の説明から始まり、マシン語やオペレーティングシステムといった情報学の土台の土台と言えるような話が続く。 個人的に、実学的な話だと強く感じ始めたのは4章からでネットワークの基礎の話が始まりサーバーとクライアントの構造やネットワークセキュリティの解説
プログラマーで年収1,000万円は高い？目安となる月収や習得すべき言語は？ | クリエイターのための総合情報サイト CREATIVE VILLAGE
「年収1,000万円」これは日本で働くうえで、収入の1つの大台と言えます。職種によって実現のしやすさは変わりますが、果たしてプログラマーでも年収1,000万円に到達することはできるのでしょうか？ 今回はプログラマーが年収1,000万円を目指すうえでどんなことを意識すべきなのか、稼げるプログラミング言語はあるのか、キャリアプランはどう描くべきなのかなど、高収入プログラマーを目指すうえで必要なポイントを解説します。 システムエンジニア（SE）とプログラマーの違い SEとプログラマーの年収の差を見ていく前に、まずはそれぞれの仕事内容の違いから確認することが重要です。それぞれの仕事内容によって年収にも少なからず差が出る傾向にあります。 システムエンジニア（SE）の仕事内容 例えば、新しいソフトウェアを開発するとしましょう。これを完成させるには、SEとプログラマー双方の力が必要ですが、まず動き出すの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI人材の増員急ぐ製造業、トヨタやパナソニックなど大手18社の方策
Team AI Blog -AI・機械学習に関わるキャリアとスキルアップの情報を発信
人工知能の運用・保守に関するノウハウを総まとめ 『人工知能システムのプロジェクトがわかる本』
