はてなブックマーク

こんにちは、日本語のテキスト処理してますか。 最近はBERTやらTFhubで使えるのEmbeddingのモデルが一段と増えてきて、楽しいですね。BERTで用いられるWordPieceや、MeCabの作者としても有名な工藤さんの新作、SentencePieceといった新しいTokenizerが出てくる一方で、TFhubで用意されているNNLMのtokenizerは公開されていないので結局MeCabで頑張らないといけない(少なくとも当初Tokenizerなんて要らないよという返事をされた)など、2018年の今でもMeCabの重要性は変わらず続いています。 そこで、今回はWindowsでも形態素解析をしたいという人にどうしたらいいんだっけという話の2018年12月版をしたいと思います。 tl;dr64bit版のMeCabインストーラーが欲しい場合はikegami-yukinoさんのこちらの非公式

RISELabのStack上の図のオレンジと緑の部分が彼らが作っているフレームワークになるのですが、その中でも以下のものについての紹介がありました。 RAY, RLlib, Tune: Pythonの分散処理フレームワークRAYと、それを使った強化学習ライブラリRLlib、パラメータチューニング用のライブラリTuneFlor: MLのモデル作成のための実験をtrackingするためのライブラリClipper: MLモデルのServing用のAPIサーバを立てたり管理するためのライブラリPyWren: AWS Lambdaを使った並列処理のためのライブラリOpaque: Apache Sparkを使った暗号化したDataFrameを処理するライブラリWAVE: Decentralised authorization for IoTtl;drという名の感想機械学習エンジニアリングは複雑で、モデ

現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアの… ただ、Clouderaのセールスエンジニアのロールは継続的に使っていただくために割となんでもするという感じで裁量も大きく、Field Data Scientistという風に名乗らせていただいて、Spark周りのBig Dataの話とデータ活用の話、それから機械学習の話を幅広くさせていただきました。 おかげさまで、国内外での発表も色々とさせていただきましたが、USのエンジニアブログにも5本ほど執筆させてもらい、Strata Data Conference Singapore 2017での発表や、自社の全エンジニアが集まる社内テックサミットでの発表などかなり

長い間、Pythonでパッケージを作った場合、構造化されたドキュメントを使う場合は、reStructuredText (reST)でドキュメントを書く必要がありました。 ところが、aodag さんに教えてもらったのですが2018年2月にアクセプトされたPEP 566のおかげで、PyPIのドキュメントがtxtかreSTでなければいけないという制約が外れました。そこで、昨日新しくなったばかりのPyPIでMarkdownがレンダーできる方法を試してみました。 (必要に応じて)ライブラリをupgradeするMarkdownが扱えるようになったのは、setuptoolsのv38.6.0からです。古いバージョンだとMarkdownがレンダーされないので、合わせてpipとwheelをupgradeしておきました。 $ python -m pip install --upgrade pip $ pip i

どういう本なの？まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。 めざすところのイメージ既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう？という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう？という人にも得るものがあると思い

英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ

Amazonでエリン・メイヤー, 田岡恵, 樋口武志の{ProductTitle}。アマゾンならポイント還元本が多数。一度購入いただいた電子書籍は、KindleおよびFire端末、スマートフォンやタブレットなど、様々な端末でもお楽しみい… よく「日本は」「海外は」という議論が巻き起こることがあるが、これはそもそもナンセンスだなとぼんやりと思っていたことを明確にしてくれた。それは、文化は国によって相対的なのだ、ということである。 無論、こう書くと「自分は日本人の中でも特殊だ」とかいう国の中での分散はもちろんあるのだが、それが当たり前と生まれ育ってきたものは何が特殊なのかは相対化しないと認識できない。本書の中では、「デンマークの赤ちゃんは氷点下でも外で昼寝をさせる」ということに対して、デンマーク人は特に違和感なく話しているという例が出ている。 これは、ただ国ごとにステレオタイプを列挙していると

Ubuntu 17.04 on 4k monitor基本的に、X1 Carbonに最初から入っているWindows 10がBitlockerが有効化されていてセキュアなので、以下を参照しながらデュアルブートにしました。（とはいってもうっかりUbuntu側をセキュアにし忘れた）

joker1007さんも煽っていることもあり、MacBook Pro Retina(2015) 15インチが重すぎてしんどいので、Thinkpad X1 Carbon(2017)を買いました。2.04kgから1.13kgへと大幅軽量化しました。外での打ち合わせや出張も結構増えてきて、Macは電源も含めると辛い重さになるので思いきって買いました。背中と腰が死にそうなので軽さは正義です。(msfmさん色々ご相談に乗っていただきありがとうございました！） 選定のポイントは 1.3kg以下英語キーボードメモリ16GB15万円くらいまでという条件で選んだのですが、最後まで残ったのはDell XPS13とX1 Carbonだけでした。最初は値段の安さと軽さに惹かれてZenbook 3をメインに機能と値段の比較表を書いていたんですが、途中で店頭でキーボード触ってみて、日本語キーボードだとホームポジション

このポストは、最近もやもやっと思っていることを吐き出したポエムである。厳格なファクトチェックを経たものと期待しないで欲しい。 tl;drサイバー攻撃としてプロパガンダをばらまくことを行うハッカーグループがいる彼らはfake newsサイトをいくつも作って選挙等に介入している不正アクセスして得た結果を、自分たちに有利な情報をフィルターしてWikileaksに流し、ニュースの情報源をコントロールしている本文ここ最近、日本でも”fake news”という単語を聞くようになってきた。僕が聞いたのは、rebuild.fmでその単語が出てきたときだったが、何故出演者がFacebookも引き合いに出して、怒りを感じているのかがわからなかったので少し調べてみた。もちろん、足りない視点などあるとは思うので、見つけたらこっそり教えて欲しい。 日本語でフェイクニュースや偽ニュースと言うと、虚構新聞のことか、とか