最近、こうしたウェブサービスの自動化が話題になることが多いですね。 Dropboxの特定のフォルダにファイルを追加すると、それが文書であるか、画像であるかによって特定のアクションを起こしてくれる Dropbox Automatorというサービスがありました。 たとえば文書ならPDF化したり、画像ならばサイズを変更したり、Flickrにアップロードしたりといったアクションを起こすことができます。Dropboxを使うとき、私たちはよくそれを別のことをするための「踏み台」に利用することが多いのですから、こうしたアクションの自動化は自然に感じられますね。 Dropbox Automator の設定 Dropboxアカウントでログインすると、「Choose a folder」という表示がありますので、フォルダを選択します。すると、以下のアクション設定画面が表示されます。 文書だと、PDFへの変換、要
「量子コンピュータの発展は仮想通貨やビットコインにとって、非常に大きな脅威になると考えている」―――一橋大学の野口悠紀雄名誉教授は、9月27日に開かれたRakuten FinTech Conference 2017の講演「ブロックチェーンの進化とDigital通貨」でそう話した。 ビットコインをはじめとする仮想通貨は、ブロックチェーンと呼ばれる分散型台帳技術に支えられており、取引の承認や追記を行うには難易度の高い計算問題をコンピュータで解く必要がある。野口名誉教授によれば、この計算問題を解くには“総当たり攻撃”――可能な数を1つ1つ試して正しい答えを見つけるという方法しかなく、この方法にブロックチェーンの暗号技術は依存しているのだという。 しかし、量子コンピュータの発展は加速しており、5年以内に実用的な量子コンピュータを発表する予定の企業もあるという。そうなればコンピュータの計算スピードは
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
NortonLifeLockは米国時間6月2日の発表で、新機能「Norton Crypto」をNortonのアーリーアダプター向けプログラムに参加している一部のユーザーを対象に3日から提供すると述べた。 Norton Cryptoは、「安全かつ容易に仮想通貨をマイニング」できるよう設計されている。初期段階ではイーサリアムをマイニングできる。 マイニングソフトウェアは、PCのCPUやグラフィック機能を利用して、イーサリアムやモネロなどの仮想通貨を入手する。しかし、NortonLifeLockによると、そのためにはノートン360などのウイルス対策ソリューションを無効にしなければならない場合があり、そうすると「精査されていないコード」がシステムに侵入するおそれがある。 NortonLifeLockは、こうしたリスクを冒して仮想通貨をマイニングすると、ユーザーのハードドライブ上にあるストレージにコ
都立大 自然言語処理研究室 - 自然言語処理が学べる研究室
2023年3月をもちましてこちらのページの更新を停止します。ご活用いただき、ありがとうございました。 自然言語処理を学ぶことができる研究室をリストアップします。自然言語処理の研究をしている（= 国内では言語処理学会を主な研究発表の場所としている）教員が2名以上いる大学が対象です（私立大学は早稲田大学と法政大学と豊田工業大学です）。うち、教員が1研究室で3人以上いるのは北大荒木研、東北大乾研、筑波大山本研、東工大奥村研、名大外山研、京大黒橋研、NAIST中村研（ただし中村先生定年のため2022年現在募集停止）、NAIST渡辺研、NAIST荒牧研です。教員が1人だけしかいない研究室と、3人以上いる研究室（特に博士後期課程の在学生が多いところと）は質的にも量的にも違うと思いますので、博士後期課程に進学するつもりの人は、少なくとも1カ所はそれらの研究室を見学したほうがよいでしょう。博士前期課程から
今月中に実験の実装が終わるくらいでないと来月の投稿〆切に間に合わないので、今週から研究室のサーバに Hadoop をインストールしている。 研究室にはサーバが20台弱あるのだが、そのうち10台強を使うことにして設定。これくらいの規模だと「大規模」と言うのは憚られるかもしれないが(Yahoo! や Google と比べて、という意味で。)、中規模、くらいには言ってもいいだろうし、たぶん、多くの大学や企業で使える台数もこれくらいだと思うし、大企業にいないとできない研究をするのも大変価値があるが、他の人たちがやる気になれば真似できる研究をするのも(データやインフラ勝負ではなくアイデア勝負になるので苦しくはあるのだが)重要だと考えている。 たとえば、数台でも分散環境の恩恵が受けられる、というのはPFI が出した Hadoop の解析資料で知っていたので、初めて導入したときは参考になったし、こういう
サイバーパンクとか、どうでしょう。
目次 ■前書き。 ■第一部：小難しくないヤツを読もう。 ▼ペロー・ザ・キャット全仕事＆ボーイソプラノ ▼鬼哭街 ▼オーギュメント・アルカディア ▼殺戮のマトリクスエッジ ▼ヴァーティゴ ▼イノセンス After The Long Goodbye ▼オイレンシュピーゲル＆スプライトシュピーゲル ▼ニンジャスレイヤー ▼スズメバチの黄色 ▼楽園追放 rewired サイバーパンクSF傑作選 ▼攻殻機動隊＆キヌ六 ■第二部：翻訳モノも良いは良い。 ▼重力が衰えるとき ▼ハードワイヤード ▼ドローンランド ▼ネクサス ▼ニューロマンサー ▼クローム襲撃 ▼スノウ・クラッシュ ▼グローバルヘッド ■第三部：あるいはトばし気味のセレクト。 ▼軍事・諜報趣味 ▼探偵モノ趣味 ▼コア・オブ・コア ▼オルタナティヴ ■付記。 わりと初読者にも優しい系 おすすめサイバーパンク小説リスト 「サイバーパンクとか、
はじめに こんにちは。 機械学習エンジニアの辻です。 本記事はdely Advent Calendar 2018の22日目の記事です。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita 昨日は弊社のサーバサイド・エンジニアの山野井が「【Vue.js】算出プロパティの仕組みについて調べてみた」という記事を書きました！ とてもわかり易く解説しているので興味のある方は是非読んでみてください。 tech.dely.jp さて本日は「Lispの車窓から見た人工知能」と題しまして、プログラミング言語Lispから見た人工知能の風景を眺めていきたいと思っています。ぼくはEmacs使いのLisperですが、Lispを書くのは自分用のスクリプトや、Emacs Lispの設定変更といったものだけで、ふだんの機械学習に関す
仕事ではじめる機械学習
ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理します。 プロジェクトのはじめ方や、システム構成、学習のためのリソースの収集方法など、読者が「実際どうするの？」と気になるであろう点を中心にまとめています。上司に「人工知能でいい感じの成果を出してくれ」とあいまいな指示をされたとき、本書で学んだことが活きてくるに違いありません。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確
サポート切れOS使っていけない論 今月Windows7のマイクロソフト標準サポートが切れた話があって、今後、Windows7を使い続けるのは危険だ！と盛り上がっています。OSという視点で言えば、実はiPhoneを動かすiOSだって、Android OSだって、サポート切れという概念はあります。OSベンダーのサポートが切れると危険危険言いますが、この「サポート切れOS使ってはいけない」について整理しておきたいと思います。 所有とリスクの微妙な関係 なぜ整理する必要があるかというと、ソフトウェアはお金を支払って所有するものであり永続的に使用する権利は購入者にあるから、です。買ったんだから使うなとかおかしいでしょ、という議論自体は存在します。 一方で、OSはインターネットにつながるのが当たり前の時代になりました。インターネットには絶えず脆弱性のあるOSを見つけようとする自動化プログラムが存在して
マーケティング3.0時代、ソーシャルメディアのビジネス活用術：In the looop：オルタナティブ・ブログ
前関連記事「マーケティング3.0ってなんだろう？」では、コトラー氏の提唱したマーケティング3.0に関して、その基本的な考え方をシンプルな事例で考察してみた。コトラー氏の説くマーケティングの目的の変遷は以下のとおりだ。 マーケティング1.0 どのようにして販売するか？ マーケティング2.0 どのように顧客に継続購入してもらうか？ マーケティング3.0 どのように生活者に(製品開発や販売などに)協力してもらうか？ また、先日の記事では スターバックスのソーシャルメディア活用 をご紹介したが、実際に彼らのようなソーシャルメディア先進企業においては、製品サービスがどうあるべきか、どのようなメッセージを送り出すべきかについて、生活者と一緒に考えるスタイルが主流になってきた。 では、いかに生活者の協力を得れば良いのか。またそのパワーをどのように活用すれば良いのだろうか。コトラー氏はマーケティング3.0
2017年12月頃から仮想通貨を始めてました。最初に入れたのは3000円くらいです。完全にソシャゲに課金する感覚で買いました。 買った通貨はリップル、元々仮想通貨はビットコインが50万円くらいのときから知っていたので、今買うならリップルだろうなーって感じで、88円のリップルを3000円分くらい買ったのを覚えています。（1ヶ月も立っていないのにいまではありえない金額ですねｗ） で、88円で買ったリップルが100円超えて「運良すぎワロタ」とか言ってたら今週には400円タッチしてました。まじかよ、うけるな 3000円くらいつっこんだのが1万円超えてたりして楽しんでると当事者意識が芽生えて仮想通貨について調べる時間が増えました。少額つっこむだけでも意識がだいぶ変わるので気になってる人はとりあえずちょっと買ってみるのはおすすめです。 あとマイニングもしてるのでpcつけてると月8000円分くらいもらえ
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ
例題で学ぶ微分方程式
多項式回帰やロジスティック回帰など、最近ではデータマイニングや機械学習などでもごく普通の手法として使われる微分方程式について、生態系モデルのシミュレーションを通じて直観的に理解するための入門書。生物の発生モデル、クジラの回遊モデルなどの実例について、Mathematicaによるシミュレーションを通じて理解を促します。なお本書はEbookのみの販売となります。 本書のサンプル（PDF） ダウンロード まえがき 第1章 はじめに：微分方程式とは 1.1 常微分方程式と相図 1.2 微分方程式の数値解法 第2章 基礎編：生物モデルで理解する微分方程式 2.1 ロジスティックモデル 2.1.1 ロジスティックモデルが形成する美しい曲線 2.1.2 定性的な解の捉え方 2.2 2種生物の競合モデル 2.2.1 平衡点の解析 2.2.2 解軌跡 2.2.3 ヌルクラインによる解析 2.3 マグロは絶滅
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
機械での推薦とかいうクソの役にも立たない代物
今、小生はいわゆるデータマイニングなるものの研究をしているが、レコメンデーションなるクソみたいな分野が本当にクソすぎてクソ。 アマゾンの「これを買った人は〜」みたいなものを思い浮かべてくれればいい。何がクソって、評価手法がクソ。 「他の手法より私たちの手法はこんなに優れているよ」というのを何かしらの方法で示すのが評価なわけだが、その方法の主流は ある購入者の過去の購入履歴を見て、ある商品を買った人が次に買った商品をあてて、その精度を競うというもの。 つまり、 「購入者の特性から、ある商品Aを買ったら次は商品Bを買いそうだな。よし、実際に商品Bを買ったという履歴があるので精度100%！」 みたいなことをやるわけだ。 はぁぁぁあぁぁぁぁぁぁっぁぅぅぅうぅぅううっっっ！？？？？？？？？それお前の推薦がなくても買ったってことちゃうんかい！！！！！？？？？？お前の手法超いらねえええええええxじゃああ
インフルエンザで休んだ影響で仕事が鬼のように溜まって消化不良のmikioです（こんな記事を書いている場合じゃない）。さて今回は、Tokyo Cabinetでリレーショナル風データベースを実現したテーブルデータベース（TCTDB）の実装について説明します。 SQLiteとの違いは？ SQLiteはアプリケーション組み込み型のSQL対応リレーショナルデータベースのライブラリです。TCのテーブルデータベースよりもはるかに高機能で、それでいて性能も大変優れています。いわゆるデスクトップアプリケーションに組み込むデータベースをお探しであれば、TCなんかではなく、断然SQLiteがおすすめです。 一方で、TCなどのDBMは、より単純なデータ操作をより高速に実行できるように設計および実装されています。典型的なユースケースとして、大規模Webサイトのアカウント管理や、データマイニングに伴う集計操作が挙げら
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
「感覚的議論は発想の入り口で『それを立証できるか』が新しい世の中」「猛烈に面倒くさがりな大衆を面白がらせなければいけない」「キーになっているのはユーザーの数」「ゲームの原点に返ったコミュニケーションそのものがもっとも重要」「グローバルにコンテンツを展開していくことは、実はものすごくローカルにやっていくこと」世界にソーシャルゲームが広がる中でこれからどんな発想が求められ、それによってどのような世界が形作られていくのか。スマートフォンやインターネットの発展と密接に絡み合いながら開発者たちはさまざまな試行錯誤を繰り返し、理念や方法論を作り上げています。 日本最大のゲーム開発者向けカンファレンス「CEDEC2011」にて「世界の心をつかむスマートフォン時代のゲームとは」と題し、GREEの田中社長を始めとした日米の大手ゲームメーカーの開発者たちがそれぞれの実績を元に未来へのヴィジョンを示しました。そ
取引先とのメールで話題爆発（というか面白がり）していた。移動中なので、軽く触れる。先月の記事なんだね。箇条書きにするお。 靴屋とデータマイニングと季節外れの冬物衣料 http://d.hatena.ne.jp/AntiBayesian/20130423 前提： 内容をすべて否定するものではない。そういう見解も成立するし、ためにする議論ではない。 その１： 「データマイニングに必要なのは意外性だ！」 そもそも意外とか仮説の段階で言っているとしたら、それは使えないデータ担当者だ。クビにするべき。 その２： これを利用して小売店や流通業界はデータマイニングをした。どんな意外性のある結果が出てきたと思う？例えばこんなものだった。「冬は鍋の検索回数が多い」 なんたる自明！ 小売や流通は常に売り場面積や仕入れ対販売という係数に支配されていて、いつまで鍋が検索されて需要があるかというようなロングテール的
人気の高い複数の動画ストリーミングサイトやリッピングサービスが、サイト訪問者の端末の処理能力を利用して、ひそかに仮想通貨のマイニング（採掘）を実行しているようだ。 キプロスに本拠を置くAdGuard Softwareの研究者は現地時間12月13日、「Monero」をはじめとする仮想通貨を勝手にマイニングするケースが、これまで以上に増えていると警告した。トラフィック量の大きいウェブサイトの間で、このような手法で資金を稼ごうとする動きが拡大していることから、この数カ月間で10億人近いサイト訪問者が、知らないうちにマイニングに関わっていた可能性があるという。 こうした未承諾の仮想通貨マイニングは、広告ブロッカーを使えば阻止できるものの、多くのユーザーは今もこのリスクにさらされている。サイト訪問者の端末の処理能力を利用して仮想通貨をマイニングする手法の中でよく使われているものとしては、「Coinh
doda X（旧：iX転職）は、パーソルキャリアが運営するハイクラス転職サービス。今すぐ転職しない方にも登録いただいています。 今の自分の市場価値を確かめてみましょう。 「人工知能」について語られるとき、しばしば起こるのが「人間の仕事は人工知能に置き換えられてしまうのか」という議論。実際、大手金融機関が人工知能コンピュータの質問応答機能をコールセンターに導入するケースなども出始めています。 近年ではグーグルやフェイスブック、国内ではドワンゴなど、私たちがユーザーとして関わっている身近な企業なども人工知能の分野に参入し、徐々にその技術が私たちの生活、さらには仕事に入り込んでくる日が近づいてきたように感じます。 もしも人間の仕事の一部が人工知能に置き換えられてしまう未来が来るとするならば、それに備えるために私たちは今から何を学習すべきでしょうか。人工知能とウェブ工学が専門の東京大学 松尾豊准教
Tim O'Reilly独占直撃インタビュー Web 2.0の父が語る「Web 3.0」とは？ 11月7日から9日にかけてサンフランシスコで開催された「Web 2.0サミット」会場で、「Web 2.0」という言葉を世界に広めたTim O'Reilly氏本人に独占直撃インタビューを行った。 Tim O'Reilly氏が考えるWeb 2.0のその先にあるもの、そしてWeb 3.0とは？ 協力：インプレスR&D インターネット生活研究所 堀田 有利江 Web 2.0の今後の展開について教えてください。Web 2.0の先にあるものは何と考えていますか？ Tim： いくつかあると思う。 1つには、ユーザーデータのみならず、様々な端末やセンサー機器などから収集されるデータの活用法の進化だ。 これはすでに起ったことだが、Web 2.0では、ユーザーにとって容易にアクセスできるアプリケーションが数多く開発
また「マインクラフト」がやりたいな
初めてプレイしたマイクラはマルチ鯖だった。 バージョンは1.5くらいだったかな？ 立方体で構成されたレトロなグラフィックの、しかしどこまでも広がる広大なフィールド。ログインすると他のプレイヤーたちが作り上げた街があって、道は石で舗装され、各自の土地に自宅が、中心地にはでかい城が建っていた。 街から出ると広大な小麦畑。知識のなかった自分はダッシュジャンプで畑を荒らしながらひたすら走り、湧き潰し用の松明を勝手に拝借して人の手の入っていない土地を目指した。森を抜け、砂漠を抜け、誰かが乗り捨てたボートで海を渡った。 一際高い山があったので登ると、カルデラ湖のような地形が形成されていた。しかし雨が降り出して、もう真夜中で、空腹だしゾンビに追われてどうにもならない。地面に穴を掘ってシェルターにして夜を明かした。 夜が明けた。雨も止んだ。ゾンビも燃えた。 暗い土の中から這い出すと、目の前にはカルデラ湖と
＜人間の性欲を研究対象に選んだボストン大学の認知神経科学者2人。セックスの研究は約130年も前に始まったのに、いまだに謎が多いままだ。2人の用いた新たな手段はインターネットとデータマイニングだった＞ 認知神経科学の研究者がポルノの研究をするのは珍しい。だがボストン大学のオギ・オーガスとサイ・ガダムはまさにそれをやってのけ、1冊の本を世に送り出した。2人の抱いた疑問は、「性的欲望と欲情を生み出す脳のソフトウエアは、どんなしくみになっているのか」というものだった。 どうやって疑問に答えるか。カギは、インターネットだ。インターネットを情報源に研究を行えば「信じられないくらい多種多様な人々の生（なま）の活動」を明らかにすることができ、「人間の行動についての世界最大の実験が可能になる」と彼らは考えた。 4億の検索ワード、65万人の検索履歴、数十万の官能小説、数千のロマンス小説、4万のアダルトサイト、
4月からPFIで働いてます。海野です。 今日は単語の話をします。読み物的な話なので軽く読んでください。 テキストデータなどの自然文を機械処理するときには、まず最初に単語に分割するということをよく行います。一般的にはMeCabやChasenといった形態素解析エンジンに投げて行います。形態素と単語の区別という話もあるのですが、ここでは大雑把に「連続した文字列の単位」くらいの意味で話します。 検索という文脈ですと形態素インデックスという言葉がありますが、これは検索の最小単位を文字単位ではなくて形態素の単位にするということです。例えば「東京都」は「東京」「都」に分かれるため、「京都」というクエリに対して見つかるのを防ぐなど、精度を上げる効果があります。反面、深刻な検索漏れを引き起こす可能性があるため嫌われることが多いです。こうした漏れは検索に限らず、テキストマイニングなどの文脈でも問題となることが
Jubatus : オンライン機械学習向け分散処理フレームワーク¶ Jubatusは「分散したデータ」を「常に素早く」「深く分析」することを狙った分散基盤技術です。 Jubatusの名前の由来は、俊敏な動物であるチータの学術名からの命名で、「ユバタス」と読みます。株式会社Preferred NetworksとNTTソフトウェアイノベーションセンタが共同開発した、日本発のオープンソースプロダクトです。 最終的に全ての人にスケーラブルなオンライン機械学習フレームワークを提供することがJubatusの目標です。 Jubatus は以下の特徴を持ったオンライン機械学習向け分散処理フレームワークです。 オンライン機械学習ライブラリ: 多値分類、線形回帰、推薦（近傍探索）、グラフマイニング、異常検知、クラスタリング 特徴ベクトル変換器 (fv_converter): データの前処理と特徴抽出 フォルト
1000人以上のエンジニア、全国各地に開発拠点をもっている 楽天のテクノロジーカンファレンスにいってきました。 分散並列処理フレームワークfaily,P2PオンメモリストレージROMAが 2009年にOpenSource化されるとのことでした。 楽天ウェブサービス APIの紹介 16種類のAPI 直近だと楽天ランキングAPI 1500万件,2万件の宿泊施設 Affiriateと連動可能 REST,JSON,SOAPのフォーマットをサポート 楽天ダイナミックアド 楽天版アドセンス 記事の内容にマッチした楽天の商品を出す 楽天経済圏 APIを使ったアプリが入り込める マッシュアップブームおちちている ALL 35,000ID Active 5,000ID Webサービス経由の流通金額は7.24% 3,500万request/day ItemSearch,GenreSearch,Itemcode
LSH (Locality Sensitive Hashing) を用いた類似インスタンスペアの抽出 - mixi engineer blog
GW 中の長距離移動のために体調が優れない takahi-i です. 今回は巨大なデータをマイニングする一つの技術として LSH (Localtiy Sensitive Hashing) を紹介させていただきます. LSH とは LSH は大量なデータから類似度が高いインスタンスのペアを高速に抽出してくれるアルゴリズムです. ここでインスタンスはデータ集合の一つの要素を表します. たとえば扱うデータが E-コマースサイトの購買ログであれば, インスタンスは各ユーザですし, 画像データ集合であれば, インスタンスは個々の画像データです. LSH の詳しい解説については以下のサイトがあります. Wikipedia のエントリ LSH に関する論文がまとめられているページ 本稿ではE-コマースサイトの購買履歴データを基に LSH の機能について述べてゆきます. 以下のような E-コマースサイトの
2023年3月24日，筑波大学で博士（工学）を取得しました． 社会人早期修了というシステムによって，会社で書いた論文を業績として使うことで1年で博士号を取ることができました． 少し珍しいパターンでの博士号取得だと思いますので，自分の備忘録も兼ねて体験記を書きます． なぜ修士卒業時に博士課程に行かなかったのか なぜ博士号を取るのか どこで博士号を取るか なぜ社会人早期修了プログラムを使うのか 具体的な経過 2021/8 2021/9 2021/10 2021/12 2022/1 2022/2 2022/3 2022/4 2022/5, 6 2022/7 2022/8 2022/9 2022/10 2022/11 2022/12 2023/1 2023/2 2023/3 終わっての感想 今後 なぜ修士卒業時に博士課程に行かなかったのか 理由は簡単で，博士課程でやっていくのはキツそうだな〜と思っ
Facebookの次の覇者は、さらに多くの情報を収集、分析できる企業【gumi国光宏尚】 | TechWave（テックウェーブ）
僕はときどきネット上で、自分の中で確信にまで至っていない漠然とした思いを、わざと断定調に書くことがある。なぜそういうことをするのかというと、１つにはフィードバックをもらうことで自分の考えを更に先に進めたいから。もう１つは、僕の問題意識が世間的にも重要なアジェンダになっているのかどうかを知りたいからだ。 これを繰り返していると、だれがどのような認識を持っているのかだいたい分かってくる。時代の先を読もうとしている人、読めている人が見えてくるのでおもしろい。 あるとき自分の中でぼんやりと見えてきた未来のビジョンをTweetしたことがある。自分自身で書いていて「これじゃなんのことだかさっぱり分からないな」と思うようなTweetだった。さすがにこんなTweetにはだれも反応しないだろうと思っていたら、二人からリプライが来たのでびっくりした。同じような未来を見ている人がいることに驚いた。 一人がマイネ
「ブロックチェーンと仮想通貨は、インターネットに匹敵する発明だ」――。GMOインターネットの熊谷正寿会長兼社長は記者会見や取材の場でそう繰り返し語り、ここ1年ほどそれら領域での事業開発を推進してきた。だが同社は今、仮想通貨関連事業が発端となり、”泥沼”にはまっている。 GMOは12月25日、「仮想通貨マイニング（採掘）事業の再構築に伴う特別損失の計上に関するお知らせ」と題したニュースリリースを発表した。仮想通貨の自社マイニング事業で減損損失など115億円、マイニングマシンの開発・製造・販売事業で債務譲渡損など240億円が発生し、2018年12月期の第4四半期にこれらを特別損失として処理するという内容だ。 同社は今期の業績予想を公開していないが、『会社四季報・新春号』（小社刊、12月14日発売）では同社の純利益を106億円と予想している。ここに今回の特別損失計355億円がのしかかれば、200
機械学習 - 機械学習の「朱鷺の杜Wiki」
機械学習とは，Arther Samuel によれば「明示的にプログラミングすることなく，コンピュータに行動させるようにする科学」 のことです． 歴史的には，人工知能の研究分野の中で，人間が日々の実体験から得られる情報の中から，後に再利用できそうな知識を獲得していく過程を，コンピュータにおいて実現したいという動機から生じました． 現在では，数値・文字・画像・音声など多種多様なデータの中から，規則性・パターン・知識を発見し，現状を把握や将来の予測をしたりするのにその知識を役立てることが目的となっています． しましまの私見に基づいて，機械学習の各種の問題を整理しました． ↑ 他分野との関連† 確率論：機械学習で扱うデータは，いろいろな不確定要素の影響を受けており，こうして生じた曖昧さを扱うために利用されます． 統計：観測されたデータを処理する手法として長く研究されてきたため深い関連があります．特
クラウド環境を悪用した仮想通貨の採掘が密かに行われているようです。今回発覚したのはLuke Chadwick氏のAWSのキーがGitHub上にアップされているのを発見した何者かが、20台ものcc2.8xlargeインスタンスを起動させてBitCoinプロトコルを使った仮想通貨であるlitecoinの採掘を行ったとの事です。 AWSからの警告で気がつき、インスタンスを停止するまでの数日間で利用料金は3000ドルを越えたとの事です。 Litecoinは、世界中の誰に対してもすぐに支払えるP2Pの仮想通貨です。Bitcoinプロトコルに基づいていますが、一般のハードウェアを用いて効率的にデータマイニングできるという点でBitcoinと異なります。Litecoinは素早い取引認証（平均2分半）を実現し、多くの人が所有している一般コンピュータとGPUをターゲットにするメモリーハード、scryptベー
米AT&TのセキュリティラボAlien Labsは9月6日（現地時間）、Linux搭載のサーバやIoTを標的とする新たなマルウェア「Shikitega」を発見したと発表した。脆弱性を悪用して権限を昇格させ、感染した端末で暗号資産マイニングを実行したり、システムを完全に制御したりする。 Shikitegaは強力なMetasploitである「Mettle」をダウンロードして実行することで、Webカメラ制御やシェルコマンドの実行など、様々な攻撃を可能にする。 攻撃のプロセスは、「Shikata Ga Nai」（仕方がない）と名付けられたポリモーフィックXOR加法的フィードバックエンコーダを使ってデコードループを実行し、最終的なシェルコードペイロードがデコードされて実行されるまで、デコードを続ける。 デコードが完了すると、シェルコードが実行されてマルウェアのサーバに接続し、追加のコマンドを受信する
ヤフーを変え始めたHadoop
ヤフーが日本独自の検索関連サービスの開発で、オープンソースの分散処理ソフトである「Hadoop」の活用を進めている。Hadoopを使うことで、従来は6時間以上かかった処理がわずか5分半で済むようになった例もある。2009年秋には組織を整備し、適用範囲を全社に広げている。 Hadoopは、米グーグルが開発した分散処理ソフト「Google File System（GFS）」と「MapReduce」を模したオープンソースソフトである（図）。GFSとMapReduceは、グーグルのクラウドを支える基盤技術。Hadoopを使うと、複数台の安価なPCサーバーを連携させ、数十テラ～数ペタバイトに及ぶデ ータを高速に処理できる。 Hadoopを日本国内で最も積極的に利用している企業はヤフーだ。2008年ごろから部署単位でHadoopの導入を進め、Hadoopを使う事例が10件を超えるようになった（表）。
Web DB（ウェブデータベース）マーケティング研究会
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
データマイニング - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "データマイニング" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2018年11月) 「マイニング」はこの項目へ転送されています。 ビットコインにおけるマイニングについては「ビットコイン#ブロックチェーンとマイニング」をご覧ください。 仮想通貨については「マイニング (仮想通貨)」をご覧ください。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dropboxにファイルを追加すると自動でアクションを起こすDropbox Automator
「量子コンピュータは仮想通貨の脅威になる」──野口悠紀雄氏
自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
ウイルス対策の「ノートン360」に仮想通貨マイニング機能
Hadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記
Lispの車窓から見た人工知能 - dely engineering blog
サポート切れのOSは使っていけないと万人を説得できるか - orangeitems’s diary
ど素人が仮想通貨を始めた理由、ソシャゲ感覚で少額からやってるよ - The Gadget
ビデオカードの品薄がさらに深刻化、ツクモは1グループ1枚までに購入制限
適切なクラスタ数を推定するX-means法 - kaisehのブログ
DBMによるテーブルデータベース その弐 - mixi engineer blog
「まったく新しい人類の進化に立ち会うんだという感覚」に、GREEの田中社長がソーシャルゲームの先に見るもの
ビッグデータもバズワードになったんだなあ - やまもといちろうBLOG（ブログ）
人気動画サイトが閲覧者の端末を「採掘」に利用、10億人近くに影響のおそれ
人工知能に仕事を奪われる前に！今から学習すべき3つのテーマ ｜ doda X キャリアコンパス
［独占単独インタビュー］ティム・オライリーが語る「Web 3.0」とは？ | Web担当者Forum
性科学は1886年に誕生したが、今でもセックスは謎だらけ
単語と文字の話 - Preferred Networks Research & Development
Jubatus : オンライン機械学習向け分散処理フレームワーク — Jubatus
楽天テクノロジーカンファレンス 2008にいってきました - d.hatena.zeg.la
博士号取得体験記（社会人早期修了） - 私と理論
仮想通貨｢採掘｣で大誤算､GMOとDMMが急転換 | 金融業界 | 東洋経済オンライン | 経済ニュースの新基準
AWSの認証キーを奪われて仮想通貨を採掘される攻撃が発覚
Linux標的の新マルウェア「Shikitega」 「Shikata Ga Nai」でステルス攻撃
仮想通貨の採掘を秘密裏に行うツールをバンドルした「oCam」を窓の杜で収録中止／ユーザーインターフェイスを一切表示せずマイニングを実行し、CPUパワーを占有
