どのようにしてブロックチェーンが不正が難しい取引台帳を実現しているかという仕組みを社内勉強会で説明した資料です。 Read less
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
ねこと画像処理。 (みかん – 吉祥寺 きゃりこ) 前回の ねこと画像処理 part 2 – 猫検出 では画像内の猫の顔を検出する方法を紹介しましたが、今回はディープラーニングの技術を用いて猫の品種を識別したいと思います。 学習データ ねこと画像処理 part 1 – 素材集めでは、自分で撮影した写真を学習データとして使うと書いたのですが、都内の猫カフェ等で出会える猫に限ってしまうと品種の偏りが大きくなってしまうので、ここではしぶしぶ研究用のデータセットを使うことにします。。ただ、Shiba Inuがあるのに日本が誇るMike Nekoが含まれていないのでデータセットとしての品質は悪いと思います。 The Oxford-IIIT-Pet dataset オックスフォード大学が公開している動物画像のデータセットです。その内猫画像は2400枚、クラス数は12で1クラスにつき200枚あります。今
ほとんどの開発者は、自動のガベージコレクション(GC)を当たり前のように使っています。これは、私たちの仕事を容易にするために言語ランタイムが提供する素晴らしい機能の1つです。 しかし、最新のガベージコレクタの中をのぞいてみれば、実際の仕組みは非常に理解しづらいことが分かります。実装の詳細が無数にあるため、それが何をしようとしているのか、また、それがとんでもなく間違った事態を引き起こしかねないことについて十分理解していない限り、すっかり混乱してしまうでしょう。 そこで、5種類のガベージコレクションアルゴリズムを持つおもちゃを作ってみました。小さいアニメーションはランタイムの動作から作成しました。もっと大きいアニメーションとそれを作成するコードは github.com/kenfox/gc-viz で見ることができます。単純なアニメーションによってこうした重要なアルゴリズムを明らかにできることは
順次走査検索、逐次検索ともいう。「grep」とはUNIXにおける文字列検索コマンドであり、複数のテキストファイルの内容を順次走査していくことで、検索対象となる文字列を探し出す。一般に「grep型」と呼ばれる検索手法は、事前に索引ファイル(インデックス)を作成せず、ファイルを順次走査していくために、検索対象の増加に伴って検索速度が低下するのが特徴である。ちなみに「grep型」とは実際にgrepコマンドを使っているという意味ではない。 インデックス作成型全文検索システム 検索対象となる文書数が膨大な場合、grep型では検索を行うたびに1つ1つの文書にアクセスし、該当データを逐次検索するので、検索対象文書の増加に比例して、検索にかかる時間も長くなっていってしまう。そこであらかじめ検索対象となる文書群を走査しておき、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向
「ビールと紙おむつ」のような相関関係を探る分析手法にはどんなものがある?――データ分析方法についての検討:ITエンジニアのためのデータサイエンティスト養成講座(5)(1/5 ページ) 連載バックナンバー 前回は「データを分析できる状態にする」をテーマに、ビジネスデータの分析で欠かすことのできない時系列データを中心に「データの取り扱い方」紹介しました。今回は、目的に応じた分析手法を選択するためにどのような分析手法があるかを簡単にご紹介し、実際に分析をする方法を実例を使いながら説明したいと思います。 ビジネスの課題に応じた手法を選択する 第1回でも説明した通り、与えられたビジネス課題を解くための分析手法を検討するのはデータ分析の最初のフェイズですが、解決するビジネス課題もさまざまであり解決するための手法も千差万別です。さらに1つの手法をとってみてもそれだけを説明する書籍があったり学術論文になっ
「食と機械学習」のコラボレーションをできないかと最近常々考えています。例えば、「地球上に存在する全ての料理本を何らかのアルゴリズムに入力し、人間にとって『美味しい』レシピとはどういう特徴を持つかを学習し、今まで人類が食べたことのないような斬新なレシピを自動生成する」ことが出来たとしたら素晴らしいとは思いませんか? レシピの自動生成はさすがに難しそうなので、今回は人気になるレシピに共通する特徴は何かという問いに答えることを目標とします。具体的には、Cookpadのレシピが与えられたとして、そのつくれぽ数を予測する問題に挑戦してみます。レシピが人気になるか否かの要因としては、どういう材料を使用するか、レシピがどれだけ健康的か、またどれだけ手軽に調理できるかなど様々な要因が考えられますが、今回特に興味があるのはレシピの名前や紹介文などの文章の言葉遣いがそのレシピの人気度にどのような影響を及ぼすか
舞台に置かれたマイク(2012年2月27日撮影、資料写真)。(c)AFP/Getty Images/Justin Sullivan 【6月18日AFP】空間内に分散配置したマイクとコンピューターアルゴリズムがあれば、あとは指を「パチン」と鳴らすだけで空間の正確な3Dマップが作成できる――このような研究結果をスイスと米国の共同研究チームが17日、米科学アカデミー紀要(Proceedings of the National Academy of Sciences、PNAS)に発表した。 研究では、音の反射を利用して空間内の距離を測定し、大学の講義室と大聖堂の小部屋の3Dマップを作成した。 研究の主著者、スイス連邦工科大学ローザンヌ校(Ecole Polytechnique Federale de Lausanne、EPFL)・博士課程在籍のIvan Dokmanic氏は、「我々が開発したソフト
2012/08/11 #ESウェブブラウザ通信 今回は、今日リリースしたescort 0.2.2で新たに実装した機能について紹介します。escort 0.2.2では、CSS 2.1の実装の改善を主な目的として開発を進めきました。CSS2.1 Conformance Test Suiteの達成率は90.8%とescortではこれまででベストの結果となっています。 link要素のmedia属性 r2870では、link要素のmedia属性が未サポートだったので、 <link href="/includes/deed3-print.css" media="print" rel="stylesheet" type="text/css"> といった印刷メディア用のスタイルシートも一緒にスクリーン上で処理してしまっていました。 下図は r2870でCreative Commons のライセンスの要約の
以下の諸注意は参考情報であり、規範ではない。しかし、本仕様の他の部分同様に、「must」「should」など、遵守要求の語が使用される。 B.1 不正文書に関する注意 本仕様書は、適合ユーザエージェントが一般的 エラー状態をどのように扱うべきかについて、本仕様が定義していない要素・属性・実体などに遭遇したケースの処理も含め、何らの規定も行わない。 しかし、様々なHTMLバージョンの実装間での実験及び相互運用性を促進するため、次の動作を推奨する。 認識できない要素があった場合、ユーザエージェントは、内容のレンダリングを試みねばならない。 認識できない属性があった場合、ユーザエージェントは、当該属性定義全体(すなわち、属性とその値)を無視しなければならない。 認識できない属性値があった場合、ユーザエージェントは、デフォルトの属性値を用いねばならない。 宣言されていない実体があった場合、この実体
どうやら人間の手で解いたら、簡単に解けてしまうようです。 ここでの難易度の定義に含めていない解法(n国同盟など)を使うと、難しくない問題になっているのかもしれません。 その後調べたところ、基本テクニックだけで解けてしまうことがわかりました。 Pencil Marksが唯一残ったものしか確定しない、というDeterministic Solverを使っていたのが原因で、 難しくない問題を「難しい」と誤判定してしまったようです。 3月13日版よりだいぶ難易度があがったはずです。 概要 スパコンを使って力任せに数独の難しい問題を作ってみたところ、 2013年3月現在、おそらく世界で一番難しい問題を作ることに成功した失敗した。 上図がスパコンを用いて作られた、おそらく世界で一番難しい問題(2013年3月現在)。 後述する難易度の定義では、深さが10、通常幅が183530、平均幅が約100571である
The histogram of oriented gradients (HOG) is a feature descriptor used in computer vision and image processing for the purpose of object detection. The technique counts occurrences of gradient orientation in localized portions of an image. This method is similar to that of edge orientation histograms, scale-invariant feature transform descriptors, and shape contexts, but differs in that it is comp
Finbourne, founded out of London’s financial center, has built a platform to help financial companies organize and use more of their data in AI and other models. Even as quick commerce startups are retreating, consolidating or shutting down in many parts of the world, the model is showing encouraging signs in India. Consumers in urban cities are embracing the convenience of having groceries delive
奥村晴彦『C言語による最新アルゴリズム事典』技術評論社,1991年,ISBN4-87408-414-1,2400円 大きな画像(1.1M) 1987年10月にPascalを使った『コンピュータ・アルゴリズム事典』を,1991年2月にその改訂版としてANSI C言語を使った『C言語による最新アルゴリズム事典』を出版しました(いずれも技術評論社)。そのサポートページをつくろうと思いながら多忙のためなかなかできませんでした。とにかく始めなければ……というわけで,サポートページまがいのものを作ってみました。 石田晴久ほか『コンピュータの名著・古典100冊』(インプレス,2003年)に選んでいただきました。100冊といっても日本人の書いたものは20%しかなく,たいへん恐縮しています。 Frequently Asked Questions どの銘柄のC言語ですか? ほぼ当時のANSI Cドラフトに基づ
Droolsプロジェクトは1日(現地時間)、Javaで記述されたビジネスルールエンジンDroolsの最新版であるDrools 2.1を公開した。Droolsは組織におけるビジネスルールを処理するためのルールエンジンであり、カーネギーメロン大学のCharles L. Forgy教授によって開発されたReteアルゴリズムを導入している点に特徴がある。 Reteアルゴリズムは、エキスパートシステムなどの規則にもとづいたシステムを遂行するための効率的なパターンマッチングアルゴリズムである。 1979年に同教授によって考案され、JRulesやCLIPS、JESSなど多くのメジャーなエキスパートシステムのベースとなっている。 Droolsはバージョン2.0-BETA-18よりJSR 94で標準化されてるルールエンジン仕様に準拠しており、オブジェクト指向のインターフェースにReteアルゴリズムを導入する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く