Google Spannerクローンを目指した「CockroachDB」正式版リリース。クラウド上にグローバル展開することで大規模障害からも生き残れる分散型SQLデータベース
Google Spannerクローンを目指した「CockroachDB」正式版リリース。クラウド上にグローバル展開することで大規模障害からも生き残れる分散型SQLデータベース CockroachDBは、GoogleのSpannerに触発されて開発が始まったオープンソースソフトウェアです。 GoogleのSpannerは地球規模の大規模分散データベースで、NoSQLの非常に高いスケーラビリティと高い可用性、そして高速な処理を実現しつつ、SQLに対応。強い一貫性を持つトランザクション処理も実現しています。 Googleはこれらを実現するために、独自の分散データベースソフトウェアを開発しただけでなく、同社の全データセンター間を高速な光ファイバー回線で接続し、GPSと原子時計を用いてすべてのトランザクションに厳密なタイムスタンプを付けるなどハードウェア面でも高度な技術を駆使しています。 Cockr
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
Realtime Database をご存知ですか
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
自然言語処理入門本について書いたら、素敵な書籍リストを頂いた - あれもPython,これもPython
id:mamoruk さんより自然言語処理を学ぶ書籍を紹介していただきました。 ありがとうございます。 http://cl.sd.tmu.ac.jp/prospective/readings 自然言語処理 機械学習 ウェブマイニング に分かれており、非常に参考になります。 また、mamorukさんの監修なさっている本が3/5(明日!)発売予定なので、 手にとってみようと思います。 自然言語処理の基本と技術 (仕組みが見えるゼロからわかる) 作者: 奥野陽,グラム・ニュービッグ,萩原正人,小町守,イノウ出版社/メーカー: 翔泳社発売日: 2016/03/05メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る mamorukさん自身の紹介記事はこちら 技術から基本を学ぶコンセプト 以下読んだことある本について感想など。 集合知プログラミング 集合知プログラミング 作者:
Sparkは“誰”に例えられる？──多様化と進化を続ける「Hadoop」、人気急上昇「Spark」
Sparkは“誰”に例えられる？──多様化と進化を続ける「Hadoop」、人気急上昇「Spark」：Database Watch（2016年3月版）（1/2 ページ） 先日、日本Hadoopユーザー会主催のイベントが開催されました。データベースと関係性が深いデータ分散処理プラットフォームである「Hadoop」と「Spark」の最近事情に迫ります。 連載バックナンバー 2016年2月、日本Hadoopユーザー会主催のイベント「Hadoop Conference Japan 2016」および「Spark Conference Japan 2016」が開催されました。 2016年で誕生10周年を迎えた「Apache Hadoop」（以下、Hadoop）は、従来のリレーショナルデータベース（RDB）とは異なり、データの格納や処理を並列分散型で実行するオープンソースソフトウェアのデータ処理基盤です。
Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 記事一覧 | gihyo.jp
第21回Sparkの設計と実装［2］～Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔，山田浩之 2016-06-08
DATA GO JP/open data
データセット データセットとは、ファイルやURLなどの「オープンデータ」が登録された入れ物を指します。 データポータルでは、複数の切り口からデータセットを探すことができます。
UCI Machine Learning Repository をマイニングする(Machine Learning Advent Calendar 12日目) - 糞糞糞ネット弁慶
Machine Learning Advent Calendar 2013 - Qiita Machine Learning Advent Calendarです． 本来ならば，以前少しでも研究に興味がある人，面白いテーマを探している人は「研究に必要なたったN個の事」とかいう記事を読まずに今すぐに"How to do good research, get it published in SIGKDD and get it cited!"を読むべき - 糞ネット弁慶で昔触れたKeogh先生の面白データを使った論文について触れる予定でしたが，ここで予定を変更して，数式が一切出てこない日記を書こうと思います．そちらについてはいつかまとめて書きます． 今回は機械学習を行っている人ならば一度はアクセスしたことがあるであろう， UCI Machine Learning Repository について，ど
Mahoutで体感する機械学習の実践 記事一覧 | gihyo.jp
第2回「ある商品といっしょによく売れる商品は何か？」を見つけるには ～マーケット・バスケット分析の考え方 やまかつ 2013-03-06
The 2011 ACM SIGMOD/PODS Conference: Athens, Greece - Conference Program: SIGMOD Sessions
SIGMOD Program Schedule at a Glance SIGMOD Program -Printable Version Keynote 1: J. Hamilton Keynote 2: A. Ailamaki Industry Keynotes Research Papers Industry Papers Demo Papers Undergraduate Posters Tutorials Awards PODS Program Schedule at a Glance PODS Program -Printable Version Keynote: T. Milo Tutorial 1: S. Muthukrishnan Tutorial 2: M. Arenas and J. Perez Research Papers Invited Talks Awards
ACM SIGMOD日本支部第47回支部大会
第10回 先端的データベースと Web 技術動向講演会 （ACM SIGMOD日本支部第47回支部大会） 「ICDE2011 国際会議報告 および NoSQL の動向」 日時：2011年6月11日（土） 9:30〜17:30 会場：東京工業大学 大岡山キャンパス(東京都目黒区大岡山2-12-1) 西8E号棟10階大会議室 (キャンパスマップの26番の番号が振ってあるビル) 会場アクセス：こちらをご覧下さい 主催：ACM SIGMOD 日本支部（支部長：横田治夫 (東京工業大学)） 日本データベース学会（会長：増永良文 (青山学院大学)） 参加申込： 参加申し込みページよりお申し込み下さい． 締め切りは5月31日(火) とさせていただきます． なお，会場の収容人数に限りがございますので，収容人数を越えましたら そこで申込みは締め切らせて頂きますので，ご了承下さい． 参加費： ５，０００円 日
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
K-means法によるクラスタリングのスマートな初期値選択を行うK-means++ - kaisehのブログ
K-means法は、入力データからK個のランダムな個体を初期クラスタの中心として選択し、以降、クラスタの重心を移動させるステップを繰り返すことでクラスタリングを行う非階層的手法です。K-means法はシンプルで高速ですが、初期値依存が大きいのが弱点で、不適切な初期値選択をすると間違った解に収束してしまいます。 以下は、Introduction to Information Retrievalの16章に出てくる例です。 {d1, d2, ..., d6}をK=2でクラスタリングする場合、{{d1, d2, d4, d5}, {d3, d6}}が大域最適解ですが、初期クラスタの中心をd2, d5で与えると、{{d1, d2, d3}, {d4, d5, d6}}という誤った解に収束してしまいます。 この問題を改善するK-means++という手法を見つけたので、試してみました。 K-means+
第1回 RDBMSとNoSQLデータベース | gihyo.jp
はじめに NoSQL（Not Only SQL）という言葉が注目を集めています。これは「RDBMSが得意なことはRDBMSで、不得意なところにはRDBMSにこだわらず、用途に合ったデータストアを使いましょう』という考え方です。最近では、いわゆるNoSQLデータベース （key-valueストアや各種データベース） が次々と登場してきています。 そこで今回から数回に渡り、それぞれのNoSQLデータベースの特徴や具体的な使い方について紹介していきます。 RDBMSの強みとは そもそも、MySQLやPostgreSQLなどのRDBMSの弱みを補うため、様々なNoSQLデータベースが登場してきたわけですが、RDBMSにはたくさんの強みがあることも忘れてはいけません。 RDBMSの強み データの一貫性 （トランザクション） 更新時のコストが少ない（JOINが前提でテーブルが正規化されている）
超高速テキスト処理のためのアルゴリズムとデータ構造 (PDF)
超高速テキスト処理のための ゕルゴリズムとデータ構造 東京大学情報理工学系研究科* 岡野原 大輔 hillbig@is.s.u-tokyo.ac.jp NLP2010 チュートリゕル 2010 3/8@東京大学本郷キャンパス * 2010年4月から所属が （株）プリフゔードンフラストラクチャーになります。 内容 • 背景 – 自然言語処理と機械学習 • オンラン学習 – 教師有/無, 正則化 • 疎ベクトル々文字列データ構造 – 特徴情報の格納、全部分文字列情報 • 乱択化ゕルゴリズム – Hash Kernel, Randomized SVD 背景 大規模自然言語処理と機械学習 背景 • 利用可能な言語資源の急激な拡大 – ブログ, 掲示板, 商品情報, レビュー – Wikipedia, Google N-gram Corpus ～1010 語 – c.f. Penn TreeB
NoSQL Databases List by Hosting Data - Updated 2024
The decision was made after the owners recognized that they have a common objective - helping people in the UK (and beyond) understand web hosting and all its intricacies, including NoSQL databases. This list is updated monthly. Learn more here. We've tested every single one of the best web hosting companies in the U.K. many of which use NoSQL databases in their server management. See our results
SimString - A fast and simple algorithm for approximate string matching/retrieval
A fast and simple algorithm for approximate string matching/retrieval SimString is a simple library for fast approximate string retrieval. Approximate string retrieval finds strings in a database whose similarity with a query string is no smaller than a threshold. Finding not only identical but similar strings, approximate string retrieval has various applications including spelling correction, fl
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論
グーグルでMySQLエンジニアリングチームを率いたのち、現在はFacebookに在籍しているMark Callaghan氏がブログ「High Availability MySQL」にポストしたエントリが発端になって、MySQL+Memcachedの時代は過ぎたのか？ という議論が巻き起こっています。 元グーグルMySQL担当エンジニアが弱気な発言？ Callaghan氏がポストしたエントリ「Plays well with others」は次のような一文で始まり、MySQLについてややシニカルに書かれているように読めます。 A few years ago MySQL+memcached and PostgreSQL+memcached were the only choices for high-scale applications. That has changed with the ar
Darts clone のデータ構造 - やた＠はてな日記
トライをダブル配列で表現する Darts に対して，Darts clone は，基礎のデータ構造として Directed Acyclic Word Graph (DAWG) というグラフ構造を採用し，DAWG をダブル配列で表現するようになっています． Directed Acyclic Word Graph (DAWG) トライの共通部分木を併合することで得られるグラフ構造が DAWG です．トライからDAWG への変換では，登録するキーの末尾に共通性があるほど，多くのノードを取り除くことができます．これまでの実験により，日本語や英語の単語をたくさん登録する場合であれば，全体の 60 〜 70% 程度のノードを取り除けることが分かっています．特に有効なデータの例として，日本の郵便番号を DAWG に登録すると，そのサイズはトライの約 1/10 になります． DAWG はトライを圧縮したデー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
