About Groonga Groonga is an open-source fulltext search engine and column store. It lets you write high-performance applications that requires fulltext search. Characteristic The latest release 14.0.3 is the latest release. It had been released at 2024-05-09. Install Source The latest posts Groonga 14.0.3 has been released (2024-05-09) Groonga 14.0.2 has been released (2024-03-29) Groonga 14.0.1 h

大規模分散処理のフレームワークとしてグーグルが開発したMapReduce処理や、そのオープンソース実装であるHadoopが急成長し、ビジネスの分野での商業利用が立ち上がり始めていることは、Publickeyでも何度か記事で紹介してきました。 Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表 グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera グーグルがBigQueryの開始を発表し、IBMも大規模処理のエンジンとしてHadoopを採用、AmazonクラウドでもHadoop処理を行う「Amazon Elastic MapReduce」サービスを提供していることから分かるように、Hadoopはクラウドでの大規模

機能と技術からわかる！システム基盤の実力 第4回とぎれなく流れ来る大量データを処理する「ストリームデータ処理技術」①ストリームデータ処理とは？ 近年、電子マネーや電子商取引が普及し、RFID利用による物流管理など、ビジネスで扱うデータの量が爆発的に増加しています。またビジネスのスピードも急激に加速しており、次々に流れてくる大量のデータをリアルタイムに処理することが求められています。 しかし、こうしたリアルタイム処理に従来からあるデータベースを使用すると、クエリなどを用いて蓄積されたデータを一括処理するため、データ検索などのクエリ実行時にタイムラグが生じてしまいます。そこで、現在注目されているのが、ストリームデータ処理技術です。 ストリームデータ処理技術とは、無限に到来する時刻順のデータ（ストリームデータ）をリアルタイムに処理するデータ処理方法です。たとえば、株価のテクニカル指標やランキング

目的 フロントがHTTPリクエストを受けて、バックエンドのアプリケーションサーバにreverse proxyするような構成において、指定秒数以内に何かしらのレスポンスを返したい。 200が返せない場合は、処理を打ち切って500を返したい。 背景 フロントでApacheやNginxをreverse proxyとして使っている場合、バックエンドが無応答になってしまうと、クライアントにレスポンスが返るのはデフォルトで数十〜数百秒後(ApacheのTimeoutのデフォルトは300秒、Nginxのproxy_read_timeoutのデフォルトは60秒)になってしまいます。 通常のWebサービスではこのオーダーのタイムアウトでもいいのかもしれませんが、数秒以内に(エラーでもいいので)レスポンスを返すことが求められる環境も存在します。(最近、特に多いのではないでしょうか:P) もちろんバックエンドが

Amazon EBSは、永続的にデータを保持できるボリューム(ディスク)が扱える、Amazon EC2のストレージオプションです。 通常(instance-store)のAmazon EC2のサーバローカルに接続されているディスクは、良くも悪くも停止時(terminate)にデータが消えてしまいますが、Amazon EBSのストレージをルートパーティションとしてインスタンスを起動(EBSブート)した場合は、停止(stop)してもデータは保持されたままとなり、ディスクに対する信頼性は向上します。(instance-storeからのブートにも良い点はあります。それは別エントリで。) で、EBSブートのEC2インスタンスは、既存の(EBSブート用の)AMIから利用される方が多数だとは思いますが、このEBSブートした仮想サーバのルートパーティションのディスク容量は、デフォルトでは、AMIを作成した

Google I/O 2010で発表されたApp Engine新機能のひとつが「AppEngine-MapReduce（Mapper API）」です。このブログでもいろいろ憶測に憶測を重ねてきましたが、ついにApp EngineでMapReduceサポート！！…なんですが、しかし発表されたセッション会場もいまいち盛り上がりに欠ける感じ^^;; 理由は後述しますが、ともあれ（jw）、やっとのことApp EngineでもMapReduceがサポートされたわけです。 リンク集 appengine-mapreduce - Google Code Google I/O 2010 - Batch data processing with App Engine - YouTube Live Wave: Batch data processing with App Engine Exploring the

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

古くなったテクノロジと、ウェブをアプリケーション実行基盤として再構築する構想に取り組む各ブラウザメーカーは、クラウドコンピューティングの一見基本的ではあるが非常に重要な要素の下に集まり始めた。 その機能はローカルストレージというもので、その新しいメカニズムは「Indexed DB」と呼ばれる。 Indexed DBはOracleが提唱し、当初は「WebSimpleDB」と呼ばれていた。現段階ではその大部分がプロトタイプでしかなく、まだウェブプログラマーが使用できる状態ではない。しかし、Indexed DBは既にMicrosoft、Mozilla Foundation、Googleからの支持を得ている。そして、「Internet Explorer（IE）」「Firefox」「Google Chrome」のユーザー数を合わせると、今日のネットユーザーの90％以上に相当する。 「Indexed

今週に入って、Tiny Message に続く二つ目の Google App Engine ベースのサービスをリリースした。３日ぐらいで試験的に作った Tiny Message とは異なり、今回のものは、丸二ヶ月間寝る間も惜しんで作った力作である。 米国向けのサービスな上に招待制のSNSなので、ここではサービスそのものは公開しないが、いくつかこだわって作った部分があるので、それについて語ってみようかと思う。 1. 対象となるユーザーの絞り込み FacebookやTwitterのような巨人が存在している中で、それにまっこうから対抗するようなソシアル・ネットワーク・サービスを作ったところで無謀なだけである。そこで、逆に対象にするユーザー層を究極にまで絞り込んで、彼らのライススタイルに徹底的にマッチしたサービスを作ることにより差別化をはかる、という戦略を選択。対象は「LAに住む２０〜３０代の社交

Azure Day Rome Reloaded 2019 - Deconstructing Kubernetes using AKSazuredayit

AWS News Blog New Feature: Amazon S3 now supports Object Versioning We’ve added beta support for Versioning across all Amazon S3 Regions. Versioning provides an additional layer of protection for your S3 objects. You can easily recover from unintended user errors or application failures. You can also use Versioning for data retention and archiving. Once you have enabled Versioning for a particular

第3回は、CouchDBを利用してWebアプリケーション開発を行うためのツールと、Windows版CouchDBについて紹介します。筆者はCouchDBをWebアプリケーション開発者だけが使うのではなく、システム管理者やMicrosoft Officeで事務処理を行っているユーザーにとっても有意なツールだと考えており、そういった方面での活用できるのではないか？ と考えています。 CouchDBを使った開発は、いままでとどう違うの？ Webアプリケーションの世界で、いま現在よく使われているのは「3層モデル」と呼ばれる仕組みだと思います。クライアントからのリクエストに対し、アプリケーションサーバがデータベースからデータを持ってきて、処理した上でクライアントに結果を返す、というイメージです。CouchDBを使った仕組みでは、CouchDBをホスティングしているサーバがいるだけです。つまり、Cou

Make 24 monthly payments Pay 0% interest Start using the domain today. See details