2015/06/10 db tech showcase 2015 Tokyo ログを貼り付けている部分が見にくくなっていますので、 http://yoku0825.blogspot.jp/search/label/5.7 などでも同じような内容が見られたりしますRead less

詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

ビッグデータの処理基盤をクラウドで提供する米Treasure Data社。日本人3人が米シリコンバレーで2011年に起業してから3年半、従業員数はグローバルで80人以上に増え、今年1月には韓国オフィスも立ち上げた。保存するデータ件数は18兆件に達し、この1年で3倍になったという。 急成長を続けるTreasure Data社の創業者の一人であり、CTO（最高技術責任者）を務める太田 一樹氏に最近のサービス開発の状況について聞いた。最近では、組み込みLinux向けのデータ収集ツール「Fluent Bit」をリリースするなど、IoT（モノのインターネット）向けのサービスを強化している。 Hadoopに代表されるビッグデータ関連の技術開発は、オープンソースソフトウエア（OSS）を中心に今も活発に続けられている。トレジャーデータの最近のサービス強化点を教えてほしい。 Hadoop自体もバージョン2系

圧倒的な存在感！ 新MacBookには、USB-Cポートが1つしか備わっていません。スリムでスタイリッシュなデザインはいいのだけれど、僕はマウスからメモリカードリーダー、ヘッドフォンにLANケーブルまで、いろいろレガシーにつなぎたいものがいっぱいあるんだよね……。 そんなあなたへ、もうこれ以上は必要ないでしょうという太っ腹な拡張ドックの｢USB-C Dock｣が登場してきましたよ。なななんと、基本は1個だったUSB-Cポートを、昔ながらのUSBポートからSDカードリーダー、イーサネットポートにいたるまで、11個の拡張ポートへアップグレードしてくれるんです！ OWCが今年10月に発売を予定しているUSB-C Dockは、新MacBookにあわせた、ゴールド・シルバー・スペースグレーの3色を用意。コンピューターの充電までできるUSB-Cポートはそのままに、USB-Aポートを4個（そのうち2個は

(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ

「福岡の田舎のソフトウェア工場から世界へ。大きく飛躍したい」 福岡・ユニゾンシステムズの今村勉也代表は、ベンチャーと大企業が集まる会合『モーニングピッチ』でそう話した。同社が手がけているのは放送局向けの動画転送ソフト『STORM』。世界一の転送速度を誇るという。 「DVDのデータ（4.7GB）なら約8分ほどで送れる。日本の放送局ではスタンダードだ。たとえば野球のキャンプ地からも、映像はほぼこのシステムで送られている」 現在テレビやインターネット動画の世界では、次世代放送に向けて映像の高解像度化が進んでいる。4K、8Kという高精細な世界において転送速度は事業のキモだ。 4K時代においては「『クラウド内編集』が主流になる」と今村代表。映像配信側はクラウドサーバー上から編集・制作・配信までをワンストップで手がけるようになる。STORMはその中核技術になるのではないかという話なのだ。 「TBSの技

前から気になっていたWebアプリケーションフレームワークCubbyが2.0からGuiceやSpringに対応するという話なので、ちょうど最近Guice 2.0が出たことだしちょっと試してみる。 初期セットアップ Maven 2.0.9 と Eclipse 3.4 (Pleiades) で、公式ページのGuice統合の通りに行う。groupId は example.cubby2 、artifactId は cubby2-guice とした。ただ、Guice 2.0 と JDK6 を使うために、pom.xml に以下の設定変更を行った。 まず、Guice 2.0のjarファイルはMaven2のセントラルリポジトリに無いので、<repositories> 配下に、以下のようにGoogleのリポジトリを追加する（コメント参照）。 <repository> <id>guice-maven</id>

1.7.0_51 Hello World 依存 jar の追加 guice-3.0.jar と guice-servlet-3.0.jar をクラスパスに追加する。 build.gradle は以下。 dependencies { providedCompile 'org.apache.tomcat:tomcat-servlet-api:7.0.50' compile 'com.google.inject:guice:3.0' compile 'com.google.inject.extensions:guice-servlet:3.0' } <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.