データ解析を簡単に 〜 スキーマ管理の権限移譲 - Qiita
Treasure Dataのサービスを構想した際に、データ解析をとにかく簡単に、かつスムーズに行える世界を実現するというのが根底にありました。個人的にHadoopコミュニティに関わる中で、以下の3つの大きな問題が有りました。 大規模な初期投資 / 特殊人材が必須 クラウドサービスによる提供モデル データ収集にプロジェクトの60% 〜 70%の時間が使われる 様々なデータコレクタを提供、通常1〜2週間でデータの投入は完了(参考: Treasure Dataのデータインポート方法一覧) スキーマ管理の権限移譲問題 今回はこちらの話題を取り上げます。 200個の正規表現を管理するデータサイエンティスト サービスの構想を練っている際、現在は弊社に所属している井上のスライドを片っ端からチェックしました。彼は当時ソーシャルゲームの会社に所属しており、ユーザー行動ログのデータ分析に関する様々な発表を行っ
Treasure DataのPlazmaDBを理解する - Qiita
こんにちは。Treasure Dataの斉藤です。出張中に時間ができたのでシアトル空港でこの記事を書いています。日本語でブログを書くのはものすごく久しぶりなのですが、Treasure Dataの列志向(columnar)圧縮ストレージであるPlazmaDBについて紹介していきたいと思います。 Treasure Dataでは2014年現在まで5兆(trillion)件を超えるレコードが取り込まれており、一秒あたりでは40万以上(!)のレコードを処理しています。 2013年のTwitterでは１秒あたり5,700 tweets処理していたとのことなので、その処理量の大きさが実感できるのではないでしょうか。この量のレコードをそのまま蓄積するのではストレージ量が膨大になってしまいますので、Treasure Dataではレコードを列分解し、MessagePack形式に変換＋圧縮処理を施すことでデータ
Androidアプリが開発可能になったGo 1.4が正式リリース
Go言語の最新版となるGo 1.4がリリースされました。Go 1.4ではAndroidがサポート対象プラットフォームとして加わり、Go言語だけでAndroidアプリケーションの開発が可能になっています。 Go言語は2009年に開発が始まった言語で、Googleがオープンソースで開発しています。シンプルにコードを記述でき、タイプセーフかつメモリセーフにできているため安全なプログラムを記述しやすく、並列処理の記述も容易、コンパイルや実行が高速などの特長があります。 現在、Linux、Mac OS X、Windows XP以降、FreeBSD 8以降のOSに対応しており、Google App Engineでもサポートされるようになりました。 Go 1.4では過去のバージョンとの互換性を維持し、これまでのコードはほぼそのままコンパイルし実行できると説明されています。 Go 1.4で最大の新規機能は
CMSIS: Introduction
The CMSIS (Common Microcontroller Software Interface Standard) is a set of APIs, software components, tools, and workflows that help to simplify software re-use, reduce the learning curve for microcontroller developers, speed-up project build and debug, and thus reduce the time to market for new applications. CMSIS started as a vendor-independent hardware abstraction layer Arm® Cortex®-M based pro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
