近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
iOS8ぶっちゃけ雑談 - Reinforce-Lab.'s Blog
じつは、iOS8で家電対応、はいはい家電メーカーが散々いままでやってきた分野ね、と思ってました。Bluetooth Low Energyも3年ほどやってきているので、その延長でお手軽BLE家電を皮切りに、昔から言われてきた未来を提供するのだろうなと。たぶん、ちがう。見た目はそう見えるのだろうけど、本質がなにか違う。 そんなところを考えていると、頭がパンクしそうなので、ぶっちゃけブログに書き出してしまおうと思った次第。 NDAしばりが開放されると、ぶっちゃけられます iOS8のキーノートとセッション動画をずっと家にこもって1週間見てたら、いろいろ考えすぎて夜も眠れず睡眠不足になりそうなので、ここらでブログにぶっちゃけて一段落つけようと思う。今年は https://developer.apple.com/wwdc/ でセッション動画にプレゼンテーション資料までApple自体が公知にしているから
寿司もITも鮮度が一番！あきんどスシローのAWS活用術 (1/2)
AWS Summit 2013の2日目にあたる6月6日には、回転寿司チェーンを展開するあきんどスシローがIT活用やクラウド導入について披露した。自慢の寿司をふるまいながらの講演は、回転寿司屋の舞台裏がつまびらかにされた笑いの絶えないセッションとなった。 中とろ vs システム 「スシロー」は関西を中心に全国350店舗を展開する回転寿司のチェーン店。年間の来店客数は日本の人口と同じ1億2000万人にのぼり、売上高では1000億円を超えるという。全店舗1皿105円という均一価格で有名だが、えびアボガドを始め、既存の寿司の常識を覆す新しいメニューを出すことでも知られている。最近では、189円の吟味ネタという取り組みも進めている。 今回のAWS Summit 2013では、情報システム部 部長の田中覚氏が「中とろより価値あるITを。あきんどスシローのクラウド活用術」というタイトルで、AWS上に構築
世界を包む電子の神経網 ―― “モノのインターネット”が秘める可能性
各種センサー端末から家電、インフラ機器まで、あらゆるモノに通信機能を組み込んでネットワーク化する、いわゆる“モノのインターネット”は、この地球に張り巡らされるエレクトロニクスの神経網だ。そこで捉えた膨大な情報から価値のある情報を抽出すれば、人類にとってさまざまな課題を解決する有力な手段になるだろう。 IPアドレスの枯渇問題が深刻化したのはそれほど昔のことではない。しかし今ではもう、IP（インターネットプロトコル）の次世代版「IPv6」が普及しつつある。これにより、インターネットのアドレス空間は「事実上無限大」と言えるほどに拡大する。無数の機器にIPアドレスを割り当て、それらの機器同士がM2M（Machine to Machine）通信で直接データをやりとりする「モノのインターネット（IoT：Internet of Things）」の世界が実現に近づく。 そして今、モノのインターネットの課題
情報処理技術者試験の出題範囲を大幅に見直し、IPAが発表
独立行政法人の情報処理推進機構（IPA）は2012年5月22日、同機構が実施する情報処理技術者試験の出題範囲やシラバスの変更を発表した。出題範囲には、「クラウドコンピューティング」や「仮想化」、「標的型攻撃」といった項目が新たに加わり、リモートアクセスで使う「コールバック」や開発支援ツールの「CASE」などが削られた。例えば、IT関連の知識を広く問う午前の部の出題範囲では、従来の約680項目のうち約30項目が削られ、新たに約150項目が加わって約800項目になった。 大幅に見直されたのは、セキュリティ関連の用語。例えばこれまで「ウイルス」とされてきた用語は「マルウエア」に変わり、マルウエアの一つとして「コンピュータウイルス」や「ボット」「スパイウエア」といった用語が使われるようになっている。 なお、今回加わったクラウドコンピューティングや仮想化という項目は、過去の試験においても既に出題され
ビッグデータの価格破壊？ Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 - ITジャーナリスト星暁雄の"情報論"ノート
情報と技術は未来をどう変えるのか──IT、スマートデバイス、ロボット、電子工作、メディアのアーキテクチャ Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。 ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹を支える虎の子技術です。 Google BigQuery brings Big Data analytics to all businesses - Google Developers Blog ポスト2 BigQueryプチ解説：BigQueryはGoogle社内では「Dremel」と呼ばれる超並列クエリインフラを利用した一般向けサービスです。DremelはSybase IQやOracle Exadataと同様のColumar DB
Google、ビッグデータ分析サービス「BigQuery」を一般公開
「Google BigQuery Service」をGoogleのクラウド経由で利用することで、中小企業でもテラバイト級のビッグデータの分析が可能になる。 米Googleは11月14日（現地時間）、同社のクラウド上でいわゆる「ビッグデータ」を分析する企業向けサービス「Google BigQuery Service」のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース「Goo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソフトバンクも「共創」へ、IoTに本腰 - ケータイ Watch