Amazon AthenaをBigQueryと比較してみた
こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go
H.264の秘密 | POSTD
(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) (2016/12/11、いただきましたフィードバックをもとに翻訳を修正いたしました。) H.264は、動画圧縮コーデックの標準規格です。ネット上の動画、Blu-ray、スマホ、セキュリティカメラ、ドローンなどなど、今やあらゆるところでH.264が使われています。 H.264は注目すべき技術のひとつです。たったひとつの目標、つまりフルモーションビデオの送信に要するネットワーク帯域を削減することを目指した30年以上の努力の結晶なのです。 技術的な面でも、H.264はとても興味深い規格です。この記事では、その一部について概要レベルでの知識を得られることでしょう。あまり複雑だと感じさせないようにするつもりです。今回おはなしする概念の多くは動画圧縮全般にあてはまるものであり、H.264に限ったものではありません
スパム対策のための認証を提供するシステム「はてラボ人間性センター」をリリースし、はてな匿名ダイアリーなどのラボサービスに組み込みました - はてラボ 開発者ブログ
本日、はてラボサービス向けに、スパム対策として人間とロボットを区別するための認証機能を提供する「はてラボ人間性センター」をリリースしました。 現在は、日本向けに「クイズ認証」を提供しています。なお、本システムは、組み込んだサービスから呼び出される仕組みのため、ユーザー様が直接利用することはできません。 クイズ認証を組み込んだサービスは以下の通りです。 大チェッカー Hatena::Let はてな匿名ダイアリー なお、現在は通常のユーザー様の負担とならないよう、一部のユーザー様を対象に認証を実施しております*1。 認証が表示されたユーザー様にはお手数をお掛けいたしますが、スパム抑制のためご理解いただければ幸いです。 はてなでは、サービスを快適にご利用いただけるよう、人間性センターのような実験的な施策も含め、今後ともスパム対策に力を入れてまいります。 *1:対象は今後の状況を見つつ変更する場合
この本がスゴい！2016
人生は短く、積読山は高い。 せめては「死ぬまでに読みたいリスト」を消化しようとするのだが、無駄なあがき。割り込み割り込みで順番がおかしくなる。読了した一冊に引きずられ、リストは何度も書き直される。 重要なのは、「あとで読む」は読まないこと。「あとで読む」つもりでリツイート・ブックマークしても読まないように、あとで読もうと思って読んだ試しはない。だから、チャンスは読もうと思ったそのときしかない。実際に手にとって、一頁でも目次でもいいから喰らいつく。勢いに任せて読みきることもあれば、質量と体力により泣く泣く中断する本もある。かくして積読山は標高を増す。 ここでは、2016年に読んだうち、「これは！」というものを選んだ。ネットを通じて知り合った読書仲間がお薦めする本が多く、それに応じてわたしのアンテナが変化するのが楽しい。わたし一人では、数学や経済学や歴史学、進化医学や認知科学の良本を探し出せな
リクルートテクノロジーズのフロントエンド開発 2016 - from scratch
前書き このエントリーは Recruit Engineers Advent Calendar の 1日目の記事です。 www.adventar.org リクルートテクノロジーズのフロントエンド開発 リクルートテクノロジーズではいくつもの並行するタスクが走っていて、プラットフォーム基盤と呼ばれる基盤技術開発とインフラソリューションと呼ばれるインフラ開発、後はアプリケーション開発支援などのタスクが存在します。 アプリケーション開発支援の中でもウェブフロントエンド開発は目下のところ重要タスクとされており、色んなやり方をトライアルしています。 基本的には、 React Redux Node.js という組み合わせでフロントエンド開発をしています。 主には以前 ubb.jp というイベントで発表したこの資料に記載されている内容でやっていますが、諸々補足します。 リッチなウェブアプリケーションを作るた
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
高校生にWeb上でプログラミングを教え始めたエンジニアがこの8ヶ月間で得た気づき - Qiita
画像: N高等学校課外授業(N予備校)での生放送授業のブラウザ上での見た目、コメントが書ける 目次 はじめに 教えることになったきっかけ Web企業にエンジニアとして就職できるようになる、というミッション 既存のWeb教材に感じた問題意識 「各自進められるゲームブック形式の教材」と「徹底的にフォローする生放送授業」 コンセプトをもとに構成されたコースと内容 ゼロからプログラミングができるようになった人が生まれた日 永劫、プログラミングは一部の天才たちのためのものか？ プログラミング学習のモチベーションの課題と対応 まじめなオタクたちが社会をよくしようと頑張ること さいごに はじめに 自分はこの8ヶ月間、Web上で非対面のプログラミング教育、具体的にはHTML教材と生放送授業を中心としたプログラミング教育をN高等学校の生徒に行ってきました。 ここに書かれている内容は、これからプログラミング教
42歳「脳が壊れた」ルポライターのその後〜私が障害を受容するまで（鈴木 大介） @gendai_biz
先日、書籍『されど愛しきお妻様』を上梓したばかりの文筆家の鈴木大介さん。「大人の発達障害」な“お妻様”と、41歳で脳梗塞で倒れ、高次脳機能障害を背負った鈴木さんの、笑って泣ける、18年に渡る家庭再生の軌跡です。 本記事は、『されど愛しきお妻様』執筆のきっかけとなった、病後間もない鈴木大介さんが高次脳機能障害を受容するまでの道のりです。 トイレでこっそりゼリーを食べる 昨年初夏、41歳で脳梗塞に倒れた。 幸い一命は取り留め、血圧や血液の状態などを改善維持すれば再発リスクはそれほど高くないというが、左半身に軽度のマヒと、構音障害（呂律障害）、そして高次脳機能障害（以下「高次脳」）という聞きなれない後遺障害が残った。 リハビリを経て比較的短期間で回復したのは、身体や口回りなどフィジカル面のマヒ。ところが一方の高次脳については感情の抑制困難や注意障害・遂行機能障害が複雑に絡み合った形で残存し、結果
［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016
［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016 AWSは大容量のデータを顧客のデータセンターからAWSのクラウドへ物理ストレージを利用して効率よく転送するために「Amazon Snowball」を2015年に発表しました。 今回のAWS re:Invent 2016では、このAmazon Snowballの進化形として「AWS Snowball Edge」が発表されました。 Snowball Edgeは100TBの頑丈なストレージにコンピュート機能などを内蔵したことで、処理中のサーバに接続し、ストレージとして直接データを受け取るといったことが可能になります。 しかし「企業が保存しているデータがエクサバイトだったらどうだろう？」と、AWS CEOのAndy Jassy氏。「エクサバ
代表取締役社長兼CEO 守安功からの一連の事態に対するお詫びとご説明 | 株式会社ディー・エヌ・エー | DeNA
皆様 この度は、弊社キュレーションプラットフォームサービスに関して様々なご批判を受けるような事態を招いてしまったことについて、代表取締役社長兼CEOである私、守安より皆様にご説明を申し上げます。 このような状況に至ったのは、まずもって企業の最高責任者である私の不徳の致すところであり、ユーザーの皆様をはじめ、広告主様、提携パートナー様、その他多くの方々に対して、これほどまでに大きなご迷惑をおかけしてしまったことを、心よりお詫び致します。 専門家による監修のないまま、根拠が不明確な医療関連記事を載せていたことについて、数多くのご批判をいただきました。細心の注意を払って取り扱うべき医療情報をこのように不適切な形で提供していたことは大きな間違いであったと反省し、11月29日にWELQの全記事を非公開化しました。 加えて、WELQも含めたキュレーションメディアの記事制作のプロセスに問題があるというご
サイバーエージェントを退職しました | κeenのHappy Hacκing Blog
このエントリはEx CyberAgent Developers Advent Calendar 2016 - Adventar1日目の記事です。 元サイバーエージェントの人がわいわいやります。 κeenです。二年弱勤めたサイバーエージェントを退職したのでその旨について。 サイバーエージェントの思い出 サイバーエージェントに興味をもつきっかけになったのも入社することになったのも学生の頃からずっと参加し続けていたLispMeetUpでした。 LispMeetUpでは長らく会場としてCAのセミナールームを使わせてもらっていました。 そこでエンジニアに対して気軽に施設を提供するCAや社員の@potix2さんを知って、そのまま@potix2さんの手引でCAに入社する運びとなりました。 「面接でLispは口にしない方が良い。100%落ちる。」なんて言ってた割にはLisp繋りで入社しました。 Cyber
ＡＳＫＡ容疑者 謎の言葉「ギフハブ」は「ＧｉｔＨｕｂ」か （デイリースポーツ） - Yahoo!ニュース
覚せい剤取締法違反（使用）の疑いで逮捕された歌手のＡＳＫＡ容疑者が残した謎の言葉「ギフハブ」について３０日、読売テレビ系「情報ライブ ミヤネ屋」が「ＧｉｔＨｕｂ（ギットハブ）」ではないかと分析した。 同容疑者は警視庁に２８日に逮捕される約５時間前に宮根誠司キャスターと電話で話し、その模様を２９日に同番組で放送した。その際、同容疑者は「組織があるんですけど、ギフハブっていう。そこが組織を作って今…」などと自分の行動が監視されていると訴えていた。 ３０日の同番組で“ギフハブ”について「そういう組織はまったくない」とし、インターネット上で「ＧｉｔＨｕｂ（ギットハブ）のことではないか」との指摘があることを紹介した。 ＩＴジャーナリスト三上洋氏の解説としてギットハブについて、「コンピュータープログラムをインターネット上で共有するサービスのこと。単なるネット上の倉庫のようなものでＡＳＫＡ容疑者が
逃げ切り？ DeNAパクリサービスを生んだ土壌は、あの韓国企業の再挑戦
一気に書いた。 結局（一時？）閉鎖に追い込まれたWELQ問題と、キュレーションと、DeNAがやってること。 タイトルは釣りだ、タイトル付けは難しい。 けど「モラルなき金儲け」の土壌が生まれた背景に、あの外資系が影響しているように思う。外資系企業は、「自国以外の法や心情には無頓着にサービス展開」する傾向はままある。但し、韓国企業の批判ではなく、話の流れとして登場させた。 WELQ問題は2つのポイントがある。一つ目は、場合によっては生死に関わるかもしれない医療情報の問題。そしてもう一つが、前々から一部の人達が不満を抱えている「パクリ」問題だ。こちらのパクリ問題はまだネット業界の一部だけにしか問題視されていない。DeNAとしては何としてもWELQだけの閉鎖で誤魔化したい所だろうが、今やっていることはあまりにも酷い。 「キュレーション」という"合法"ドラッグみたいな言葉が生まれた背景。薄給でライタ
平凡な存在で終わっている人は、成功パターンだけを増やそうとしていないか？ | サイボウズ式
マネジメント 新しいチームのあり方を探求 就活 就活生必見！サイボウズの疑問 ティール組織 会社の「あたりまえ」が変わる 多様性 100人100通りの個性 ワークスタイル 働き方、生き方、もっと自由に 青野慶久 サイボウズ社長の想いと覚悟 キャリア 人生の「積み上げ方」を見直す 複業 複数の「本業」をもつ働き方 人事制度 多様な働き方を支える仕組み マンガ サクッと手軽に読める！ サイボウズ式編集部より：著名ブロガーによるチームワークや働き方に関するコラム「ブロガーズ・コラム」。桐谷ヨウさんのコラムです。 今日は「平凡」をキーワードに書いていきたい。自分の人生は失敗も成功も何もなく、平凡でおもしろくない──。こんな風に考えてしまっている人はいるだろうか？ 俺の印象では、平凡な人の特徴は「成功体験」ではなく、圧倒的に「失敗体験」が足りていない。 私達が失敗したくないのはなぜ？ 俺が最近感じる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News