heyの統合データ基盤と今後の展望 - STORES Product Blog
はじめに はじめまして、4/1からデータチームでデータエンジニアとして働いている @shoso です。 突然ですが、みなさんデータ基盤って開発したことありますか？ 私はheyに来るまでなかったのですが、チームの経験あるメンバーと毎日話しながら（助けてもらいながら）開発する中でようやく少し分かって来たような気がします。 （覚えることが大量にあり大変とても楽しいです！） 今回は、データ基盤開発経験のある方はもちろん、普段サービス開発など他の開発をメインでされている方にも伝わる形で、heyの統合データ基盤と今後やっていきたいことについてご紹介できればと思います。 これまでにも、統合データ基盤のいくつかのトピックについて記事を公開していますが、この記事では統合データ基盤そのものについてより詳細が伝われば幸いです。 統合データ基盤ってなに 一言でいうと、社内に蓄積するあらゆるデータをスムーズ・横断的
Mock Node - 自由に設計できるWeb APIモックサーバ
アプリやWebアプリケーションを素早く作り上げていくためにはサーバサイドをモックアップで作り始める仕組みが欠かせません。Web APIが用意されるのを待っていたら作業がはじめられないからです。 そこで使ってみたいのがMock Nodeです。自分で自由に作成できるモックアップのWeb APIサーバです。 Mock Nodeの使い方 Mock Nodeにアクセスしたところです。幾つかのWeb APIがデモとして作られています。 自分で新しいルーティングを作成できます。 スタブは自作できます。 アクセスするとちゃんとデータが返ってきます。 XMLも選べます。 スタブを作成するページです。 JavaScriptで条件を指定することもできます。 Mock Nodeを使えばサーバサイドのエンジニアでなくとも自由にモックアップサーバを立ち上げて開発ができます。より実際のデータに近いものを返すように設計す
Google スプレッドシートの関数でWebからデータを取得する - プログラマでありたい
Excel買うのはちょっと高いなぁと思っている時に重宝するのが、Google スプレッドシートです。ブラウザがあればどこでも使えて嬉しく、あのデータあのパソコンに入ってるのにとか、そういったことから開放されます。さらに他の人との共有も簡単なので、使い所沢山あります。 そんなGoogle スプレッドシートですが、Googleならではというような機能もあります。その1つがImport系のセル関数です。幾つかあるのですが、Webからデータを収拾できるものが幾つかあります。地味だけど便利なので、簡単に紹介してみます。 Import関数 関数名 概要 IMPORTXML XML, HTML, CSV, TSV,RSS/Atom XMLフィードなど、構造化データからデータをインポート IMPORTHTML HTML ページ内の表やリストからデータをインポート IMPORTFEED RSS, Atom
仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ
パートナーアライアンス部 森田です。有料会員の獲得施策や、それに関わるサービス内動線の最適化を担当しています。 記事の対象 仮説検証を通じて何かを改善をしたいと思っている人 仮説検証の際に「どれくらいのデータを集めたら良いか」分からない人 はじめに 仮説検証とは「仮説を立て、それを証明するためのデータを集め、真偽を確かめること」です。今回は仮説検証を行う際の手順と、その検証に必要なサンプルサイズの考え方を説明します。サンプルサイズの話のみ関心があるかたは、前半を飛ばし「サンプルサイズの決め方」を読んでください。 目次 記事の対象 はじめに 目次 仮説検証のつくりかた 1. 仮説をたてる 2. 施策/KPIを考える 3. 仮説検証後のアクションを決める 4. 対象を決める 5. サンプルサイズを計算する サンプルサイズの決め方 答えを先に サンプルサイズを決める二つの要素 「二つの平均値」と
Fluxフレームワーク戦争の現状確認（前編） - マルシテイア
この記事は 仮想DOM/Flux Advent Calendar 2015 2日目の記事です。 みなさんFlux書いてますか？ 僕はオレオレ実装を書き続けて消耗してます。 Fluxフレームワーク使いたいけど使いたくない……！！ いったい今Fluxフレームワークって幾つ生き残ってるの……戦争は終わったの？ っていうか最近新フレームワークの噂聞かないけど、まだFluxって流行ってるの？ 今日はその辺をまとめてみたいと思います。 もくじ 前提知識 Flux以前 2014年5月 Flux登場 〜2015年前半 戦国時代 Fluxxor Fluxible Alt NuclearJS 振り返り 2015/5月 Reduxの登場 前半まとめ 前提知識 Fluxってなに？という方はこちらの資料をみると良いでしょう。 非常に丁寧にまとめられています。 speakerdeck.com なお、以下ではアーキテク
これからAWSを使ってIoTをやってみたい人が抑えておくべき10のキーサービス & 7つのキーワード #reinvent | DevelopersIO
こんにちは、せーのです。 今回はAWSの沢山あるサービスの中から、Re:InventのIoT系のセッションに参加した結果「これはやっといた方がいいなあ」というAWSのサービスとAWS以外のキーワードについて重要度順にご紹介したいと思います。 AWS サービス AWS IoT 今回初登場したAWS初のIoT系サービスです。 IoTでネックになりがちなMQTTSによるセキュアな通信や、スケールするブローカーによる振り分け、オフラインになったデバイスとのステータスSync等をAWS側で一手に引き受けてくれる、フルマネージドのサービスになります。 デバイス側にもSDKが提供されていますので、すごくシンプルにデバイスとAWSをつなげることができます。一方で「Shadow」や「Rule」等AWS IoT特有の考え方もあるので、ここはきっちり抑えておきましょう。 公式APIリファレンス: AWS IoT
残業とプログラミングの効率について
プログラマーの残業についての質問です。 人月の神話などの教訓もあると思うのですが、どのくらいやるとどのくらい一人のプログラマーのアウトプットが落ちるのかなどのグラフやデータはあるのでしょうか。 コーディングする文字数の低下や、工数などの単位で示されているグラフはあるのでしょうか。 この辺について、自分を実験台にするのは悲しいので、参考に知りたいです。 例えば、ちょっと違いますが睡眠時間はこういうのがありました。 http://laugh-raku.com/wp-content/uploads/2013/05/7ae61a6d2298f57c5a19f9a46b49e7531.png こういうデータや考え方についてなにか知っている人いましたら、教えてください。 よろしくお願いします。
最良のエンジニアは速記者ではなくアーティストだーーPaul Ford氏の大作記事「What is Code」が語ること - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
image via. Flickr <Pick Up> What I learned by reading Businessweek’s incredible 38,000-word article on code ライターでプログラマーのPaul Ford氏が書いた「What is Code」という記事が注目を集めてる。コードについて、専門家ではなくても理解できる形で語るこの記事は、38,000語から成る超大作。ピックアップした記事の著者は、完読するのに82分かかったそう。 実際の記事を読むに越したことはないけれど、時間がない人のために大事なポイントが要約されていたので、一部をご紹介します。 あらゆるものを動かすのはソフトウェアだーーWindowsやFlappy Birdに限らない。銀行のATM、エレベーター、洗濯機、わたしたちの生活のあらゆるものを動かすのは、その裏側にあるソフトウェア
『最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法』
最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法 | サイバーエージェント 公式エンジニアブログ こんにちは. エンジニアの平野です. ふだんはプライベートクラウドのサーバハードウェアとストレージを担当しています. サーバのリプレイスや増設, 仮想サーバの移植などでテラバイトクラスのデータを2つのサーバ間で転送することがよくあります. こんなとき, 転送終了を待ちながら「あと何時間掛かるのかなー」とか「もっと速く転送終わらないかなー」なんて考えたことはありませんか? 今回は下記のようなシーンで活躍する, 特盛りデータを30倍高速に転送する方法をご紹介します. - サーバの交換でデータを移設したい - MySQLスレーブサーバの増設したい - 仮想サーバを別のホストに移植したい - 大量のファイルを別のサーバに移設したい - 大容量データをバックアップしたい ■ 環境を用
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
