The Rise of the Data Engineer
I joined Facebook in 2011 as a business intelligence engineer. By the time I left in 2013, I was a data engineer. I wasn’t promoted or assigned to this new role. Instead, Facebook came to realize that the work we were doing transcended classic business intelligence. The role we’d created for ourselves was a new discipline entirely. My team was at forefront of this transformation. We were developin
運用型ゲームの分析における統計的因果推論の活用
はじめにこんにちは。DeNAゲーム事業部・分析部の中川です。 本稿では運用型ゲームにおけるデータ分析に関して、データの特徴とそれに対する統計的因果推論の活用をテーマとしてお話をさせていただきます¹。本稿は大きく分けて5つのパートからなります。 第1のパートでは本題に入る前に、運用型ゲームの特徴である「ルールの公平性」についてお話をさせていただきます。 次に、第2のパートではその「ルールの公平性」と不可分の関係にある「観察データ」について触れた上で、統計的因果推論を用いた分析の重要性を述べさせていただきます。 踏まえて、第3のパートでは統計的因果推論について簡単に説明をさせていただいた後、続く第4のパートでは実例を交えながらどういったケースにおいて統計的因果推論のアプローチが有効かについてご紹介をさせていただきます。 最後に、第5のパートでは統計的因果推論を用いた分析をサービス運営の意思決定
バッチ処理のスケジューリングパターン
この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについてご紹介したいと思います。以下、８パターンあげてみました。とはいえ、最後の3つは GCP のバッチスケジューリングという観点からは少し外れますが、バッチの起動時に使われるということでご容赦を。 Cloud Scheduler : フルマネージドな cron ジョブスケジューラです。フルマネージドという点が非常に大きなメリットであり、多くの処理を自動化し実行することが可能です。Google App Engine cron サービス : HTTP GET を利用して、特定の URLを呼び出します。Google AppEng
AIとビジネス
機械学習エンジニアの皆様は経済産業省の発行する「AI・データの利用に関する契約ガイドライン（経産省HP）」を読んだことがありますか？ AIとりわけ機械学習が実用的になりはじめて早幾年、マーケティングや工場、その他様々な場面で機械学習が用いられるようになってきました。ところがAI（機械学習）を用いたビジネスにおいてはその特性ゆえに他のビジネスに比べて問題が発生することが多々あります。そこで、昨年（２０１８年）の６月に経済産業省が作ったのが先ほどのガイドラインです。 エンジニアの皆様にもぜひご一読願いたい内容ですが、大変ページ数の多いものです。そこで、新米AIエンジニアである私がインターン課題としてそのガイドラインの重要な点と、それを踏まえてどのようにAIビジネスを行うとよいかといったことを簡単にまとめて紹介させていただきます。 追記：２０１９年７月施行の不正競争防止法改正において「限定提供デ
LayerX の事業紹介とカルチャー
はじめまして、LayerX CTO の 榎本(@mosa_siru) と申します。 この記事は、LayerX が何をやっていて、どんなカルチャーか説明していきます。何をしている会社かよくわからないという声や、ブロックチェーンのリサーチだけしている会社だと誤解されることもあり、この記事が理解の一助となればと思います。（その結果願わくば、一緒に働く仲間が増えればいいなと考えております！） LayerX って何をやっているの？LayerX は、ブロックチェーン技術に 100%コミットする会社です。多くはエンジニアで構成されており、それぞれが強みをもって研究や開発を進めています。LayerX は、2018/08 に Gunosy 福島が代表をうつることで立ち上がった新しい会社です。元々Gunosyには2017年末に立ち上がったR&Dチームがあり、それをベースとして事業化した形となります。 会社の成
RISECampに参加した – Aki Ariga – Medium
RISELabのStack上の図のオレンジと緑の部分が彼らが作っているフレームワークになるのですが、その中でも以下のものについての紹介がありました。 RAY, RLlib, Tune: Pythonの分散処理フレームワークRAYと、それを使った強化学習ライブラリRLlib、パラメータチューニング用のライブラリTuneFlor: MLのモデル作成のための実験をtrackingするためのライブラリClipper: MLモデルのServing用のAPIサーバを立てたり管理するためのライブラリPyWren: AWS Lambdaを使った並列処理のためのライブラリOpaque: Apache Sparkを使った暗号化したDataFrameを処理するライブラリWAVE: Decentralised authorization for IoTtl;drという名の感想機械学習エンジニアリングは複雑で、モデ
IoTプロジェクトでの技術的な反省点2017年
SI系、エンプラ系のエンジニアとして色々なおもしろい経験をさせてもらった2017年でしたが、今になって思えばもっとこうすればよかったという点もたくさんありました。特に技術的な面を振り返ります。 tl;drIoTでは、デバイス接続をいかにスムーズにして台数を増やすかが大事なので、デバイス側が楽になる側に倒すことが正義オンプレ運用はやっぱり大変だクラウドのベストプラクティスは従わない理由がない2017年にやったことIoTという文脈でやったことは主に２つでした。 工場のデジタル化・コネクテッド化を推進する、いわゆるIndustorial IoT（IIoT）物流などでトラックにセンサーをつけて分析する、いわゆるモビリティIoT特にIIoTは昨年からカウントして約1年間やっており、基礎的な機能群はとっくに保守運用フェーズに入っているのでこちらを中心に振り返ります。 採用技術・構成について工場内の制御
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why your AB-test needs confidence intervals
Build Your First MacOS App
Why you need to care about Explainable Machine Learning