AWS Glue DataBrew の発表 – データのクリーニングと正規化を迅速にするビジュアルデータ準備ツール | Amazon Web Services
Amazon Web Services ブログ AWS Glue DataBrew の発表 – データのクリーニングと正規化を迅速にするビジュアルデータ準備ツール 分析の実行、レポートの作成、あるいは機械学習の導入を始めるには、使用するデータがクリーンで適切な形式であることを確保する必要があります。このデータの準備ステップでは、データアナリストとデータサイエンティストに対し、カスタムコードの記述や、多くの手動操作が要求されます。そこではまず、データを見て、利用できそうな値を把握し、列同士の間に相関があるかどうかを確認するための簡単な可視化機能を構築する必要があります。その後、想定を外れた通常以外の値をチェックします。たとえば、200℉（93℃）を超えるような気温や、200mph（322 km/h）を超えるトラックの速度、そして欠落しているデータなどを洗い出します。多くのアルゴリズムでは、特
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
営業のデータ分析_全体像を理解する
営業のデータ分析について全体像を理解することを目的にした勉強会資料。具体的にどのような考え方でどの様に進めるべきかをスライドにまとめました。
40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由
40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由（1/2 ページ） 「ポケットモンスター」シリーズの版権管理を手掛ける「株式会社ポケモン」。保有するポケモンの画像・動画のデータ量が膨大であるため、共有や管理に苦労する場合が多いという。同社テクニカルディレクターの関剛さんが「Box World Tour Tokyo 2019」に登壇し、クラウドストレージの活用法を語った。 「ポケットモンスター」シリーズの版権管理を手掛ける「株式会社ポケモン」（以下「ポケモン社」）。ピカチュウなどおなじみのキャラクターが米Nianticの「Pokemon GO」など他社のゲームに登場するのは、ポケモン社がIPを提供しているためだ。同社は他にも多様なパートナー企業と組み、ポケモンを起用した商品・サービスの展開を支援している。だが、保有
「アベンジャーズ型」のデータ分析組織がうまくいかない理由
「アベンジャーズ型」のデータ分析組織がうまくいかない理由：マスクド・アナライズのAIベンチャー場外乱闘！（1/3 ページ） 長い10連休が終わり、中には憂鬱（ゆううつ）な気分で仕事をしている方もいるかもしれません。実はこの原稿の締め切りは4月26日の連休前。話題の映画「アベンジャーズ／エンドゲーム」を見に行くのを楽しみにしながら原稿を納品しました。 しかし現実は非情なもので、連休明けから他社のデータ分析組織立ち上げ支援の準備をしなければなりません。最近は「自社でデータ分析組織を立ち上げたいが、やり方が分からないので手伝ってほしい」というような依頼が増えてきました。 分析業務を丸ごと外注するよりもコストが低くスピード感もあり、「弊社はデータ分析組織を持つ先進的な会社です」とドヤれるので、IRや広報、採用などでの利点もあるでしょう。ところが下心全開でデータ分析組織を立ち上げて失敗した事例は多く
機械学習のビジネス上の価値を「効果測定」して「数値評価」する方法 - 六本木で働くデータサイエンティストのブログ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 気が付けば、日本における第一次データサイエンティストブームから6年、人工知能ブーム開始から3年が経ったようです。意外と言っては何ですが、これまでのところ人工知能ブームも、そしてそれにブーストされた形で起こった第二次データサイエンティストブームも、まだまだ続くどころかどんどん加速していきそうな状況です。 なのですが、これだけ統計学や機械学習のような高度なデータ分析技術がビジネスの現場に浸透するようになった現在でも、なぜかあまり多く見かけないものがあります。それは「機械学習（もしくは自動化された統計分析）によるビジネス上の成果を数値として示したもの」。意外かもしれませんが、個人的な観測範囲では例えば「Deep Learningを導入したら〇〇がXX%向上した」みたいなリリースや記事を見かけることは、正直なところ思った以上に少ないように思われます。それでも第
DMMにおけるユーザーレビュー基盤の変革(データ駆動戦略を実現する『三種の神器』編)【Developers Summit 2019】 - DMM inside
DMMにおけるユーザーレビュー基盤の変革(データ駆動戦略を実現する『三種の神器』編)【Developers Summit 2019】
LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ - TECH PLAY Magazine
TOP マガジン インタビュー LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。 そこで今回は、サイバーエージェント秋葉原ラボ・研究室長の福田一郎氏と、LINE Data Labsのデータエンジニアである吉田啓二氏に、「データ基盤の設計・マネジメント、データエンジニアリング」をテーマに、サービスを発展させる上で社内部署とどのように協力すればいいのかについて語っていただきました。 対談者プロフィール 株式会社サイバーエージェント 秋葉原ラボ研究室長 福田 一郎氏 2008年、サイバーエージェントに入社。2011年、秋葉原ラボを設立し、メディア事業全体の大規模データ処理基
データはほんとうに「真実」なのか - Qiita
最近、データを使うということが手段でなく、目的になってしまい、その挙げ句、データが「神格化」されてしまっているような風潮があります。 つまり、データが言うのだから、間違いはないというわけです。 そこで「データ・ドリブン」という言葉が先歩きをしてしまうのでしょう。 もちろん、単に「データ」と言っても、人によってその意味することは様々ですが、その中でも、英語では、「Raw Data」、日本語にすると「生データ」、つまり加工する前の、とれたてほやほやのデータという意味でのデータは、人間によって操作されていないので、事実で、客観的で、正直だと私達は思い込んでいたりします。 しかし、そういった期待は全くの勘違いで、データとは集められた瞬間からすでに人間の意思によって「汚れている」ものなのだという記事がおもしろかったので、こちらで紹介したいと思います。 以下、要訳。 Why Data Is Never
全人類に告ぐ。セル結合をやめろ。 - hibitの技術系メモ
（12/13追記 タイトルや表記に過剰な表現があり、セル結合を全否定するかのような印象を与えてしまいました。そのような意図はなかったのですが、補足記事を書きましたので、併せて読んでいただけると幸いです。すみませんでした。） 人類よ、なぜそんなにセル結合を使いたがる？ それが罪深い行為とも知らずに……。 思わず神視点になってしまいましたが、この世界にはExcelのセル結合を無意味に使いたがる人が多すぎます。いや、メリットがないことはないのですが、それを余裕で上回るデメリットがあることを意識している人が少ないように思われます。データというのは、コピペしやすいこと、集計しやすいこと、数え間違いをしづらいことが第一なので、それを損ねるような行為は許されざる大悪というべきでしょう。断固として弾劾していきます。 綺麗なデータとは ここにエクセルで作った、同じソースから作成した3種類のデータ（東京都の区
データリテラシーは人に教えられるのか？ メルカリのデータアナリストが語る、“ゆるふわBI ”によるリテラシー教育とは
データリテラシーをどう教育していくか 備前光隆氏（以下、備前）：ありがとうございます。お三方に共通してデータの民主化や環境という話が出ました。数字が出ているだけだと、（人によっては）数字の見方がわからなかったり、リテラシーが低さから間違った解釈をしたりする可能性はあるじゃないですか。 そのあたりの社員教育というか、社内・組織教育ってどういうことを取り組みとしてやられていますか？ 牟田博和氏（以下、牟田）：難しそうですね。 備前：どんどん（マイクを）回していいですよ。しゃべれる方でぜんぜん大丈夫です。 樫田光氏（以下、樫田）：データリテラシーってすごく難しい問題かなと思っていて。さっき牟田さんもおっしゃったとおり、民主化って範囲をどこまで含めるかという問題が1つあるかと思います。 実は僕が今運営しているBIチームのなかには、『レ班』と『デ班』というものがつくられています。デ班とは何かと言うと
デザイン思考とデータ分析のミエナイ落とし穴 - Quipper Product Team Blog
はじめまして、Quipper 東京オフィスでデザイナーをしております @daitorii です。 幼い頃は公園でよく落とし穴を掘っては友達が落ちて行く様を笑い転げて見ていました。なんでこんなのに引っかかるんだよ、俺は絶対に引っかからねえ。とは思っていたものの、もちろん自分も落とし穴にハマり（しかも結構壮大だったし若干トラウマ）、子供ながらになんとなく感じた古い記憶があります。 「自分が当たり前だと思っている前提や認識は、誰かにとっての当たり前ではない」 という事です。 今日はリアルな落とし穴の話ではなくデータの分析やデザイン思考の落とし穴の話。 ですが、実は根本的な問題は同じような気もしています。 デザイン思考と科学的方法 最近よく「デザイン思考」という言葉を耳にする方も多いと思いますが、結局のところそれは何だということで Wikipedia 先生に聞いてみました。 デザイン思考（でざいん
【CEDEC 2018】「開発・運営が自らデータ分析する文化を！」 （Aiming 芝尾幸一郎氏） ゲームをより良くするための方法と施策とは？ | gamebiz
今年もパシフィコ横浜にて開催された「CEDEC2018」。期日は8月22日から同月24日までで、この3日間は多数のセッションに様々な業界・様々な立場の人々が集まる。本稿では、「データを分析する文化を作る-開発運営が自分でデータを分析してもらうためにしたこと-」について、株式会社 Aiming開発グループリードソフトウェアエンジニア（データ分析チーム・Monolithリーダー）の芝尾幸一郎氏が行ったセッションに触れていきたい。 「データ分析は、データ分析の専門家が行うのではなく、開発・運営が自分たちで行うべきである。データ分析の専門家は、そのための手助けをするべきだ」 これは「社内にデータを分析する文化を作る」事を目標とした主張であり、開発・運営が積極的に分析を行って欲しいとの願いも込められている。Aimingでは、そのために次の施策を行った。 ●社員誰にでも見られるBIツールの開発 ●BI
データサイエンティストや機械学習エンジニアに求められる「素質」とは何か - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 某所で時々意見交換させていただいている@maskedanlさんが、面白い記事をnoteにupなさっていたので拝読しました。細かい内容は上記のリンク先から皆さんに直接お読みいただくとして、記事中で某所で僕が放言（笑）したことへのご質問をいただいていたのでした。それは、データサイエンティストや機械学習エンジニアといったデータ分析人材に求められる「素質」について、です。 それは例えば統計学や機械学習はたまたプログラミングといった「スキル」や「素養」とも違う、言ってみれば性格的傾向とか仕事スタイルとかはたまた思想信条のような、もうちょっと属人的で曖昧なものだと思うのですが、個人的な経験からはその「素質」の有無がデータ分析職として育成した結果、ものになるかならないかを分けるように感じられています。 ということで、あくまでも個人的経験に基づく範囲でデータサイエンテ
デザインとコミュニケーションで改善するデータのUX - Speaker Deck
Transcript Improving UX of Data by Design and Communication σβΠϯͱίϛϡχέʔγϣϯͰ վળ͢ΔσʔλͷUX THE STUDY BY THE GULD ࣗݾհ GO ANDO THE GUILD / UXɾUI Designer 1. SIer ͰΩϟϦΞελʔτ ɾ େن։ൃͰσεϚʔνΛଟܦݧ ɾ ւ֎ࣄۀ։ൃͰւ֎Ͱൃ۷ 2. ݕࡧΤϯδϯϕϯνϟʔ ۀ ɾ ถࠃελʔτΞοϓͱڞಉ։ൃ 3. ಠཱͯ͠ΞϓϦσϕϩούʔʹ ɾ App Store ຊ૯߹1ҐΛؤுͬͯ֫ಘ 4. THE GUILD ۀ ɾ U-NEXTٕज़ސब ɾ ͍·͜͜ ɾ IBMʹങऩ͞Εͯऴྃ ���� 6�/&95ͷձһ 2014 2015 2016 2017 (3085) None THE STUDY BY THE G
LINE の全社員が必要に応じて担当サービスのデータを分析できる環境の構築 - LINE ENGINEERING
! This post is also available in the following languages. 英語, 韓国語 この記事は、 LINE Engineering Blog 「夏休みの自由研究 -Summer Homework-」 の 2 日目の記事です。 LINE Data Labs のデータエンジニアの吉田啓二です。昨年から行っている「 LINE の全社員が必要に応じて担当サービスのデータを分析できる環境を構築・提供する」という取り組みをご紹介します。 LINE Data Labs とは LINE Data Labsは、 LINE の各サービスのデータの収集・処理・集計・分析を専門的に行うことで、データの分析・活用という側面から各サービスの成長を支えることを目的とした部署です。Hadoop クラスタへの各サービスデータの収集、データを集計・可視化する BI/レポーティン
StudySapuri Data Meetup を開催しました #sapurimeetup - スタディサプリ Product Team Blog
こんにちは、データグループの id:beniyama です。 2018-07-20（金）に『StudySapuri Data Meetup 〜未来の教育を創り出すデータ組織、全部お見せします！〜』というイベント を開催しました！ techplay.jp この StudySapuri Meetup は二日連続のイベントで、データ会は二日目でした。初日のプロダクト会の様子や講演資料は StudySapuri Product Meetup を開催しました #sapurimeetup - スタディサプリ Product Team Blog にまとまっていますので是非こちらもご覧ください！ このように徹頭徹尾自社の人間がお話しさせていただくイベントの企画・開催は初めてだったのですが、途中増席しての 120 人定員に対して最大 720 人近くのご応募！をいただき大変な盛況ぶりとなりました。当日も暑い中
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
創業140年の古い会社でデータの民主化を進めた話 / nikkei data driven 20180823
THE GUILD勉強会 #03 「データ×UXデザイン」を開催しました｜THE GUILD
