この記事はビジネスにおいてデータ分析のレポートを作成する際に気をつけたほうがよいことを自分なりにまとめたものです。間違いやすい点なんかを集めたTIPSみたいな記事になっています。 レポートの書き方そのものについては良い書籍や記事がたくさんありますのでそちらを参照することをオススメします。 前提データ分析のレポートでは基本構成としてIMRAD形式に則るのが良いです。 IMRADとはIntroduction, Methods, Results And Discussionの頭文字を取ったもので、特に論文でよく使われる構成です。 シンプルですが科学的検証に向いた形式でありデータ分析もデータを元に客観的に検証するという観点からIMRAD形式に合わせると適切に記述・検証することが可能になるので強く推奨です。 逆に言えば、ビジネスのプレゼンテーションにありがちなインパクトを優先する恣意的な印象を与える

Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由 Reliability Engineering Behind The Most Trusted Kafka Platform #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Reliability Engineering Behind The Most Trusted Kafka Platform」に登壇したのはLINE Z

キャラクター性格診断スレまとめ Wiki アニメや漫画、小説などの登場人物の性格について台詞や行動をもとに性格診断し、予想を書き出してまとめるwikiです。キャラクターの性格と人間関係を考察したり、創作論に役立てることを目的としています。 トップページページ一覧メンバー掲示板編集 第三機能両翼・補助機能反転について 最終更新：ID:pvqGAcPdTQ 2019年09月13日(金) 22:01:07履歴 Tweet MBTIの公式本による最新見解による心理機能スタックについて、キャラクター診断スレッドに報告がありましたのでまとめます。 代替機能両翼 主機能と同じ向きとされている代替機能ですが、実はこれの向きは両方であるとするのが最近のMBTIの公式見解だそうです。 これによって例えばESTPの機能スタックはSe-Ti-Fe-NiとされていたのがSe-Ti-F-Niと変わるそうです。 これは

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 仕事で生存時間分析を使うことは結構あるのですが、マーケティングの良いデータセットがない印象でブログにしにくいと感じていました。また、Stanでの生存時間分析の事例もあまり把握していません。そこで使えそうなデータセットやStanのコードを探して、そのデータに対して生存時間分析を適用してみたいと思います。 目次 ・生存時間分析とは ・生存時間分析で使えるデータ ・生存時間分析をマーケティングで使う際の用途 ・先行研究 ・生存時間分析で使えるデータセット ・Sta

こんにちは、ぐるなび データマネジメントグループの中島です。 我々のグループは、全社的なデータマネジメントの企画・推進を行っております。直近では特に、メタデータ管理に力を入れています。 今回はその メタデータ管理 の一端についてお伝えしたいと思います。 そもそもデータとは？ そもそもデータとは何でしょうか。 メタデータの話をする前に、データについておさらいしておきます。 エンジニアブログを読んで頂いているみなさんに「データ」の話なんて いまさら何を……と思われるかもしれませんが、初心に返って調べてみると色々と発見ができました。 Wikipediaによると、 データ（英: data）とは、事実や資料をさす言葉。言語的には複数形であるため、厳密には複数の事象や数値の集まりのことを指し、単数形は datum（データム）である。 とあります。（Wikipedia データ 2019年4月10日 (水

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog この記事は、 LINE Engineering Blog 「夏休みの自由研究 -Summer Homework-」 の 2 日目の記事です。 LINE Data Labs のデータエンジニアの吉田啓二です。昨年から行っている「 LINE の全社員が必要に応じて担当サービスのデータを分析できる環境を構築・提供する」という取り組みをご紹介します。 LINE Data Labs とは LINE Data Labsは、 LINE の各サービスのデータの収集・処理・集計・分析を専門的に行うことで、データの分析・活用という側面から各サービスの成長を支えることを目的とした部署です。Hadoop クラスタへの各サービスデータの収集、データを集

先日発表した私の処女作 SYNTHESIZE ですが、30歳から漫画を学びはじめてアウトプットした作品となります。 一応どういうふうに漫画を学んだのかに関しては、 SYNTHESIZE 1話目の創作ログ に纏めてあるので興味がある方はこちらも読んで頂ければと思うのですが、個人的な漫画勉強法に関してもっと具体的に、画像つきで、詳細を語りたいと思います。 ※画像は冨樫義博「HUNTERxHUNTER」より引用 HUNTERxHUNTERを徹底的に考察する まず、こちらの本 Filmmakers Eye 映画のシーンに学ぶ構図と撮影術：原則とその破り方 を読んで、基本的にバストアップやエスタブリッシュショットにどういう意図があるのかを知識としてインプットしました。 次に自分にとって「これは最高傑作である！こんな作品が描きたい！」と思えるような漫画（私の場合はHUNTERxHUNTER）を引っ張り

短期集中連載：ハリルホジッチの遺産 第3回 4月9日、日本代表監督を解任されたヴァイッド・ハリルホジッチは日本サッカーに何を残したのか？ W杯開幕前にあらためて考えてみたい。第3回はこの解任劇が日本サッカーの未来を考えれば正しい選択とは言いがたい、と主張する結城康平氏が登場。テーマは、代表監督の「解任基準」とは何なのかだ。 理解されなかった、ハリルホジッチの戦術的長所 相手チームを地道に分析して、罠に追い込む。ハリルホジッチの戦術的意図は複雑ゆえにわかりにくく、万人受けするスタイルではなかった。しかし、90分という試合全体をコントロールする組み立てにおいて、彼の能力が傑出していたのは事実だ。アジアを出れば大半のチームが格上という状況を考慮すれば、日本代表のサポーターも期待のレベルを明確化しなければならない。 彼の戦術的長所は、アルジェリア代表時代から変わらない「多様な戦術的パターンの使い分

Quipper で Web Engineer 兼 Engineering Manager を務める @ohbarye です。スタディサプリの開発、その中でも特に合格特訓コースや決済周りの機能開発・保守が主な業務です。 弊社が開発するプロダクト「スタディサプリ」ではA/Bテストを用いたプロダクトの改善を行っています。Quipper の行動指針の一つに "Fact based" という言葉が含まれており、憶測や独断ではなく計測されたデータや事実に基づいて意思決定することが強く推奨されているためです。 このたびスタディサプリにおいて負債と考えられていた機能を「消してよいかどうか」、A/Bテストを通して判断しました。その際に用いた手法や結果、そこから見えたこと、考えたことをご紹介します。 プロダクトの負債とは プロダクトチームにとって負債と考えられていたのは「キャリア決済」という決済手段でした。そ

Python使いで『今後はデータビジネスの現場かも』って人、NimData/Arraymancerをさわってみておこう。Python機械学習Nimarraymancer創薬ダジャレ はじめに 本エントリーは、主には、python使いな人でデータビジネス界隈でのバッチ処理/ストリーム処理やIoTのエッジ端末側のことが気になっている人の流し読み向けポエムかと。 前提とする近未来像 IoT+AIな開発案件で、サーバー（クラウド）側での学習済モデルを迅速にフィールド展開（モバイル端末やIoTエッジ端末へのデプロイ）することがしばしば求められるようになっている状況。 #参考TensorFlow Liteのliteな話 IBM QやMS Q#など量子コンピューティングな界隈がざわついている年の瀬に地味な話だろうけど　、通信速度に制約ある限り、必要な話。今後の展開先としては、『自律的にふるまうドローン、

SIEM製品とは、Security Information and Event Managementの略称です。 ファイアウォールやIPSなどのネットワーク機器、ソフトウェアやアプリケーションが出力するイベント情報を一元的に保管して管理し、脅威となる事象を把握するテクノロジーです。 主に二つの用途があります。 ・収集したログを利用してリアルタイムに分析を行う ・蓄積されているログをさまざまな観点で検索・調査を行う 元々は、監査対応などのコンプライアンス要件でログを統合的に管理・保管する目的でしたが、近年ではサイバー攻撃対策や情報不正利用対策などに注目があがっております。 よって機能面において、より即時対応するためのテクノロジーが求められています。 SIEMがない環境では 従来のセキュリティでは製品単体の能力のみで解決していこうとしておりました。 近年では脅威もより高度化していき、多層防御が

最近よくビジネスニュースというか経済ニュースを見ていて思うんですが、注意しないと各企業についてバイアスがかかるリスクがあるなぁと。メディアが悪いと言えばなんとなく悪い感じがしてきますし、賢い人がすごいと言えばなんだかすごい気がしてきます。具体的には、Amazonの戦略がすごい！とか、Appleは税金を納めてなくてひどい！とか、そういうニュースを真に受けてしまっている自分に気がつきます。これはよくないですね。事実ではなく、他人の意見に支配されています。 ではどうすればいいのでしょう？メディアを遮断すればいいのでしょうか。それとも、他人の意見を全て否定すればいいのでしょうか。 バイアスを取り除く方法はただ一つ。データ分析です。データは嘘をつきません。賢そうな人の意見を鵜呑みにするのではなく、自分で生のデータを分析すれば、事実にたどり着けます。 企業について知るためには、財務諸表をひも解くのが一

本記事は、Shiny Advent Calendar 2017の1日目の記事です。 これまでShiny100本ノック、ということでShinyの実装例を紹介してきました。 が、いきなり応用編に突入してしまいましたので今回は原点回帰！「Shinyって何なの？」について紹介していきたいと思います。 第一弾目でやれよ！という声が聞こえてきそうですが…まあ許してください。 ShinyとはShinyはR言語でwebアプリケーションを簡単に作るためのライブラリです。 Rを使って普段分析しているけど、 簡単なWebアプリケーションを作るために他の言語を勉強するのは面倒くさい Rで分析した結果を他の人にも共有したい 分析BIツールとして他の人に使ってほしい などなど、上記のような課題意識を持っている方に朗報となるのがShinyライブラリとなります。 Shinyのいいところを挙げると、 R言語のみで書ける（デ

データ分析ガチ勉強アドベントカレンダー 13日目。 仮想通貨がはやり始めて、チャートを見るようになった人も多いのではないでしょうか？ チャートから予測をしたい という思いを持ちつつも、結構ハードルの高いのが時系列予測。 それをできるだけ簡単にできるツールがProphet。 自分の持っているドメイン知識を導入しながら、簡単に時系列データ予測を行うことができます。 prophetとは 資料 ビジネス予測のための課題 設計思想 Prophetでできないこと 根底のアルゴリズム インストール Prophet tutorial 型の変換 将来の予測 Components 特別なイベントなど help まとめ prophetとは 資料 公式記事 github わかりやすい資料(slideshare)*1 ビジネス予測のための課題 Completely automatic forecasting tec

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ

株式会社POLは、2022年7月31日をもちまして「LabBase X」「LabBase奨学金検索」「Lab-On」のサービス提供を終了させていただくこととなりました。 サービス開始より、長きにわたり多くのお客様にご利用いただきまして誠にありがとうございました。サービス終了に伴い、皆様には多大なご迷惑をおかけ致しますことを深くお詫び申し上げます。今後とも弊社サービスをご愛顧くださいますようお願い致します。 ■提供終了サービス ・LabBase X ・LabBase奨学金検索 ・Lab-On ■サービス提供終了日 2022年7月31日 ■お問い合わせ先 株式会社POL 電話番号：03-5962-9962

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを