タグ

qiitaとdataに関するclavierのブックマーク (10)

  • Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる(かもしれない)Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサ

    Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
  • みんなに長く使われるダッシュボードで押さえるべき4つのポイント - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ビジネスの重要指標をモニターするために、ダッシュボードを作ったものの、時間の経過と共に、誰にも見られなくなってしまう、といった経験はありませんか? そうなってしまう理由の1つに、そこから得られる情報がビジネスの改善に結びつかない、あるいは特定のアクションに結びつかないため、ダッシュボードの閲覧者にとってあえて見る必要がなくなってしまうことがあります。 そこで、ダッシュボードの閲覧者に役立つ効果的なダッシュボードを作成するうえで、おさえるべき4つのポイントを紹介いたします。 1. モニターすべきは遅行指標でなく先行指標です 「売上」、「閲

    みんなに長く使われるダッシュボードで押さえるべき4つのポイント - Qiita
  • ヤバいデータ分析(書籍・記事であまり扱われてないが重要なこと) - Qiita

    大学ではないが、東京大学エクステンション・データサイエンススクール・技術実務者コースでは 前提知識 高校までの理系数学と大学1・2年生の数学の一部(偏微分、積分、行列) 数学科目 統計学、最適化 ざっとレベル感をまとめますと 高校までの計算主体の数学 計算力があればなんとかなる 理工系大学教養レベルの定義・定理で入ってくる数学 抽象度は上がるがまだ図が描ける 理工系大学専門レベル抽象度の上がった数学 位相とかはイメージしずらい、高次元・無限次元とかはもう図もイメージもできない 数学科 超絶 薄い記事では、これらのうちどこを言っているのかとイメージしていない人が言っているのでしょうが、アカデミアの方やエンジニアでもR&Dで新たなアルゴリズムを開発担当とかでなければ、大体下記をイメージすれば良いのではないかとのところが自論 高校までの数学はほぼ必須 理工系大学教養レベルの数学はできるだけマスタ

    ヤバいデータ分析(書籍・記事であまり扱われてないが重要なこと) - Qiita
  • データモデリングにおける適切な関連の作り方 - Qiita

    この投稿はちゅらデータアドベントカレンダー2023の4日目の記事です。 導入 RDBを使ってデータベースを構築するときは、必ずデータモデリングを行う必要があります。RDBのRは リレーション リレーショナルのRなので、テーブル同士の リレーション リレーションシップ(関連)を適切に作成することが重要です。しかし、この「適切」というのは、具体的にどういうことなのでしょうか? この記事では一つの提案として、テーブルをいくつかの種類に分けて、種類ごとの関連の条件をつけることで、システマチックに適切と思われる関連を作る方法を、披露したいと思います。 あまりよく考えていないモデリングの例 あるユーザーが、ECサイトで商品を購入して、入金されたら出荷するという、よくある構造のモデリングを行ってみます。この説明から単語を抜き出して、以下のようなテーブルが必要でないかと検討してみます。 少し単純ですが、良

    データモデリングにおける適切な関連の作り方 - Qiita
  • PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT) - Qiita

    記事のモチベーション 今回の記事を各モチベーションは、最近Techplayさんにて出版記念セミナーを開催させていただいた際に、Panelの紹介をしていると、「以前Dashを使われていませんでしたっけ?」というような質問をいただきました。 Dashに関しては、「Pythonインタラクティブ・データビジュアライゼーション入門(朝倉書店 2019/12)」で執筆し、Panelに関しては「Pythonデータ分析ハンズオンセミナー(日経BP 2023/8)」でとりあげました。Streamlitは残念ながら執筆機会はないのですが、会社の製品のプロトタイプを作って公開してみたりしています。 なので、その辺りのツールの使い分けが紹介できると良いと思ったのがモチベーションです。 そんなモチベーションの中、執筆用に調査していると、Streamlitのサイトに面白いブログがあったので、生成AIにアプリケーション

    PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT) - Qiita
  • PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita

    更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか? 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上(Google ColabもOK)で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ&ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実

    PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
  • Kedroで機械学習パイプラインに入門する - Qiita

    はじめに Kedroという機械学習向けパイプラインツールを使ってみたので備忘までに記事を書きます。 とりあえずパイプラインを組んでみて動いたところまで、です。もう少し使い込んで、別途投稿できればと思っています。 公式のチュートリアルの差分は、以下くらいかなと思います。(どっちもちょっとしたことですが) ホストを汚さないようにDockerコンテナ内でKedroプロジェクトを作成・開発していること node.pyは使わず、普段慣れ親しんだディレクトリ構成で普通にスクリプトを書いていること(それらをノードとしてパイプラインでつないでいる) パイプラインツールの必要性 依存関係が複雑になりがちな処理処理フローを管理したい データ取り込み→データ前処理→モデルのトレーニング→チューニング→デプロイメント、etc ジョブを並列実行したい コンポーネントごとにマシンスペックを柔軟に設定したい 前処理は高

    Kedroで機械学習パイプラインに入門する - Qiita
  • Go言語で扱えるデータフレーム厳選4つ - Qiita

    はじめに データサイエンティストでなかったとしても、数値データを使って様々な解析をする際には CSV ファイル等ファイルを読み込み、数値の配列としてメモリに保持して、それらをループ等で利用して解析を行っておられると思います。 その際、配列は1次元目に行、2次元目に列、を格納するのが一般的です。多くのケースではこの方法で事足りるのですが、解析を行ううちに「列としてデータの固まりを扱いたい」「ラベル付けされた列を扱いたい」と感じる事が出てくると思います。 これを簡単にしてくれるのが「データフレーム」です。 データフレーム4種 記事では Go 言語から扱えるデータフレームを4つご紹介します。 QFrame https://github.com/tobgu/qframe QFrame は、フィルタリング、集計、およびデータ操作をサポートするイミュータブルなデータフレームです。 QFrame での

    Go言語で扱えるデータフレーム厳選4つ - Qiita
  • Python初学者が手始めに過去10年間の気象データをサクッと簡単に分析してみた。 - Qiita

    はじめに 最近Pythonの勉強を始めました。せっかくなので、これから自分と同じようにPythonを触り始める方に役に立つ投稿をしていきたいと思います。Pythonを一度も書いたことがなかったので、今回はpythonのシンタックスの理解やどのようなライブラリーがあるのかなどを把握しながらシンプルにデータ分析を行っていきたいと思います。 参考: すぐに使える! 業務で実践できる! Pythonによる AI機械学習・深層学習アプリのつくり方 手順&準備 実行環境 Google Colaboratory - pythonライブラリーをpipインストールすることなく、ライブラリーにアクセスできる。 - 無料であり、Googleアカウントさえあれば、インストール等の作業に手間を取られることなく、すぐにコードを実行することができる 使用するライブラリー - urllib - panda - mat

    Python初学者が手始めに過去10年間の気象データをサクッと簡単に分析してみた。 - Qiita
  • Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita

    知っている人は知っていると思うが、Qiitaではたびたび大量のスパム記事が投稿されている。 深夜24~26時頃に記事一覧を確認してみて欲しい。 スパム記事がわんさか出てくるはず。 登録したてのQiitaユーザは不安よな。1 ———— @dcm_chida 動きます🧐 はじめに これはNTTドコモサービスイノベーション部AdventCalendar2019の1日目の記事です。 我々の部署では日頃から「KDDCUP2」や「論文読み会」に取り組んでおり、若手から中堅社員まで最先端の技術取得に励んでいます。 そうした活動をもっと外部へと発信していこうと始めたのがこのAdventCalendarです。社員一人一人が書いた記事を通して、少しでも多くの方に興味を持って頂ければ幸いです。 さて、僕は4年目社員ですがプログラミング初心者の頃から現在に至るまで、Qiitaにはかなりお世話になりました。 自分

    Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
  • 1