統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手
https://anond.hatelabo.jp/20240227085257 この増田もトラバもほとんど完全に的外れで、今回に限ったことではなくいつも同じような流れで本当に不思議なんだけど。 生産性の高い社会とは、個人の能力が高い社会のことではない。 同一の投入能力あたりの生産量が高い社会のことだ。 個人の能力が高まって生産量が上がるのは自明であって社会は何も進歩していない。 そうではなく、設備投資、イノベーション、配置換え、何でもいいが 効率を上げることで同じ投入能力でより多くのものを得られるように、システムを変更することが「生産性を上げる」ということだ。 これはしかし決して簡単なことではない。投資とリスクテイクを常に行い、市場に結果を評価される必要がある。 それが本来の経営者の仕事だ。 零細企業の生産性が上がらないのはなぜか。 経営者がもはや設備投資や取引先変更などのリスクテイクを
長らく自動テストとテスト容易設計を生業としてきましたが、最近は色々な限界を感じて形式手法に取り組んでいます。 この記事では、既存の自動テストのどこに限界を感じてなぜ形式手法が必要なのかの私見を説明します。なお、私もまだ完全理解には程遠いため間違いがあるかもしれません。ご指摘やご意見はぜひ Kuniwak までいただけると嬉しいです。 著者について プログラマです。開発プロセスをよくするための自発的な自動テストを支援する仕事をしています（経歴）。ここ一年は R&D 的な位置付けで形式手法もやっています。 自動テストの限界 自動テストとは 私がここ数年悩んでいたことは、iOS や Web アプリなどのモデル層のバグを従来の自動テストで見つけられないことでした。ただ、いきなりこの話で始めると理解しづらいと思うので簡単な例から出発します。 この記事でいう自動テストとは以下のようにテスト対象を実際に
社会人のためのデータサイエンス入門
この度、「社会人のためのデータサイエンス入門」の開講に先立ち、「誰でも使える統計オープンデータ」を特別開講しております。 入門編と学習することで、統計の基礎やデータの見方・データの取得方法などを学べます。この機会にぜひ2講座併せてご受講ください。 ※「《特別開講》誰でも使える統計オープンデータ」は、修了証の発行はございません。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、データを理解し、分析する際に必要な統計学の基礎につい
《特別開講》社会人のためのデータサイエンス入門
2020年9月29日開講予定の「社会人のためのデータサイエンス演習」にさきがけて、「社会人のためのデータサイエンス入門」を特別開講いたします。 入門編と演習（実践編）を受講することで、データ分析の基本的な知識から、ビジネスの現場で使われる実践的なデータ分析（統計分析）の手法までを身につけることができます。 「社会人のためのデータサイエンス演習」はこちらのページをご参照ください。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、
パフォーマンス改善の文脈で良く用いられるフレーズとして、「推測するな、計測せよ」というものがある。これはRob PikeのNotes on Programming in Cからの引用なのだが、原典と少し印象が違う。 Rule 1. You can’t tell where a program is going to spend its time. Bottlenecks occur in surprising places, so don’t try to second guess and put in a speed hack until you’ve proven that’s where the bottleneck is. Rule 2. Measure. Don’t tune for speed until you’ve measured, and even then don’t
『わけがわかる機械学習』中谷秀洋（著）の書評 - StatModeling Memorandum
僕が中谷さんと初めて会ったのはみどりぼんの読書会で、初めて話したのは岩波DSの打ち合わせだったと思います。今でもそんなに親しくはないと思います。しかし、中谷さんのブログは10年ぐらい前から読んでいました。自然言語処理を中心とする機械学習に関連する理論（の解釈）・論文レビュー・数値実験の記事が多く、他のブログでは見られない独特かつ理解の深い内容で、毎日勉強させてもらっていました。今でも何度も読むべきブログです。その中谷さんが機械学習についてまるごと一冊書いたものが本書になります。もともと買うつもりでしたが、献本いただいたので簡単にご紹介いたします。 わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する 作者: 中谷秀洋出版社/メーカー: 技術評論社発売日: 2019/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見る 目次は以下になります。 0章： はじめ
自社ソフトウェアプロダクトを内製する組織であっても、開発チームがそれをどうやって作り上げているか、開発者ら以外にとってはブラックボックスであり、不可視です。それだけに、開発チームのパフォーマンスや内部状況の良し悪しは、各々の主観や興味によって、不統一な認識を持ってしまうことも多いでしょう。そしてそのような認識のばらつきは、開発する当人たちにとっても実は同じです。 しかし、例えブラックボックスであっても、自動車のダッシュボードのように様々な指標によってその内部が数値化され、可視化されていれば、チームのパフォーマンスに統一的な認識を持たせやすくなります。 本記事では、どのような指標を可視化すべきか、その代表的なものについて取り上げます。 リードタイム（開発、製造）リードタイムは、開発項目ごとの作業期間を計測したもので、短いほど優れていることを示す指標です。計測対象となるプロセス全体を「開発」と
《特別開講》社会人のためのデータサイエンス入門
2021年1月12日開講予定の「誰でも使える統計オープンデータ」にさきがけて、「社会人のためのデータサイエンス入門」を特別開講いたします。 本講座では入門編として、統計学の基礎やデータの見方・データの取得方法などを学べます。統計学の基礎を学ぶことにより、活用編である「誰でも使える統計オープンデータ」もより効果的に受講することができますので、この機会にぜひ2講座併せてご受講ください。 「誰でも使える統計オープンデータ」はこちらのページをご参照ください。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用
マンガでわかる ソフトウェア開発 データ分析 データ分析事始め データ分析FAQ (参考)アジャイルメトリクスFAQ 1 独立行政法人情報処理推進機構 超合本版38編 データ分析事始め 目次 データ分析基礎編 01 データ分析ってなんなの？ データ分析 02 信頼幅の線、気になる 信頼幅 03 箱ひげ図のひげ、かわゆくない 箱ひげ図 04 散布図はぜんぜんばらばら 散布図と箱ひげ図 05 どれが本命なの？ 中央値と平均値 分析データ観察編 01 生産性は性癖が出る？ 生産性 02 バグを愛したソース 信頼性（不具合密度） 03 改修・保守が好き過ぎる 開発プロダクトの種別 04 規模はアンバランスでアンビバレント ソフトウェア規模 05 開発期間は短くて長くて短い 開発期間（工期） 06 ウォーターフォールってつおい？ ウォーターフォール型開発 07 ここはツールでしょ 開発ツール 08
最近、データサイエンスが流行っていることもあり、線形回帰モデルについても解説記事を見かけることが多くなりました。情報にアクセスしやすくなったのはいいことだと思うんですが、ずっと以前から間違いや解説の不足が多い理論なので、私なりに解説を試みたいと思います。全体的にあまり厳密ではありませんが、線形回帰モデルを学びたての方には有益な記事になるかなと思います。 あと、私も勉強中の身なので、間違いがあったらご指摘いただけたら嬉しいです。 本題 さて、よくある間違いとは以下のような解説です。 線形性の仮定が満たされていないので、線形回帰モデルを使ってはいけない 残差が正規分布&等分散ではないので、線形回帰モデルを使ってはいけない 回帰係数に対するt検定の結果をもとに、p値が大きい説明変数を除外する 多重共線性があるとよくないので、変数間で相関が強い、もしくはVIF値が大きい変数を除外する AICが小さ
【完全網羅】統計検定２級チートシート | とけたろうブログ
統計検定２級に満点で合格するために必要な全知識を紹介します。試験範囲に含まれているようで実際には出題されていないものはバッサリとカットしています。 受検前の知識の確認に使ってください！ １変数，２変数の記述統計の分野 代表値 ヒストグラム…データをいくつかの階級に分けて，縦の長さが度数，横の長さが階級の幅に等しい長方形で表したグラフ データの範囲…最大値ー最小値 中央値…データを大きさの順に並べたときの中央の値です。データが偶数個のときは，中央に並ぶ２つの値の平均です。 四分位数…データを大きさの順に並べて中央値（第２四分位数）で２つに分けるとき，第１四分位数は値の小さいグループの中央値，第３四分位数は値の大きいグループの中央値 四分位範囲…第３四分位数ー第１四分位数 箱ひげ図…データの散らばりを，第１四分位数と第３四分位数を両端とする箱と，最大値，最小値を端とするひげで表した図 相対度数
広がる！ 進化心理学 朝倉書店Amazon 進化心理学は基本的にヒトの行動や心理を進化的な視点から理解しようとする試みであり，極めて学際的な営みになる．本書はそのような進化心理学の周辺分野の専門家たち（その多くは同時に進化心理学者でもある）による進化心理学が周辺分野に与えてきた影響，あるいはその親和性を解説する一冊になる．編者は小田亮と大坪庸介． 冒頭の「まえがき」は「なぜ書店の『心理学』の棚には『進化心理学』というコーナーがないのか」という面白い掴みから始まっている．基本的に新しい分野でまだ認知度がなく，そういう書名の本が少ないからだと思われるが，ここでは，進化心理学は他の○○心理学と異なり，○○にあたる内容を研究するのではなく，進化はその視座を表しているからだと説明されている．つまり進化心理学は認知科学，社会心理学，発達心理学のような内容による区分に横串を通すような分野であり，そのよう
プトレマイオスは円をたくさん使うか？ まず、プトレマイオスは惑星の黄経の説明には円を二つしか使わない。そんなに円をたくさん使ったら、古代の貧弱な数学では使いこなせません。そして、後世も円の数は増えません*1。「現象に合わせるために円の数を増やして対応したが、複雑になりすぎて崩壊した」といった解説も昔はよくあったのですが、ほとんどフィクションと言って良いと思います。 データに合うだけなのか？円に意味はないか？ 各々の円には、割合とはっきりとした意味があります。プトレマイオスも惑星の動きと太陽の動きに関係があることは気が付いており、二つの円の片方は太陽の影響、すなわち地球の自転の効果を表現しています*2。 その結果プトレマイオスの理論は、惑星の距離の変動も正確に再現してくれます。惑星までの距離は当時計測できませんから*3*4、これは奇跡といってよいと思います*5*6。 のちに、コペルニクスはプ
社会人のためのデータサイエンス演習
この度、「社会人のためのデータサイエンス演習」の開講に先立ち、入門編となる『社会人のためのデータサイエンス入門』を特別開講しております。 データ分析の基本的な知識を学ぶことができる内容となっており、『社会人のためのデータサイエンス演習』と併せて学習していただくことで、より理解が深まるかと思います。この機会に、ぜひご受講ください。 ※「《特別開講》社会人のためのデータサイエンス入門」は、修了証の発行はございません。 ＞＞入門編はこちらから＜＜ 講座内容 総務省統計局が提供する講座、ビジネスの現場で求められているデータサイエンスをわかりやすく解説します。 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち“データサイエンス”力の高い人材が求められている。本コースでは“データサイエンス”力の向上を目指し、事例なども踏まえ、ビジネスの現場で使われる実践的なデータ分
デプロイ頻度やリードタイムの正確な計測にこだわらなくていい（前提はあるが） - mtx2s’s blog
デプロイ頻度とリードタイムは、開発チームが自らのパフォーマンスをモニタリングするうえで欠かせないメトリクスである。それらが、収益性や市場占有率といった組織パフォーマンスに影響を与えるからだ。その調査結果は、DevOps Research and Assessment（DORA）が特定した4つのキーメトリクス、いわゆる「DORAメトリクス」の要素として浸透した（後述するが、DORAメトリクスで扱うのは、リードタイムではなく「変更のリードタイム」である）。 その重要性ゆえに、チームや組織はこれらのメトリクスの計測と可視化に努める。可能な範囲で正確な値が欲しい。そうして、チケット管理ツールやバージョン管理システムからテレメトリを収集、集計し、チームのモニタリングダッシュボードにその実績値を可視化するのだ。 しかし、しばらくメトリクスを運用してみると、その扱いづらさに気づく。計測値や集計値のばらつ
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
ビジネスの現状を把握し、さらにモニターし続けるためにダッシュボードなどを使ったBI（ビジネス・インテリジェンス）の仕組みを社内に導入したものの、社内ではあまり活用されていない、またはプロジェクトが途中で終わってしまったといった話をよく聞きます。 そこで、こちらの記事ではBI導入やダッシュボード作成プロジェクトを進めるときにぶつかることの多い問題、さらには、そうした問題を乗り越えてプロジェクトを成功に導くための5つのポイントを紹介します。 1. データの加工 ダッシュボードの作成プロジェクトに関わるタスクを考えると、真っ先に思い浮かぶのは、ダッシュボードに、どのようなチャートを入れるのかや、そのレイアウトをどうするかといったことです。 しかし、ダッシュボードの作成に関わるタスクを紐解くと、ほとんどの業務はダッシュボードに入れるチャートの作成にかかる時間ということになります。また、チャートの作
はじめに 本記事は、ソフトウェアテストの小ネタ Advent Calendar 2022の19日目の記事です*1。 本記事では、テストケース*2で具体的な代表値を使うときに気をつけている「2以外の一意の素数を使う」という方針について書きます。なお、この方針は私の個人的経験及び主観に基づいたものです。「必ずしもこのやり方が正しい」と主張したい訳ではないことをご了承ください。 記事では、この方針をさらに「2を使わない」「一意の数を使う」「素数を使う」の3つに分割して説明します。 目次 はじめに 目次 テストケースの具体的な代表値に2を使うのを避ける テストケースの具体的な代表値は一意の数を用いる テストケースの具体的な代表値に素数を用いる 注意：今回の考えはあくまでも代表値の場合の話です おわりに 補足：厳密な素数を選ぶわけではない 1. 「691」という数字が素数であるか判断が難しいため 2
はじめに はじめまして。QAエンジニアの佐藤です。 最近、Slackのアイコンを "ピカチュウ" から "ミミッキュ" に変更したのですが、複数人から「闇落ちしたの？」と心配されてしまったため、ミミッキュの認知度をあげていかないとなぁと思っています。笑 www.pokemon.co.jp さて、今回はコードを書かずにテスト自動化できるプラットフォーム、Autifyを導入して3ヶ月経ったため振り返ってみたいと思います。 Autifyとは、ブラウザ上での操作を録画し、それをシナリオとして作成してくれるテスト自動化プラットフォームです。 autify.com 導入した背景 ANDPADの定期リリース後、開発者が主要動線テストを行っているのですが、フロントエンジニアの方々から リリースのたびに開発者の工数を使っている 毎回同じテストなので自動化したい という声があがったのがきっかけでした。 Aut
データサイエンスのための統計学入門 第2版
データサイエンスにおいて重要な統計学と機械学習に関する52の基本概念と関連用語について、簡潔な説明とその知識の背景となる最低限の数式、グラフ、RとPythonのコードを提示し、多面的なアプローチにより、深い理解を促します。データの分類、分析、モデル化、予測という一連のデータサイエンスのプロセスにおいて統計学の必要な項目と不必要な項目を明確にし、統計学の基本と実践的なデータサイエンス技法を効率よく学ぶことができます。データサイエンス分野における昨今のPython人気を反映し、第1版ではRのみの対応だったコードが、今回の改訂でPythonにも対応。コードはすべてGitHubからダウンロード可能です。 日本語版まえがき 訳者まえがき まえがき 1章 探索的データ分析 1.1 構造化データの諸要素 1.1.1 さらに学ぶために 1.2 テーブルデータ 1.2.1 データフレームとインデックス付け
これまで同値分割を信頼できる手法だと信じてきました。最近になってどうして同値分割が信頼できる方法なのかその理由を私が説明できないことに気づきました。この原因は2つあります： 同値分割の分割の基準が不明確であること 後述するいくつかの仮定を満たさない場合、ある同値パーティションの代表値の出力が正しければその同値パーティションの他の値の出力も正しいといえる根拠に乏しいこと この2つから、不明確な基準の同値分割はその信頼性の説明ができないこと、同値テストは後述するいくつかの仮定が満たされたときのみ有効な手段でありいずれかの仮定が満たされない場合はさして信頼できないことが導かれます。 この記事ではこの結論に至るまでの過程について詳しく説明していきます。なお誤りのご指摘は大歓迎です。ぜひ皆さんで議論しましょう。 同値分割とは 後述する複数の文献の同値分割の説明に共通しているのは以下の2点です： 入力
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
東京新聞の記事とその疑問点 東京新聞が「検証・コロナ対策」という特集をはじめている。新型コロナウイルス感染症 (COVID-19) 対策について、「その歩みを振り返り、危機への備えに何が必要かをあらためて考える」のだという。 その第1回、「水際対策強化に時間かけすぎ、流入許す」(7月14日) につぎのようなことが書いてあった。「脇田」は、専門家会議の座長であった脇田隆字のことである。 「これはまずい」。３月１０日ごろ、脇田は手元に届いたデータを見て思った。イタリア、フランス、スペイン…。国内で感染が確認された人の中に、欧州からの帰国者が出始めていた。 中国からのウイルス対策に力を注ぎ、９日の会見で「何とか持ちこたえている」と述べたばかりだった。ところが欧州で感染爆発が起き、世界保健機関（ＷＨＯ）事務局長のテドロス・アダノム（５５）は１１日にパンデミック（世界的大流行）を宣言。局面が変わりつ
Pythonを使えばWeb上からデータを収集することができますが、そのデータをどのように分析するかはまた別のノウハウが必要です。CodeZineを運営する翔泳社から8月21日（金）に発売した『Python2年生 データ分析のしくみ』では、初心者向けに統計の基本的な考え方から、データをグラフで表現する手法や、データ同士の関係から知りたい情報を予測する方法などデータ分析の基礎知識を解説します。 『Python2年生 データ分析のしくみ 体験してわかる！会話でまなべる！』は、初めてプログラミングやPythonに触れる人を対象に、まず知っておきたい基礎知識を解説する初心者向けシリーズの最新刊です。 「第1章 データ分析ってなに？」より 本書ではPythonでできるデータ分析について、そもそも「データ分析とは何か」という基本から解説。まず収集したデータを分析しやすい形に整え、グラフで表現する方法を紹
第一回 自己紹介／ライトノベルのタイトルの長さとその時間変化についての統計分析 - はじめまことの新文芸研究所
はじめまして、と言ってもTwitterで私のことを知っている人の方がほとんどかもしれませんが、はじめまことです。種々の事情が重なりブログを開設すべき状況になったので、ブログを開設することになりました。一応自己紹介として、Twitterの垢とそこのプロフィールをコピペしておきます。 Twitter→https://twitter.com/kaz_lightnovel ラノベに依存する大学生 新月お茶の会所属 共依存と重い女と幼馴染が好きなカプ厨で糖度至上主義者 推し作品50作:https://bookmeter.com/users/1152240/bookcases/11858151… キノの旅垢→ @kaz_KinoNoTabi とはいえ、作品の感想や購入に関してはTwitterで事足りている現状、あえてブログにする価値はあまり感じません。そこで、ブログ名の通り、現在製作中であり近々販売予
第三回 web小説の書籍化ラインとその変遷についての分析 - はじめまことの新文芸研究所
前回のブログは大体会誌のコピペだったため販促にはなっても新規性はなかったしブログとしての価値もそこまで高くなかったように思うが、今回はちゃんと一回で情報が完結するそれなりに有用な情報をお届けできると信じている。 第1回はこちら https://kaz-lightnovel.hatenablog.com/entry/2024/03/31/193435?_gl=1*3conj6*_gcl_au*MTE1Njg3MjYwNS4xNzExMjc4NTE5 と言うわけで、今回のお題は書籍化ラインについて。ざっとなろうで10000pt程度かなという認識くらいはあると思うが、リアルタイムで変わっていく値でもあるため、なかなか定性的な分析は難しい値である。また、女性向け作品の台頭もあり、書籍化作品についても原作文字数についても低下しているイメージはあるだろう。今回の分析では、なろう全体を文字数やポイント数
――「小説家」 この言葉を取り巻く感情を表現するのは、なかなか難しいです。 私は動画を作成したり、ボーカロイドを使って音楽を作ったりといった創作活動が好きですが、とりわけ、物語を書く事に関しては、比較的長い間やってきました。 しかしながら、自分の文章でお金をもらった記憶はないですし、これといって私の文章が公の目に晒された事もないので「あなたは小説家か」と問われたら「違う」と答えます。 「小説家」と言った時、少なくとも私の中の定義では「プロフェッショナルな物書き」が含意されます。 では「小説家になろう」とは何か。 「小説家になろう」が意味するところは「このサイトで頑張って執筆してプロフェッショナルな物書きになろう」ではなく「このサイトで小説を書いた時点で、君は立派な小説家だ」という意味だと私は解釈しております。 仮令、世の中の評価が 文學作品 ＞ 小説作品 ＞ ライトノベル ＞ なろう系だっ
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社グッドパッチの高橋椋一氏。LLM Agentの仕組みを使った取り組みについて発表しました。 グッドパッチ社でFintechや機械学習系プロジェクトを統括する高橋椋一氏 高橋椋一氏（以下、高橋）：よろしくお願いします。高橋と申します。私は、グッドパッチというデザイン会社に所属している者です。今日は、「AIエージェントがもたらす新たな顧客体験」というタイトルでお話できればなと思っています。 （スライドを示して）私が今日お伝えしたいのは、こちらだけです。LLMを使ったAIエージェントはめっちゃ楽しいので、「おもしろそうだから作るか」という方が、この後1人で
リーディングDAT | 統計数理研究所 統計思考院
思考院トップ 統計思考院の事業活動 リーディングDAT 2022年度 リーディングDAT無料動画 思考院トップ 統計思考院の事業活動 統計教育動画配信 リーディングDAT無料動画 情報・システム研究機構 データサイエンス高度人材育成プログラム リーディングDAT無料動画 ※2023/6/30に「3. 因果と相関」の一部の図を差し替えた動画を公開しました。内容には変更ありません。 リーディングDAT講座の動画公開について ここでは、2021年度リーディングDAT L-A講座（4日間）の前半2日間分、および、関連して作成された補助動画を無料で公開しています。後半2日間分は有料の講座として開催中で、当面は公開の予定はありません。講義の特徴などについてはこちら（所外 YouTube）の動画をご覧ください。 ・動画中で言及されている「付録」については各講師の判断で一部のみPDFで提供します。また、も
Lightweight MMM：NumPyroで実装されたベイジアンMMMフレームワーク - 渋谷駅前で働くデータサイエンティストのブログ
以前「Ads carryover & shape effects付きのMedia Mix Modeling」という記事で取り上げたベイジアンMMMのtechnical report (Jin et al., 2017)ですが、当時RStanで実装されていたものが4年の時を経て時代の趨勢に沿う形でPythonベースのOSSとしてリリースされています。 それがLightweight MMM (LMMM)です。ベイジアンモデリング部分はNumPyroによるMCMCサンプラーで実装されており、さらにはモダンなMMMフレームワークにおいて標準的とされる予算配分の最適化ルーチンも実装されています。全体的な使い勝手としては、まだ開発途上の部分もあるので時々痒いところに手が届かない感があるものの、概ねRStanで実装したものと似たような感じに仕上がっているという印象です。 ということで、LMMMがどんな感
スマホなどの小型端末にも乗せられる高性能CNNを作りたいというモチベーションから生まれた軽量かつ(ある程度)高性能なCNN。MobileNetにはv1,v2,v3があり、それぞれの要所を調べたのでこの記事でまとめる。 原論文は Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." arXiv preprint arXiv:1704.04861 (2017). Sandler, Mark, et al. "Mobilenetv2: Inverted residuals and linear bottlenecks." Proceedings of the IEEE Conference on Computer Vision
大規模なデータ移行タスクの実行計画について本気出して考えてみた時の話 - freee Developers Hub
こんにちは、会計チームでエンジニアをやっている ut (@utdoi1) です。最近はレポート周りの開発を主に担当しています。 先日あった機能リリースにおいて、大量のデータを対象とした移行タスクを実行する機会がありました。 タスクの概要としては、freee会計に登録されている事業所1つごとにデータ移行をしていくものでした。 今回はfreee会計にアカウントを作成している全ての事業所に対してタスクを流す必要があったため、普通に実行していたら完了までいったい何日かかるのか分からないくらいの規模感でした。 そのため、並列実行も考慮に入れて割としっかりめに実行計画を立てて臨みました。 この記事では、その実行計画を立てた時の作業の流れと、それぞれの過程における細かい作業内容を紹介します。 計画策定までの流れ 全体としては以下のような流れで作業を進めていきました。 タスク実行時間に関係するデータの度数
0.はじめにUKIです。 主題と副題の序列を迷いましたが、いったんPVを稼げそうなほうを主題に置きました（そのうち修正します）。 (1)対象読者 ・EAやbotなどの自動売買に興味がある方 先に結論を書いてしまいますが、たとえAIを使ったとしても儲かる自動売買の戦略を完全に見分けることは不可能です。 商材自体は悪いものではありません。当然、製作者が誠意をもって製作したものもあるでしょう。しかし現実には、悪意のあるもの（儲からないと分かっているが儲かるように振る舞っているもの）や、悪意はなくともバイアスに気付いておらず、結果として購入者が不利益を被るものが大多数紛れ込んでいます。 そもそも市場にアルファ（収益の根源）は殆ど存在しておらず、自動売買の戦略構築過程で発生するバイアスの影響を掻い潜って将来的に利益が出る戦略を作る（見分ける）のは極端に難しいことを知るべきです。不特定多数に販売されて
4-4_時系列データの解析
4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 4-4 時系列データ解析 東京大学 数理・情報教育研究センター 2020年5月11日 4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 概要 • 本節では，まず時系列とは何か，時系列データ解析の⽬的は何か など時系列データ解析の概略について学びます． • 次に，時系列データがもつトレンド，周期性，季節性，ノイズに ついてその意味を学ぶとともに、移動平均，階差などによる情報 抽出の⽅法とスペクトや相関関数による特徴可視化を学びます． • さらに，時系列モデルを⽤いた予
もしbeatmaniaIIDXが120fpsになったら #IIDX - 544332133981
こんにちは。だいぶ久しぶりの更新です。 さて、さっそく本題ですが、先日『beatmaniaIIDX 27 HEROIC VERSE』が10/16(水)より稼働開始、とツイッター公式アカウントから告知がありました。 そしてまだ正式にユーザー向けにはアナウンスがありませんが、新作にはこれまでと仕様の大きく異なる新筐体が出てくるという情報があり、その新筐体の仕様のひとつとして「120fpsになる」という噂があります。 現時点ではまだ発表が無いためその真偽は定かではありませんが（正直まじでよく知りません）、「もしbeatmaniaIIDXが120fpsになったらプレイヤーにはどのような影響が出てくるのか？」ということを今回は考えてみたいと思います。 あくまでも「仮にそうなるとしたら」という思考実験的なものと思ってもらえたら幸いです。 目次 結論から先に言うと… 1. そもそもfpsとは？何が120
ペルソナは「デザインの成功」につながる手法だということは確かである。ただし、それは妥当性のあるデザインを行うことができるか、適切なデザインを行うことができるか、ということとは別である。 黒須教授 2019年7月5日 ペルソナ手法への素朴な疑問 アラン・クーパーによって提唱されたペルソナ(アラン・クーパー『コンピュータは、むずかしすぎて使えない』 (2000) 翔永社、原著1998[i])は、今では欠かせないデザインツールとして頻繁に、また日常的に利用されている。僕は昔、そのことを最初に又聞きしたときから「たった一人のペルソナを想定してデザインする」という言い方に引っかかっていた。 ただし、クーパーは後年、 ペルソナは特定の個人として描かれているが、アーキタイプ（原型）として機能するものなので、実際には特定のインタラクティブ製品のユーザータイプ、ユーザーグループを表現する。 (アラン・クーパ
システム部の福原です。 最近はデータ分析事業に従事しています。 社でも新しい取り組みで、試行錯誤の毎日です。 また、個人としてもデータ分析の基礎を学びたいと思ったので、統計学の勉強をしています。 そこで、いろいろなところで紹介されている統計学入門を読んでみました。 https://www.amazon.co.jp/dp/4130420658 この書評を書いてみたいと思います。 はじめに、至極簡単に読んだ感想をお伝えしておくと、統計の基礎を一通り学びたい人におすすめできると思いました。 詳しい感想・読んだ印象は一番最後にまとめてあります（目次からも飛べます）。 それでは、内容紹介に入っていきますので、この本の内容が気になる方は読んでみて下さい。 大まかな内容紹介 多数の数字データの特徴や傾向を知りたい。 特にそれぞれのデータではなく、全体的な傾向が知りたいと考えたとします。 そのための数字デ
どんな職種でも使える「Excel」スキルや知識が身につくUdemy厳選オンライン講座17選 | ライフハッカー・ジャパン
「信頼できるプラットフォームで学びたいが、自分で判断するのは難しい」 世界で5,700万人が学んでいるUdemyは、そんな悩みを払しょくしてくれる、間違いのないオンライン講座です。 今回は、Excel初心者やExcelを学び直したい方、さらにスキルアップを目指したい方に向けて厳選した10講座を紹介します。 番外編として、ロジカルシンキングやタスクマネジメントを学べる人気講座も紹介していますので、ぜひ最後までご覧ください！ 初心者から経験者まで、これだけは知っておきたいExcelの基本【初心者・学び直し編】Excelをほとんど使ったことがない初心者から、「業務でExcelを使っているが使いこなせてはいない」、あるいは「得意ではないので学び直したい」という方に、おすすめの講座を厳選。 基本をしっかり押さえたうえで、実践で役立つスキルまでを学べる、Udemyで高評価の講座ばかりです。 1.【全部
2019年7月3日、nlpaper.challengeが主催するイベント「第1回 NLP/CV最先端勉強会」が開催されました。NLP/CVの知見をもとにEmbedding やグラフ、対話応答、text2image などの様々な分野の最先端の研究成果をサーベイする本勉強会。今回は、グラフと対話応答のサーベイチーム報告会と、CVPR2019速報を行いました。プレゼンテーション「Graph: A Survey of Graph Neural Networks, Embedding, Tasks and Applications」に登壇したのは、内橋堅志氏。 グラフにまつわるサーベイまとめ Kenshi Uchihashi氏：僕はグラフについてサーベイしていまして、幅広くやっているのですが、特にGraph Neural NetworksやGraph Embedding、Link Predictio
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門
日本人はなぜ「生産性の高い社会」を理解できないふりをし続けるのか
自動テストに限界を感じた私がなぜ形式手法に魅了されたのか - 若くない何かの悩み
「推測するな、計測せよ」という訳はミスリードと言う話 - aki33524’s blog
ブラックボックスになりがちな開発チームの内部状況を指標を用いて可視化する｜mtx2s
IPAマンガでわかるソフトウェア開発データ分析38編.pdf
プロでもよくある線形回帰モデルの間違い - Qiita
書評 「広がる！ 進化心理学」 - shorebird 進化心理学中心の書評など
古代～中世～近代の天文学史にありがちな誤解 - QmQの日記
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
BI/ダッシュボード導入を成功に導くための5つのポイント - Qiita
テストケースの具体的な代表値には2以外の一意の素数を使おう - ブロッコリーのブログ
Autifyを導入して3ヶ月経ったので振り返ってみる - ANDPAD Tech Blog
テスト技法「同値分割」を信頼していいのかわからなくなった - 若くない何かの悩み
メディアと専門家が修正する歴史：4月の感染拡大は帰国者のせいか - remcat: 研究資料集
集めたデータをどうやって分析する？ 初心者のための『Python2年生 データ分析のしくみ』発売
「小説家になろう」をTableauで分析してみた。（前編）｜Reptile School Girls
放置している間に分析レポートが完成 「LLM Agent」の仕組みを使って「全自動データ分析エージェント」を開発
MobileNet(v1,v2,v3)を簡単に解説してみた - Qiita
AIを使った儲かる自動売買の見分け方 ～トレーディングのバイアス対策技術の歴史と展望～｜UKI
ペルソナ再考
【書評】「統計学入門」を読んでみた感想と内容紹介 - GMO RESEARCH Tech Blog
グラフ構造にまつわるサーベイ結果まとめ GNNからApplicationsまで Part1