データに関するEz-styleのブックマーク (212)

  • 日本では「失速」や「踊り場」と報道されるEVシフト〜世界の1月販売実績から読み解く真実は? - EVsmartブログ

    毎月世界各国のEV販売状況を集計して伝えているアメリカのメディア「CleanTechnica」で、1月の世界のEV販売状況が紹介されました。ここ数ヶ月で増えている「失速」や「踊り場」といった見出しが目立つ日国内メディアの報道は、はたして真実なのでしょうか? 【参考記事】 Top Selling Electric Vehicles in the World — January 2024(Clean Technica) 世界における1月のEV販売状況 2024年1月、世界の新車販売におけるEV(BEV+PHEV)のシェアは16%(BEVは10%)で、2023年1月の11%(BEVは7.6%)と比べると、約1.5倍に増えています。台数ベースでも前年から63%の成長で、1月としては過去最高となる100万台を突破。このうちBEVは+48%、PHEVは+98%の成長で、絶対数では引き続きBEVが多い

    日本では「失速」や「踊り場」と報道されるEVシフト〜世界の1月販売実績から読み解く真実は? - EVsmartブログ
    Ez-style
    Ez-style 2024/04/01
    少なくとも一昨年までは、「BEV」と「HV+PHEV」という区分で話をしていたのに、PHEVが増えた去年半ばくらいから突然「BEV+PHEV」と「HV」とくくり直して話をするようになってるの面白すぎる。
  • 外国人「日本のコンテンツ別の男女比が興味深いので見ていこう」 : 海外の万国反応記@海外の反応

    スレッド「マリオファンは75%が男性 カービィファンは65%が女性」より。 引用:4chan Ads by Google

    外国人「日本のコンテンツ別の男女比が興味深いので見ていこう」 : 海外の万国反応記@海外の反応
    Ez-style
    Ez-style 2024/03/01
    女性100%がいくつかあるのに、男性100%は皆無。はっきりと男性90%以上もプロスピ、遊戯王、ゆるきゃんくらい? / そもそも男性はコンテンツにあまり趣味無い人多いかな。
  • デザインやイラストに使える配色本の決定版! 配色アイデア手帖 第2版は、Photoshopやクリスタのスウォッチデータ・ポケット版PDFなど豪華ダウンロード特典が満載

    配色の中で日一(もしかしたら世界一)売れている(担当者様談)配色アイデア手帖、現在も好調に売れ続けている中、完全保存版となるべく改訂第2版が発売されました! この第2版では、収録されているカラーすべてのスウォッチデータ、CSSファイル、ポケット版PDFと豪華ダウンロード特典が満載で、さらに新しい配色テーマやコラムが増え、紙面は最新版にブラッシュアップされています。まだ持っていない人はもちろん、すでに持っている人にもお勧めします。 書は、日発売の最新刊! 5年ほど前に発売された配色アイデア手帖の第2版です。読者からの要望で多かった、カラー値を入力するのが面倒というのを解消するべく、さまざまなソフトウェア用のスウォッチファイルがサポートサイトからダウンロードできます。 Adobe Photoshop用のスウォッチ(CMYKとRGBの2種類): .aco Adobe Illustrato

    デザインやイラストに使える配色本の決定版! 配色アイデア手帖 第2版は、Photoshopやクリスタのスウォッチデータ・ポケット版PDFなど豪華ダウンロード特典が満載
  • とにかく日本の住所のヤバさをもっと知るべきだと思います|inuro

    「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが(2023年6月6日)、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン

    とにかく日本の住所のヤバさをもっと知るべきだと思います|inuro
    Ez-style
    Ez-style 2023/06/07
    冒頭に住居表示と地番の話が出てきたけど、地番すら無い(番外地、無番地)ところもそこら中にある。建物名もやたら長かったり漢字仮名英数字記号を全部含んでたりカオス。座標は地震でずれるとついったでみた。
  • 1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

    はじめに この記事は,Kaggle Advent Calendar 2022第6日目の記事になります。 記事では、 32GB超のCSVデータの基統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基統計量(最小値、最大値、平均、分散、四分位数)などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

    1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
    Ez-style
    Ez-style 2023/06/06
    業務で作業するならBQに突っ込めでFAとして、CSVの基本統計量を計算するだけなら grep と awk という手段が(老人会脳 / 身も蓋もないことをいえば、アタリをみたいだけならランダムサンプリングすればよくね。
  • 芸能業界団体が国に要望書 “AIコンテンツの元データ開示を” | NHK

    AIを使って作られたコンテンツが次々に生み出されていく中、俳優や音楽家などで作る業界団体が、芸能従事者の活動や権利の保護を求め、「AIがどのようなデータを元にして生成したのか開示すべき」などとする要望書を国に提出しました。 要望書を提出したのは、俳優や音楽家などの芸能従事者で作る日芸能従事者協会で、8日に会見を開いて明らかにしました。 会見では、AIが創作活動に対して及ぼす影響について、映画音楽、美術など、文化芸術の各分野からの意見が紹介され、声優からは「数時間ですべての音域、声色をスキャンされて、おおよその表現や演技もできるように合成される」とか、美術家からは「自分の作品が知らない間にAIに取り込まれ、再利用されていくことに憤りを感じる。アーティストの著作権が侵害される無法地帯を作ってしまうと危惧している」といった、懸念の声が上がっていることが説明されました。 また、オンラインで会見

    芸能業界団体が国に要望書 “AIコンテンツの元データ開示を” | NHK
    Ez-style
    Ez-style 2023/05/09
    “クリエイターへの対価の支払い義務”主目的はこれでしょ。で、個別に対価計算できないから、利用料に一定額上乗せして業界団体が受け取るフレームにすると。私的録音補償金の夢ふたたび。
  • 国土交通省が日本全国の3D都市モデルのアセットをUnity Asset Storeで配信。価格は無料

    国土交通省が日全国の3D都市モデルのアセットをUnity Asset Storeで配信。価格は無料 編集部:杉浦 諒 ユニティ・テクノロジーズ・ジャパンは日(2023年2月28日),同社が展開するアセット販売ページ“Unity Asset Store”で,国土交通省とシナスタジアによる「PLATEAU SDK for Unity」が出品されたことを明らかにした。価格は無料。 「PLATEAU SDK for Unity」は,国土交通省が主導する日全国の3D都市モデルの整備およびオープンデータ化を目指すプロジェクト“PLATEAU”のもと,シナスタジアが開発したオープンソースのツールキットだ。 配信されたアセットには,家屋やビルなどの建築物だけでなく,都市計画区域などの都市計画決定情報,土地の用途を示す土地利用,都市のインフラを示す道路や橋梁などのデータも含まれる。これらのデータは,U

    国土交通省が日本全国の3D都市モデルのアセットをUnity Asset Storeで配信。価格は無料
  • 「時系列分析」にはグーグルやフェイスブックが考案した最新手法がお薦め

    ビジネスでデータサイエンスを活用するシーンとして、過去データを使って将来を予測するタイプの問題がある。商品販売数や店舗売上高など、折れ線グラフを使って表現するようなデータ(時系列データ)に基づいた時系列分析だ。過去の販売データに基づいて翌月の発注量を決めたり、3年後など中長期の計画を策定したりするのに使う。今回は、この時系列分析に活用しやすい3つのアルゴリズムを見ていこう。 Prophet

    「時系列分析」にはグーグルやフェイスブックが考案した最新手法がお薦め
    Ez-style
    Ez-style 2022/10/07
    見れないけどfbがprophetならgoogleはcausal impactかな。時系列分析で共変量を考慮するのは難しいさね(prophetは確か任意でウエイトを設定する必要があった気が)。
  • 画像生成AI「Stable Diffusion」でいろいろ特化した使えるモデルデータいろいろまとめ

    画像生成AIのStable Diffusionは、ノイズを除去することで画像を生成する「潜在拡散モデル」で、オープンソースで開発されて2022年8月に一般公開されたため、学習用のデータセットを変えることで特定の画像を生成するのに特化したフォークモデルが多数存在します。そんなStable Diffusionから派生して生まれた特化型モデルとその特徴や生成例をまとめてみました。 Stable Diffusion Models https://rentry.org/sdmodels 実際に複数のモデルとシード値で、同一のプロンプト・ステップ数・CFGスケールで画像を生成した結果をまとめてみました。 モデルは左からStable Diffusion v1.4、Waifu-Diffusion v1.2、Trinart Stable Diffusion、Hentai Diffusion、Zack3D_K

    画像生成AI「Stable Diffusion」でいろいろ特化した使えるモデルデータいろいろまとめ
  • DynamoDBの難しさについて - Qiita

    はじめに DynamoDBは上手く使えば非常に強力なDBMSですがRDBとの違いは大きく、「RDBの代わりにDynamoDBを使おう!」と深く考えずに提案/採用することが難しいことから、その理由についてみていきます。 DynaomoDBの難しさ DynamoDBの利点と表裏一体である、DynaomDBの主要な難しさについて順番に見ていきます。 1. 提供されているクエリモデルでできることが非常に限定されている DynamoDBは次の公式サイトに記載がある通り、どんな規模でも数msの一定のパフォーマンスを発揮でき、無尽蔵にスケールできるという特徴があります。 Fast, flexible NoSQL database service for single-digit millisecond performance at any scale この特性を上手く活用すると次の実例のように高可用性、

    DynamoDBの難しさについて - Qiita
  • データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」

    naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ!まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…スクショ貼リ付ケ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41

    データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」
    Ez-style
    Ez-style 2022/09/08
    Excelは演算前後のデータ表示&加工が圧倒的に楽。データをいじって試行錯誤しながら分析設計&アウトプット検討をするときに使いやすい。
  • 再現性問題のはなし - 渋谷駅前で働くデータサイエンティストのブログ

    経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集= 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか?……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい

    再現性問題のはなし - 渋谷駅前で働くデータサイエンティストのブログ
  • 男女の賃金差の話は詳しく調査しない限り決着しないよ

    はてな民がよく出す説って予想の範疇を超えてないからね。 統計データもあるにはあるけど細部まで探ってないので立証不可能だから。 とりあずよくある説を振り返ってみようか? 男女で職種が違うから説現在ある調査データは業種別しかない。 https://www.mhlw.go.jp/toukei/itiran/roudou/chingin/kouzou/z2021/dl/05.pdf 一応同業種内でも男女差はあり女性が低いことは低いので単純に男女差があるとも言えるが 同業種の中でも職種(事務、現場、営業etc)が違うので、男女で職種が違うからとも言える。 結局職種まで調査してくれない限り、どれだけ罵り合っても決着つかない。 3K仕事しないせい説、ラクなところに行くせい説、役職なりたがないせい説男女で職種が違う説と似ているが、こちらは「女性がそれを自ら選んでいる」というニュアンスが含まれている説。 こ

    男女の賃金差の話は詳しく調査しない限り決着しないよ
    Ez-style
    Ez-style 2022/06/10
    能力が同じなら業務量が実績にほぼ比例するので、他の格差を全て是正できたとして体力に基づく格差は残るだろうけど、それはどうする?
  • https://projects.preferred.jp/3d-scanner/

    https://projects.preferred.jp/3d-scanner/
  • 羅生門効果:マーケティングモデルを蝕む本質的な「曖昧さ」 - 渋谷駅前で働くデータサイエンティストのブログ

    前回の記事でも触れましたが、ここ最近いわゆる需要予測系のマーケティングモデル(特にMedia Mix Modeling: MMM)を手掛けることが増えています。 この手の統計モデルは経済学で言うところの「実証分析」に当たると思われ、一般には「予測」よりも「説明」に用いられることが多いです。より具体的に言えば、回帰モデルを推定した上で個々の変数のパラメータを比較して、例えば「デジタル動画広告をもっと強化した方が良い」というようなマーケティング上の示唆を得る、というような目的で用いられます。 ところが、これまた前回の記事で触れた通りでそれらのモデルに基づく「説明」には、どうしても「羅生門効果」の問題が生じ得ます。即ち、同じデータセットに対して似たような性能を示す回帰モデルが複数並び立った場合、どのモデルの「説明」を優先すべきか?という問題です。これは純粋に統計的学習分野の問題として捉えればある

    羅生門効果:マーケティングモデルを蝕む本質的な「曖昧さ」 - 渋谷駅前で働くデータサイエンティストのブログ
    Ez-style
    Ez-style 2022/01/26
    "「あれもこれもと変数を沢山突っ込んで過学習がひどくなった汎化性能の低いモデル」の方が~" R2が低いモデルは嫌がられるし。。。かくしてアドホックなダミーだらけに(無くても広告の係数値は同じだったり)。
  • Marketing-Mix-Modeling(MMM)に関する所感や問題意識について - Leverages データ戦略ブログ

    目的と背景 レバレジーズのデータ戦略室で室長をしている阪上です。 今回は、最近仕事で使うことがあり、調べているMarketing Mix Modeling(MMM)について簡単に紹介したいと思います。この分野に関して、あまり国内で盛り上がっていないように感じたため、僭越ながら少しでも関心を持つ方が増えることを願って記しました。 今回は具体的に自社でどのような分析を行ったかについては記しておりませんが、今後、別の記事で用意したいと思います。 MMMとは Marketing Mix Modeling(MMM)は各種メディアへの支出が、企業の売上にどのように影響を与えるのかを理解するために、あるいは最適なメディア投資を行うための支出の配分を決めるために使われます。主に回帰分析などの手法を用いて、時系列データである売上を同じく時系列データである各種メディアのインプレッションなどで説明づけるというア

    Marketing-Mix-Modeling(MMM)に関する所感や問題意識について - Leverages データ戦略ブログ
  • 世帯視聴率の記事がなくならない責任の一端はヤフトピにある(境治) - エキスパート - Yahoo!ニュース

    発言でにわかに「世帯視聴率」が話題に松人志氏の視聴率記事批判が話題になっている。6月20日の「ワイドナショー」でもけっこうな時間を使ってそのことを話していた。それがまたネットでコタツ記事になっている。 松人志、視聴率報道に問題提起「世帯視聴率を用いたネットニュースの番組、タレントの下げ記事は無視して」(スポーツ報知) 松人志氏の一連の発言はインパクトが大きく、さすがに安易な視聴率記事は減るのではないだろうか。 私はこの世帯視聴率の問題についてかなり前から危機感を持って記事にしてきた。だがあまり見向きもされず歯がゆい思いだった。松氏が今回発言したことで私も積年の思いが実った気持ちだ。 それにしてもなぜネット記事は視聴率を取り上げたがるのか。私はその原因の一つはヤフトピにあると思う。とっくに意味を失った世帯視聴率が重要だという誤解を振りまいたという意味では、ヤフトピには大いに責任が

    世帯視聴率の記事がなくならない責任の一端はヤフトピにある(境治) - エキスパート - Yahoo!ニュース
    Ez-style
    Ez-style 2021/06/23
    VRが世帯視聴率しか公表しないからでしょ(PMは有料)。PMが必要なのは商品ターゲットが決まっているスポンサーだけだと思うけど/そもそも個人ベースの視聴率は各社データ取得ちゃんとできてんのという問題もね。。。
  • 東大、都道府県レベルでみた日本人の遺伝的集団構造の調査結果を発表

    東京大学は10月14日、47都道府県に居住する日人約1万1000名の全ゲノムSNP遺伝子型データを用いて、都道府県レベルで日人の遺伝的集団構造の調査を実施した結果を発表した。そしてクラスター分析により、47都道府県は沖縄県とそれ以外の都道府県に分かれ、沖縄県以外は九州・中国地方、東北・北海道地方、近畿・四国地方の3つのクラスターに大別され、関東地方や中部地方の各県はひとつのクラスター内に収まらなかったとした。また同時に、主成分分析の結果、第1主成分は沖縄県との遺伝的距離と関連しており、第2主成分は緯度・経度と関連していたことも判明した。 同成果は、同大学大学院理学系研究科の渡部裕介 大学院生、一色真理子 大学院生(ふたりとも研究当時)、大橋順 准教授らの研究チームによるもの。詳細は、ヒトの遺伝子を扱った学術誌「Journal of Human Genetics」に掲載された。 現代の日

    東大、都道府県レベルでみた日本人の遺伝的集団構造の調査結果を発表
    Ez-style
    Ez-style 2020/10/16
    名古屋から東はグチャグチャな一方、西日本は割と綺麗に分かれているので、西日本は地域をまたいだ集団の移動が少なかったんかな。
  • データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita

    Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

    データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita
    Ez-style
    Ez-style 2019/11/19
    "大穴以外の馬券を網羅的に買う"というやり方で実際に1億円以上もうけてた人たちがいたがね。事業扱いされて脱税で捕まってたけど。
  • 第25回参院選精密地域分析 共産党|三春充希(はる) ⭐未来社会プロジェクト|note

    共産党の地図(図1)を公開したとき、「京都で強固な共産党」とか、「インドのコーチでは共産党が強いが、日のコーチでも共産党が強かったとは」というにぎやかな感想をもらいましたが、京都や高知だけでなく、北海道でも一定の強さがある点は注目に値するのではないでしょうか。これは個人票を見ることでさらに明瞭になってきます。 図1.共産党得票率 第25回参院選(2019年)比例代表 図2.共産党個人票得票率 第25回参院選(2019年)比例代表 図2は、共産党が擁立した各候補の個人票を合計した得票率です。つまり「小池晃」「仁比聡平」「紙智子」といった共産党の候補者26人の票を合計し、投じられたすべての有効票に対する割合を計算したものです。 現行の参院選の比例代表では、投票の際に政党名を書くことも、候補者個人の名前を書くこともできます。前者を政党票、後者を個人票と呼ぶことにすると、その党から何人当選するか

    第25回参院選精密地域分析 共産党|三春充希(はる) ⭐未来社会プロジェクト|note