タグ

資料と分析に関するsnjxのブックマーク (8)

  • 2023年版データ分析の100冊 - Qiita

    わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊+100冊超】データサイエンス、データ分析機械学習関連のがご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つを紹介する(私が学び始めた時にあれば欣喜雀躍したであろう)記事として書いております。 記事作者の青木はバイオインフォマティクス(ゲノムデータのDB化中心・PerlMySQL)からRで時系列分析→Pythonデータ分析一般と業務をしてまいりました。 ですので研究者目的のはありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPythonを中心に

    2023年版データ分析の100冊 - Qiita
  • 健常者エミュレータ - 現実モデリング

    はじめに*1 原理的には、あらゆる前提条件は特定の個人や状況および主義に結びつけられたステートメントとして相対化することが可能だが、人間の限られた脳ミソを節約するため、この「相対化」は通常特定の範囲内でしか行わない。しかし、前提条件の相対化を厳密かつ広範囲に行い、あらゆる前提条件を無効化していけば「異常者」が生まれる。 「異常者」とは前提条件を共有することができない人間のことを指す。そして「健常者」とは前提条件が共有された人間のことを指す。むろん「前提条件」は集団ごとによって異なるため、ある集団においては異常者の人間が別の集団では健常者となる、といった事態は起こりうる。「異常者」も「健常者」も、質的に相対的な概念に過ぎない。 異常者による行動は健常者には予測不可能なものであり、認知的不協和を引き起こし、健常者のごく限られた脳ミソをい尽くしてしまう。そのため、健常者は異常者を排除し、自分

    健常者エミュレータ - 現実モデリング
  • 自分がどのくらいエコーチェンバーの中にいるのか可視化するシステムを作ってみた|tori

    「ツイッターで見た」計算社会科学という学問があります.社会科学にコンピュータサイエンスを導入して,これまでにない分析を行おうという学問です.最近日でも計算社会科学会が発足するなど今盛り上がっている研究分野です. そんな計算社会科学の分野で扱われる課題の一つに,ソーシャルメディアによる社会の分断の分析があります.アメリカ大統領選や新型コロナ禍でフェイクニュースを目にする機会が多くなりましたが,フェイクニュースや偏った情報の取得は,人々を分断させ社会を混乱させると言われています. 分断を生み出す要因の一つが,エコーチェンバー現象にあると言われています.これは,ソーシャルメディアなどでは自分と似たような価値観を持つ人とつながりがちであり,自分の意見をいうと周りから「そうだそうだ」と同意を得られ,自分の意見が社会全体の意見のように見えてしまう現象をいいます.実際にはソーシャルメディアで可視化され

    自分がどのくらいエコーチェンバーの中にいるのか可視化するシステムを作ってみた|tori
  • 正式提供開始の衛星データプラットフォーム「Tellus」とは、どんなサービスか

    このサービスは、経済産業省からの3年間にわたる委託を受けて、さくらインターネットが提供するもの。委託期間終了後は同社が自立して運営することになっている。 Tellusでは、どんなデータが提供されるのか 衛星データに関しては、サービス開始時点で利用できるのは、日の衛星「ASNARO-1」「ALOS(だいち)」「ALOS-2(だいち2号)」の光学データ(「衛星写真」)と、SAR(合成開口レーダー)画像が中心。SAR画像は、植生や地表の状況を把握するために使われる。例えば洪水被害地域を特定し、保険金支払いの迅速化に役立てるといった用途で使われているという。 光学データでは、ASNARO-1のデータ(地上分解能0.5m)、ALOSが搭載する光学センサー「AVNIR-2」のデータ(地上分解能10m)、Landsat-8のデータ(地上分解能15/30m)がある。地上分解能0.5mの光学画像を無償で提

    正式提供開始の衛星データプラットフォーム「Tellus」とは、どんなサービスか
  • 坂村健の目:パナマ文書 調査報道の将来 - 毎日新聞

    パナマ文書については、いろいろな方面で話題になっているが、我々の情報科学の分野的にもなかなか興味深い事件である。 ただ今回の興味のポイントは、ハッキングとかではない。ポイントはデータのサイズ。「文書」と言うが、実は1150万ファイル、2・6テラバイトという巨大データの塊がその正体だ。 経済犯罪で検察や調査報道の記者が行うのが押収文書の分析。文書を読み込んでその中に出てくる登記上の名前や住所が実質同じなのかとか、取引相手の血縁関係といった相関図を作り金の流れを追い、当は誰の金なのかを解き明かす。 しかし、2・6テラバイトは小さめの図書館にも匹敵する文書量。その分析はもはや人間のおよぶところではない。当然コンピューターの出番となる。 この記事は有料記事です。 残り826文字(全文1146文字)

    坂村健の目:パナマ文書 調査報道の将来 - 毎日新聞
  • X線天文衛星「ひとみ」、浮かび上がった3つの問題点 (sorae.jp) - Yahoo!ニュース

    宇宙航空研究開発機構(JAXA)のX線天文衛星「ひとみ」が通信を絶ってから1か月近くが過ぎた。当初は謎に包まれていた原因も分析が進み、およその可能性が判明してきたところだ。そこで、前回の記事(末尾リンク参照)では書ききれなかったより詳しい解説とともに、筆者が考える疑問点や問題点を述べていくこととする。 まず第一に、最初のトラブルと考えられている姿勢制御システムの問題について、改めて整理しよう。 「ひとみ」の姿勢制御システムは、2つの方法で自分の姿勢(向き)を知ることができる。慣性基準装置(IRU)とスタートラッカ(STT)だ。 IRUは、衛星を回転させたときの反動を測定する装置だ。回転いすに座った状態で目をつぶり、いすを回された感じを想像すると良いだろう。回されたときに受ける力を測定することで、自分が回り始めたことがわかる。これを精密に測定することで回転を推定するのがIRUだ。このよう

    X線天文衛星「ひとみ」、浮かび上がった3つの問題点 (sorae.jp) - Yahoo!ニュース
  • アジャイルな開発には安全性が不可欠 : 現実世界の安全機構との3つのアナロジー | POSTD

    (2016/7/15、著者プロフィールを修正いたしました。) 仮に、高速道路の自動車をより速く走らせることがあなたの務めだとします。もしあなたが、ドライバー全員にただ「アクセルを思いきり踏むように」と言ったら、一体どうなるでしょうか? 結果は明らかに、大惨事となるでしょう。それなのに、ソフトウェアの構築を速めようとする時に、多くの開発者がまさにそんな態度を取っているのです。その理由として持ち出されるのは、以下のようなことです。 「当にアジャイルに進めたいので、デザインやドキュメントには時間をかけられない」 「これは番環境にすぐ反映しなきゃいけないから、テストを書く時間はない」 「何もかも自動化する時間はなかったので、コードのデプロイは手作業でやる」 自動車が高速道路を高速で走るには、安全性が欠かせません。より速く走るためには、ブレーキやシートベルト、エアバッグといった、いざという時にド

    アジャイルな開発には安全性が不可欠 : 現実世界の安全機構との3つのアナロジー | POSTD
  • 工数見積りの海を彷徨う - hidekatsu-izuno 日々の記録

    [2018/07/01 追記] 過去に話題になったこともあり、このページに辿り着く方が多いようなのだが、係数導出の手法については継続的に改善を行っている。現時点では、「工数見積りの海を彷徨う・征服」というエントリに記載した「分位点回帰」を使うのがベストではと考えている。50%分位点が中央値にあたるため係数も安定しており、現在の見積りが過去のプロジェクトと比較してどのくらいの工数なのかが明確でわかりやすい。合わせて参考にしていただきたい。 工数見積りが難しいのはわかっているのだが、そうは言っても根拠は欲しい。この業界に入ってからずっと考え続けているのだが、やはり難しい。 この手の工数、工期という話題の時、役に立つのは次の資料だ。 IPA ソフトウェア開発データ白書 JUAS ソフトウェアメトリックス調査 素晴らしいことにどちらも PDF 版は無料で配布されているので、ダウンロードして見ること

    工数見積りの海を彷徨う - hidekatsu-izuno 日々の記録
  • 1