Code Interpreterに自分のTweetを分析させたらだんだん怖くなってきた - toyoshiの日記
Twitterから離れるにあたり念の為データをバックアップしました。（方法）せっかく過去の全てのツイートのデータを取得できたのでCode Interpreterに入れてどんな人物か推定させてみました。 面白半分に分析を始めましたが思ってた以上に推測されてだんだん怖くなっていったという記録です。 読み込み もうこれぐらいでは驚きませんがアップロードしたら余分な行を削除してJSONだけを取り出して読み込みました。 分析内容を提案してもらう 分析内容を考えるなんて人間のすることではありません。考えてもらいます。 年別の時間帯別の投稿数 2013年に起業したのでツイートが減り、2019年に会社をやめたのでツイート数が増えています。2020年は学校に通っていたのでツイート数が増え、2021年にまた起業したのでツイートが減っています。 2017年は子会社社長として働いていたのでツイート数が特に減ってい
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
データサイエンスを無料で勉強できる教材6選 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？｜「こころ」のための専門メディア 金子書房
調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？ 心理学が使用する代表的な方法の一つが調査法です。多くのデータが得られやすい，実施や集計が容易といった強みを持つ一方，弱みもあります。今回は，調査の「聞き方」，「答え方」によって得られるデータがどのような影響を受けるのかについて，三浦麻子先生にご解説いただきました。 心理学では「心」にまつわる構成概念を測定するために様々な手法を用いますが，そのうち，調査者の問いかけに対象者が主観（自らの気持ちや考え，経験など）を答えるのが調査です．調査では，呈示した質問に対して，あらかじめ用意した数値や選択肢から当てはまるものを選ばせる形で回答を求めることがよくあり，同じ形式で得られたデータですから，たくさんあっても集計・分析するのが容易です．心理学以外の領域でもよく用いられていて，学生の卒論
「酒場で見ず知らずの人と親しく話し、取材する方法」を書いた朝日新聞記者の記述が面白かった（「ルポ トランプ王国２」） - INVISIBLE Dojo. ーQUIET & COLORFUL PLACE-
今なお、アメリカをひっくり返す力を持っているのか、Qアノンの暴走によって命脈を絶たれつつあるのか…ドナルド・トランプをめぐる勢力図はイマイチ外国からはわかりづらい。 まあそれが現在進行形であれ過去の話であれ、トランプ支持者の実態をルポした金成隆一・朝日新聞記者の 「ルポ トランプ王国」 ルポ トランプ王国――もう一つのアメリカを行く (岩波新書) 作者:金成 隆一岩波書店Amazon 「記者 ラストベルトに住む」 記者、ラストベルトに住む トランプ王国、冷めぬ熱狂 作者:金成 隆一朝日新聞出版Amazon 両方のルポとも大変面白く、貴重なジャーナリズムの記録となっている。 関連の紹介記事を何度か書いた。 togetter.com 「テレビに映るカリフォルニア、ニューヨーク、ワシントンは、オレたちとは違う。あれは 偽のアメリカだ。ルイ・ヴィトンのカバン? サックス・フィフス・アベニュー(ニュ
エロマンガを定量分析した統計同人誌が、とにかくすごかった件
【内容】 ○「年齢別の男女の主導権」「強姦／和姦とストーリー要素」「ストーリーパターン、ヒロイン性格・属性、主導権・動機・セリフの数量化分析」等々 ○数字から分析を引き出す構成など 【掲載画像所載】 続きを読む
QGISを使って「災害データを地図で分析」してみよう 初心者向けの入門マニュアル｜NHK取材ノート
分析を身につけるには実際に「手を動かす」ことが一番の近道です。 分析ソフトと自治体のオープンデータを使った分析の進め方をとことん詳しく、マニュアル風にご説明します。やってみたいけど難しそう、わからない！という方の参考になればうれしいです。 （※あくまでもイメージをつかむためのものですので、詳しくはネットや参考書など他の情報もご覧ください） 今回のゴール地震による津波で浸水が想定されている区域に、子どもが通う施設がどのくらいあるのか。公開データから分析、可視化する。 以前、私が分析に携わったこの記事では、津波によって浸水が想定されている区域に、高齢者施設がどのくらいあるかを調べました。 このときのデータは、県や自治体などから取材で提供を受けたものがベースになっていました。そのままオープンにすることはできないので、今回は高齢者と同じく避難に手助けが必要な、「子どもの施設」に津波のリスクがあるか
ガラケーしか使えないデジタル音痴だった私が「GISでデータ分析」できるようになるまでの話｜NHK取材ノート
東京の多摩川沿いの浸水リスクがある地域で、「なぜか人口が増えている」ことをデータ分析ソフトを使って明らかにして、その背景を探りました。 次にこんな記事も書きました。 南海トラフ巨大地震によって津波の浸水が想定されている区域で、高齢者の施設がすごく増えていることを示した記事です。 どちらの記事も、誰もが入手できる「オープンデータ」と、後述する「GIS」という分析システムを使って隠れた事実を浮き彫りにした、データジャーナリズムのお手本などと紹介されたこともあります。 そしてつい最近手がけたのがNHKスペシャル「〝津波浸水域〟の高齢者施設」。蓄積してきた分析のノウハウを注ぎ込んだ番組です。 「データ分析」というと専門的で、すごく難しく思う方もいるかもしれません。しかし最初に述べたように私は数年前までは、パソコンを満足に使えない、データ分析とは無縁の「ガラケー記者」だったのです。本当に。 そんな私
論文に何を書くべきか→これだけは埋めろ→論文作成穴埋めシート
こう言い換えろ→論文に死んでも書いてはいけない言葉３０ 読書猿Classic: between / beyond readers を書いたとき、「あとは穴埋めしたら論文を出力してるものが作れないか」みたいな話があったので、作ってみた。 何であれ、文章を書く骨法は、書きたいことではなく、書くべきことを（そしてそれだけを）書くことである。 問題は何を書くべきかであるが、幸いにして、論文については後述するようにほとんど決まっている。 結論から言えば、以下の表を埋めていくだけで、論文の骨組みができあがる。 必要な項目は揃い、しかるべき順序で並ぶ。 論文穴埋めシート こんな簡単な穴埋め表がこれまであまり取り上げられなかったのは、わざわざ作るまでもないことも勿論あるが、その他にも次のような理由がある。 つまり、こうした穴埋め表が、 あなたは論文が書けないのではない。 研究ができないのだ。 という目の当
【2022年】注目すべきUI/UXデザイントレンド - Qiita
本記事は、ShakuroのRita Kind-Envy氏による「UI/UX Design Trends Of 2022 You Need To Catch Up To」（2021年11月15日公開）の和訳を、著者の許可を得て掲載しているものです。 はじめに 2021年は2020年よりも良い年でしたか？UI/UXデザインに限って言えば、そうです。新しい素晴らしいウェブサイトやアプリが生まれ、グラフィックデザイナー向けの新しいソフトウェアがリリースされ、創造性が泉のように湧き出ているようでした。 デザイナーが在宅を余儀なくされると、より多くのものを生み出し、すでに存在するものについて考える時間ができます。退屈はアーティストの最大の敵で、その解消のために努力します。 世界の他の分野では、2021年は非常に困難な年でした。世界最年長の猫は34歳の誕生日を迎えました。うーん、そう、良かったのはそれだ
統計の入門講座が無料に、京大メソッドでデータサイエンス関連教員が担当 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
ゼロから始める、データ分析と可視化 - Kyash Product Blog
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
全国民に配るべき！総務省が示した「データ入力の統一ルール」｜Excel医ブログ
2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog
Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるかもしれないので、私が考えたことや感じたことをメモ書きとして残しておきます。 在宅勤務と就業可能な地域 Web上でのアウトプット データエンジニアという職種の多様性 転職にあたって重視したこと 魅力に感じた点 当然、不安もある 在宅勤務と就業可能な地域 カジュアル面談させてもらった企業さんは、ほぼ在宅勤務に移行済みだった 隔週や月一で物理出社という会社も半々くらい? 緊急自体宣言が出ていない時期(夏〜秋)にカジュアル面談させてもらったので、今は状況が違うかも カジュアル面談、採用面談もz
「世界で一番寝ている人が多い時間帯はいつなのか？」実際に計算してみたら衝撃の結果が「その視点はなかった」
祖父江 慎（そぶえ しん） @sobsin 世界中の全人類ほぼ全員が同時におだやかな睡眠をとってる時間が訪れることってないんだろうな。一番多い%が眠りについてた瞬間って長い歴史の中のいつだったのかな 2021-03-10 06:21:02 Ken Kawamoto（ガリのほう） @kenkawakenkenke これとても面白い疑問だと思ったので、手持ちのデータで簡単に計算してみたら驚きの結果になった。ざっくり「人は現地時間の22時から6時の間寝てる」と仮定した場合、日本時間の8時に世界の86%が寝ているという結果に。逆に22時には3%しか寝ていない。極端すぎて少し計算結果に自信ない！ twitter.com/sobsin/status/… pic.twitter.com/smzzmOr2OT 2021-03-10 12:06:04
JSer.info 10周年: JavaScript情報の集め方、書き方、まとめ方
JSer.infoは2011年1月16日に公開したJavaScriptの情報サイトで、2021年1月16日で公開してからちょうど10年です。 JSer.infoでは、10年間で10201サイト紹介し、522コの記事書いてきました。 JSer.infoの紹介したサイト数(累計)。ソース 10年間途切れることなく毎週更新していて、月別の記事数は毎年同じ推移です。 JSer.infoの月別の記事数。ソース この記事では、10年間やってきたJSer.infoの目的を振り返り、 JavaScriptの情報の集め方、書き方、まとめ方について書いていきたいと思います。 ⚠️ すべてを書いているのでものすごく長いです。 この記事やJSer.infoに関する意見や感想などは、次の場所に書いてください。 この記事をTweetする Twitter: #jserinfo GitHub Issue: JSer.in
可視化や統計でデータに『恣意的なストーリーを語らせる』16の闇の魔術【bad charts】 - Qiita
闇の魔術に対する防衛術 Advent Calendar 2020の三日目 はじめに データの可視化は非常に難しい。 まずデータの抽出が難しい ・データソースごとの整合性が取れているか ・取得したデータとソースデータに欠損が生じていないか ・SQL文を実行したサマリの結果が部分的に抜け落ちていないか。 その確認は時間的にも精神的にも苦痛。 しかし、苦労して抽出したデータも使い方で全くの無駄になる その例として「可視化や統計」部分に着目してお話をしようと考えた。 データの背景を知らない人には、データ可視化が歩み寄る手段になるし、伝えたい事をインパクトを伴って伝えられるなど非常にメリットである。 ※ただし 「可視化」の使い方によっては誤った理解をさせることも可能。 伝えたい事だけを正しいように見せる方法もあり、 可視化に詳しくない人に誤解を与えて自分の主張を通すこともできるかもしれない。 これは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TomoCode 📈PythonでAI/データサイエンス🤖 on Twitter: "もうお金払わせて。。。💸 米NPOが多くの人に統計学を学んでもらうためにまとめた【データ分析のための統計学入門】の日本語版が無料公開されてるよ！ とても体系的に書かれていて、初めての統計の勉強はここからで間違いないかも！ 統計検定2~3級の内容に対応してるよ👍 https://t.co/vRtt4ocauC https://t.co/OQlbeGzARZ"
【必読】総務省直伝のExcelマニュアルが目から鱗が落ちるものだった
