1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。この件に限らず、「悪いやつをAIで予測する」というのはすなわち 「あなたに似た人が悪いことをしたので、あなたも悪い人と見なします」 ということだからだ。 レストランのランプ たとえばこんな例を考えてみよう。ある街でレストランが強盗に襲われる事件が相次いだ。これを防ぐため、レストランの入口に防犯カメラを設置することにした。このカメラはAIで犯罪者の顔を学習していて、「犯罪を犯しそう」な人間を検知してくれるのだ。 もちろん検知するといってもサイレンが鳴ったりするわけじゃない。あくまで「犯しそう」なだけで、まだ犯罪を犯したわけではないからね。でもキッチンに置いてある赤いランプがピカピカ光って、「要注意人物」が来たことはわかるようになっている。ああこれで安心だ。 …さて、これは本
人気レジャー施設が「現地払いのWeb予約」をやめただけで、売り上げ2.5倍以上に──なぜ？：PANZA宮沢湖（1/3 ページ） PANZA宮沢湖は、2019年4月に埼玉・飯能市にオープンしたアドベンチャーパークだ。施設内では「ファンモック」という空中アスレチックが楽しめる。森の中に張り巡らしたネットの上で揺られながら寝転んだり飛び跳ねて浮遊感を味わったりと、自分なりの方法で過ごせ、子どもから大人まで利用できる。 長引くコロナ禍の中、自然豊かな土地に出掛けて「非日常を気軽に味わえれば」と集まる人も多いだろう。コロナ禍でも人気は絶えず、安定して利用者が訪れている。 このPANZA宮沢湖では、予約システムを見直し「現地払いのWeb予約」をやめたことで、月商が対前年比で平均157％、最高値の月では272％もアップしたという。つまり売り上げが平均して2.5倍以上にもなった。なぜそれほどの効果があった
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 2022年のNHKスペシャルなどで紹介された内容です なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl
本Webサイトでは、エムスリー株式会社が保有する医療リアルワールドデータであるJAMDAS（日本臨床実態調査）をベースとした国内患者数に関する推計値と、厚生労働省または国立感染症研究所（NIID）による公表値を掲載しています。 JAMDASデータは、統計処理された集計データとして個人と紐づかない形で医療機関から提供されており、一切の個人情報を含みません。 新型コロナウイルス感染症新規陽性者全数報告に関する厚生労働省からの公表が2023年5月8日をもって終了したため、本Webサイトにおける新型コロナウイルス感染症新規陽性者の公表値の更新も、2023年5月8日分をもって終了しています。 JAMDASは国内約4,100医療機関（2022年12月時点）由来の臨床データに基づくデータベースで、検査結果等も含んだ前々日までの臨床データをリアルタイムに反映しています。 JAMDAS推計値は、医療機関の受
みなさんこんにちは。電通国際情報サービス(ISID) 金融ソリューション事業部の水野です。 これは電通国際情報サービス Advent Calendar 2022の16日目の記事です。 今回は、ISID金融事業部で運用しているスキルマップについてご紹介します。 テックリードとは 実は、ISIDの少なくとも金融事業部にテックリードと言うポジションはありません。 実在するのはチーフアーキテクトと言う職種のみで、各プロジェクトでリードエンジニアやテックリードという仮想的なロールがあるのが実態です。 一時期はフルスタックエンジニアと呼んでいる時期もありましたが、近年このワーディングが好まれない印象なので、大々的に使っていません。 主観ですが、フルスタックエンジニアはインフラ知識／運用系の知識のウェイトが高いエンジニアで、テックリードはソフトウェアアーキテクチャ、Webアプリケーション実装技術寄りのエ
こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容
都庁と伽藍とバザール｜miyasaka
東京都の情報技術利活用への取り組みは都庁内に常勤で働いている情報技術系職員に加え高い専門性の人にフェローとして非常勤でサポートしてもらってます。 その一人の関フェローの嬉しいニュースが。 デブサミ2020夏のベストスピーカーが決定、1位はCode for Japan 関治之氏 日本で有数の伝統もあって大規模なエンジニアのイベントでの受賞。東京都の新型ウイルス感染症対策サイトは職員とシビックテックのコミュニティによって運営されていますがそのことにもプレゼンでは触れていただいています。 このプロジェクトを通じてシビックテックについて多くを彼やその仲間から学びました。全員の名前はとても書ききれないんだけどまさに私にとってのジェダイマスターたちです。せっかくなのでジェダイマスターたちから学んだことをこれを機会に書き留めておきます。行政でシビックテックやオープンデータの推進を検討してる人の参考になる
NTTドコモは10月10日、ネットワーク通信品質対策を発表した。 2023年の春ぐらいから、ドコモのユーザーからネットワーク品質に関する不満の声がSNSなどで多く上がっている。当初は渋谷や池袋などの都心部、ターミナル駅周辺が中心であったが、最近では地方にも拡大している印象だ。 他キャリアでは数年前に実施済みの対策をようやく 発表会で実際にドコモのネットワーク通信品質に対する改善策を聞いたが、第一印象としては「後手後手」に回っており、他社に比べても大きく遅れている感が強かった。 例えば、ドコモでは駅や繁華街、住宅地など全国2000カ所以上で集中的に対策を実施。さらに乗降客の多いJRや私鉄などの鉄道動線を強化するという。 しかし、鉄道動線を強化する考え方はKDDIが5G開始当初から行っており、2021年6月にはJR東日本の山手線全30駅、JR西日本の大阪環状線全19駅のホームで、5Gネットワー
画像はUnsplashより 在宅時間が増加したであろう現在は、学生や社会人が人工知能（AI）やデータサイエンスについて身につける絶好のチャンスと言える。「AIについて何か勉強したい」「統計学について知りたい」という人も少なくないのでは。 近頃、Pythonなどのプログラミングについて勉強したり、データサイエンスについて知識を深めたりできる学習コンテンツが無料で公開される機会が増えつつある。そこで、2021年1月27日現在、無料で学べるAIやデータサイエンス関連の学習コンテンツを集めてみた。 総務省、社会人のためのデータサイエンス入門を無料開講 総務省は2021年1月12日開講した「誰でも使える統計オープンデータ」に先駆け、「社会人のためのデータサイエンス入門」を特別開講している。登録料および受講料は無料。 本講座では入門編として、統計学の基礎やデータの見方・データの取得方法などを学べる。統
CCCマーケティングとトレジャーデータは7月28日、CDP（Customer Data Platform）領域において業務提携を行い、同意取得済のT会員データ（Tポイントデータ）を、生活者のライフスタイルを基点とした情報プラットフォーム「CDP for LIFESTYLE Insights」として8月から提供を開始すると発表した。 2022年3月現在、名寄せをし重複を排除したT会員数は7025万人で、週間の利用者は2469万人、月間利用者は4175万人だという。この会員により、年間35億件以上の購買トランザクション、15万店舗のネットワークで扱われる60億種類の商品データ、数千項目からなる顧客DNAのペルソナデータ、 オフライン・オンライン上の移動・行動データやメディア接触データ、またCCCマーケティンググループオリジナルのエンハンスデータなとが得られ、データベースに蓄えられている。 20
来春に消滅する｢Tポイント｣栄華と没落の20年
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
1. Mobility Technologies Co., Ltd. Data Engineering Study #2 データ収集の基本と 「JapanTaxi」アプリにおける実践例 株式会社 Mobility Technologies 渡部 徹太郎 2020/8/19 2. Mobility Technologies Co., Ltd. 自己紹介 2 ID ：fetaro 名前：渡部 徹太郎 学生：東京工業大学でデータベースと情報検索の研究 (@日本データベース学会) 職歴： * 野村総合研究所(NRI) - オンライントレードシステム基盤 - オープンソース技術部隊 * リクルートテクノロジーズ - ビッグデータ分析基盤 * MobilityTechnologies - データエンジニア エディタ：emacs派→ InteliJ派 日本AWSユーザ会(JAWS) ビッグデータ支部長
新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
あの竹中平蔵氏が、中国で大いに人気を集めているらしい。中国の人々はいったい竹中氏の何に惹かれ、彼から何を得ようとしているのか。その背景を追っていくと、日中で共振する「新自由主義」の動きが見えてきた。神戸大学・梶谷懐教授による全3回のレポート。 スーパーシティ法案成立の陰で 本年5月27日に、国家戦略特区法の改正案、いわゆる「スーパーシティ法案」が国会で成立した。新型コロナウイルス禍の拡大に伴う緊急事態宣言発令中の成立であり、報道などでは、遠隔医療の本格導入を始めスマート技術を用いた感染対策の進展に期待する声も多く聞かれた。 このスーパーシティ構想の背景としてAIやビッグデータを活用して社会のあり方を根本から変えるような都市設計を目指す動き、すなわちスマートシティの建設が、世界各地で本格化していることが指摘されている。 それを踏まえた上で（1）生活を支える複数のサービスが導入されている（2）
渋谷100台プロジェクト | IDEA（イデア）
プロジェクトの背景 Intelligence Design 株式会社では、これまで渋谷のセンター街、宮下パークなどに、商業施設や交通管理会社と連携し、AIカメラを設置してきました。（センター街の映像はこちら） 今回、人流データを複合的に可視化、分析することにより、 マーケティングや防犯における新たな視座の獲得や、データ利用価値を模索するべく、渋谷駅周辺の広域に100台のAIカメラを設置します。
ピボットを経てグローバル戦略へ、そして1兆円企業に…Treasure Data CEO・太田一樹の「忘れられない30分間」
データの収集・分析・連携ができるCDP（カスタマーデータプラットフォーム）を手掛けるTreasure Dataは、グローバルでも急成長中の注目SaaS企業。2018年にはArm社へイグジットしましたが、その後、今年になって創業者たちが「出戻り」の形で経営陣につき、さらなる飛躍を目指すというニュースは、業界に驚きをもたらしました。 今でこそCDPとして名高いTreasure Dataも、実はARR 30億円の段階でピボットし、現在の姿へと変わった経緯がありました。その背景にあったストーリー、ピボット後にARR 100億円を突破するため必要だったこと、そしてカムバックの理由まで、共同創業者でCEOを務める太田一樹さんに伺います。 聞き手は、ALL STAR SAAS FUNDマネージング・パートナーの前田ヒロです。 3年でARR10億、しかしテックジャイアントの参戦で…──早速ですが、ARR3
SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感じだっけか？ とりあえず動かしてみよう, ポチッとな. … 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB？！ いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一撃5 秒で29万円溶かした人の顔# 話題の画像生成AI, DALL･Eをつかって BigQueryでお金溶かした人の顔を表現してもらった3. あ
去年からネットで広がっている「ワクチン接種で不妊になる」という、科学的根拠がないとして多くの専門家が否定している情報は、誰が広め、なぜ拡散し続けているのか。 私たちが専門家と協力してSNSのビッグデータを分析したところ、誤った情報の「拡散者」の存在と、そこにごく一部の現役の医療関係者たちが加わっていることも見えてきました。 感染拡大の不安が広がるなかで、誤った情報に惑わされないためにはどうしたらいいのでしょうか。 （フェイク・バスターズ 新型コロナワクチンと誤情報 取材班 / 総合テレビ 8月10日 午後10時 放送予定） https://www.nhk.jp/p/ts/XKNJM21974/ “ワクチンで不妊” 20万件の投稿を分析すると 私たちはまずツイッターで「ワクチン」と「不妊」という言葉が含まれる投稿を分析しました。 対象は去年12月から6月までの投稿で、リツイートを含めて約20
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はテーブル仕様である Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest files
【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します
―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang：私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私
そろそろオープンデータを無秩序に管理するのは卒業したいので📦データを管理するパッケージマネージャを開発した【ツール開発】 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今回はdim(オープンデータパッケージマネージャ) v1.0のリリースに伴って開発したツールの紹介をしたいと思います。 オープンデータもパッケージマネージャ(apt、npm、gem、pipなど)と同じようにnpm install xxxxxのような形でオープンデータをインストールして管理すると良いのではないかという話です。 以前のバージョンに関しては以下の記事で紹介 【個人開発】パッケージマネージャーの考えを流用してオープンデータ管理ツールを作ってみた話 以前の記事を読んでいてv1.0からの変更点に関して読みたい方 dim v1.0 変
医療機関データのオンプレ → クラウド移行にかけた1年と、6倍の効率化について - JMDC TECH BLOG
株式会社JMDC開発本部データ基盤開発部の中村と申します。 私が所属する医療機関基盤グループでは、昨年から今年にかけて基幹システムをオンプレからクラウド（AWS）へ刷新しました。 この移行プロジェクトは、JMDC史上トップを争うくらい難易度の高いプロジェクトだったと個人的に感じています。マネージャーの立場から今回のシステム刷新のきっかけや、プロジェクトのハードな道のり、そしてクラウド化で得られた成果などを振り返っていきます。 プロフィール 中村竜甫（https://twitter.com/rh1011_） 株式会社JMDC 開発本部 データ基盤開発部 医療機関データ基盤グループ マネージャー SIerにて広告配信システムの企画・開発・運用を経験。その後2015年9月から現職。 基幹システムの刷新リーダーを担当後、Webプロダクト開発のマネージメントを経験。現在は医療機関基盤Gマネージャとし
「ETC2.0」がサーバに送信している速度や位置情報、民間活用の動き始まる トラック運行情報や保険にも（1/3 ページ） 高速道路の料金を無線通信で支払えるETCは、1日あたりの利用台数が780万台を超え93.9%が利用するまで普及した。そして次世代版であるETC2.0も、2015年に始まって以来835万台に搭載され、利用率で見ると28.7%を占めるに至っている。高速道路を走っているクルマの4台に1台はETC2.0を使っているわけだ。 しかしETC2.0が、クルマの位置情報や速度などを、国土交通省のサーバに随時アップロードしていることは意外と知られていない。
膨大な個人データを収益化する巨大IT企業のビジネスモデルを、自著で「監視資本主義」と名付けたショシャナ・ズボフ米ハーバード大経営大学院名誉教授が、毎日新聞のオンライン取材に応じた。ズボフ氏はインターネット空間を支配するこのビジネスモデルは「民主主義にとって破滅的なもの」で、法律によるルール作りが不可欠だと主張。欧州連合（EU）が進める巨大IT規制を、変革に向けた「新たな局面」をもたらす動きだとして高く評価した。 現在のネット空間では、人々がパソコンやスマートフォンで情報を検索したり、ネット交流サービス（SNS）などを使ったりするたびに、利用履歴など個々人に関するデータが収集される仕組みになっている。ズボフ氏はグーグルやフェイスブック（FB、現メタ）などの巨大ITがこれらのデータを事実上無断で利用し、人々がどんな行動をとるのか予測して広告主などに販売する、新たな市場を構築したと指摘する。そし
勃起ペニスの長さが30年間で24%も増加していると判明！ / Credit:Canva . ナゾロジー編集部「精子の数が年々低下している」というニュースを聞いたことがある人は多いでしょう。 恐ろしいことに、これは事実です。 男性の生殖にかかわるデータによると、53カ国に住む5万7000人の男性の精子を調べたところ、過去46年間で1mlあたりの精子数が1億400万個から4900万個に、実に50%以上（年率にすると1.2%）減少していたことが報告されています。 さらに精子の減少速度は加速しており、2000年から2018年までの毎年の減少率は2.6%にも及んで切ることが示されました。 受精に必要な精子は1つです。 しかし、膣から子宮への旅を乗り切れる精子は極めて少なく、子供をつくるには1mlあたり4000万個の濃さが必要とされています。 このしきい値を下回る場合、それだけ自然な受精は困難になって
聞けば聞くほど納得しかない……。世界最大のIT企業・テンセント、ゲーム業界制覇への道筋──日本でのヒットこそが、世界的ヒットへの試金石になる!?
日本と中国、両国での実績からテンセントへ──今回の取材の趣旨として、テンセントという企業がゲーム業界において世界的にも非常に重要な企業であるにも関わらず、その実態が知られていなかった、それ故に憶測で語られる部分もあったかと思うのですが、改めて当事者の言葉を聞かせていただきたいと。 レオ氏： よろしくお願いします。僕も日本と中国のゲーム業界で十数年仕事した経験があり、双方の市場を客観的に見てきた立場として共有できることも色々あるかと思いますので、何でも聞いてください。 ──ではさっそく。レオさんがテンセントジャパンに入社されたのは、ちょうどテンセントが日本での展開を本格化するタイミングだったと聞いていますが、それまでの経歴をお教えください。 レオ氏： 初めて来日したのは20年前、早稲田大学の大学院に入った時ですね。それからNTTデータ、次にD2C、DeNA、Bytedance Japan、そ
はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRAINT句のサポート DML (データ操作言語) のフルサポート UPDATE DELETE MERGE 柔軟なスキーマ管理 1. スキーマ エンフォースメント 2. スキーマ エボリューション ストレ
For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t
自然言語処理を役立てるのはなぜ難しいのか
PFNの海野裕也が2024/10/15に東大大学院「自然言語処理応用」にゲスト講師として登壇した際の講義資料です。
Hidekazu Konishi - Profile / Biography | hidekazu-konishi.com
Hidekazu Konishi - Profile / Biography | hidekazu-konishi.com About Hidekazu Konishi Hidekazu Konishi is a Cloud Architect with cloud engineering expertise who holds the titles of Japan AWS Top Engineer and Japan AWS All Certifications Engineer, having successfully completed all AWS Certification Exams. He specializes in cloud architecture and actively researches DevOps, MLOps, and AIOps, while br
# 参考資料 - イミュータブルデータモデル(入門編) - https://www.slideshare.net/kawasima/ss-40471672 - イミュータブルデータモデル(世代編) - https://www.slideshare.net/kawasima/ss-44…
新型コロナウイルスの影響で結婚する人が減っている。厚生労働省の人口動態統計（速報値）によると、令和２年１～１０月の婚姻数は４２万４３４３件で前年同期（４８万９３０１件）比１３．３％ダウンした。１１、１２月も同様であれば、昨年は戦後最悪の昭和２５年（１５％減）に次ぐ下落幅となる。婚姻数の低下は出生率にも響くとみられ、少子化対策を重点課題と位置付ける菅義偉（すが・よしひで）政権にとって「結婚対策」が急務となっている。 ■想定以上…少子化対策に影響か 戦後で記録が残る昭和２２年以降、対前年比で婚姻数の下落幅が２桁を超えたのは２４、２５年のみ。令和元年は改元に合わせた「令和婚」が件数を押し上げて前年比３．３％増だったため、２年は一定程度落ち込む可能性があったが、想定以上の下落幅となる見通しだ。 政府の少子化対策担当者は「新型コロナの影響で結婚につながる出会いが少なく、結婚式も行いにくい状況があるの
統計学とはそもそも「無作為抽出された少量のデータ」を分析するためのものであった - 渋谷駅前で働くデータサイエンティストのブログ
しばらく前にQuoraにこんなアンサーを書いたことを思い出したので、ついでにリブログ記事として転載の上加筆修正したものを用意してみました。僕にしては珍しくコッテコテの頻度主義的な話題である上に、「p値なんか使うのはやめてしまえ」という記事を以前に書いておきながらこんな議論をするのは自己矛盾かもしれませんが（笑）、これまでの統計学の歴史を紐解くことで、温故知新ということで新たに理解されることもあるのかなと思っています。 小標本のための統計学と、「スチューデント」ことゴセットの話 補足 小標本のための統計学と、「スチューデント」ことゴセットの話 近代統計学とは、「無作為抽出によって得られた小標本を分析することで、その背後にある母集団の性質を推定する」ために改良が積み重ねられてきた営みです。すなわち、統計学は「少量のデータを扱う学問」そのものだとも言えます。 (Skbkekas - 投稿者自身に
「生成AIで競馬予想」って勝てるの？ AI予想歴20年のベテランに聞く最新の勝ち方と、宝塚記念の結果（1/4 ページ） 競馬予想の世界に、新風が吹き荒れている。主役は、今話題の生成AIだ。ChatGPTやClaude、GeminiといったAIが、ついに競馬予想の世界にまで進出している。従来の予想スタイルから、データに基づいた“生成AI競馬予想”へとシフトするファンもじわじわと増えている。 「生成AIで競馬予想なんてできるの？」と思った方もいるかもしれない。しかし、競馬のレースの裏側には、馬の血統、騎手の実績、過去のレース展開、馬場（レース場の）状態など、途方もない量のデータが隠されている。従来の予想では、競馬新聞記者の直感やベテランファンの経験則に頼りがちだった要素でも、生成AIならより手軽に“勝利の兆し”を数値として見つけ出せるという。 今回は、そんなAI競馬予想の最新状況について、最前
「アコム」に迫る勢いのLINEポケットマネー “10代とやり取り多い40代”は延滞リスクが低い？：金融ディスラプション（1/3 ページ） スマートフォンを使い、個人向けに与信から貸し出しまでを行う、LINEポケットマネー（LINEクレジット運営）が好調だ。2019年8月のサービス開始から、22年3月末で申込件数が累計100万件を突破した。累計貸付実行額も500億円を超えている。 LINEクレジットサービス企画部の山岡巧部長は、「消費者金融大手に匹敵する件数」だと話す。大手消費者金融アコムの場合、年間の新規申し込み数が60万件程度。2年半で100万件のLINEポケットマネーの規模感が分かる。 キャッシュレス特化の利用体験 LINEポケットマネーの特徴は大きく2つある。1つは、キャッシュレスに特化した利用体験を提供している点だ。これまでの消費者向けローンは、申し込むと銀行口座に入金され、ATM
「台湾の天才」オードリー・タンが語った「私はなぜスマホをつかわないか」（語り）オードリー・タン,構成）クーリエ・ジャポン）
「ネガティブ・フリーダム」とは、既存のルールや常識、これまでとらわれていたことから解放され、自由になること。「個人として何かから自由になること」と言ってもいいでしょう。 ネガティブといっても否定的な意味ではありません。いわば消極的な自由であり、これが自由への第一歩です。 そして「ポジティブ・フリーダム」とは、自分だけでなく他の人も解放し、自由にしてあげること。 みんなが自由になるにはどうすればいいのか、具体的なToDoを考えること。自分の可能性を力に変え、その力を誰かのために役立てることです。 「本当に自由な人って、どんな人ですか？」と聞かれたなら、私は「ポジティブ・フリーダムを体現している人」と答えます。 自分が変えたいと思っていることを、変えられる人。 自分が起こしたいと思っている変化を起こせる人。 それこそ、自由な人です。 ネガティブ・フリーダムを願い、手に入れたのなら、ポジティブ・
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp
人気レジャー施設が「現地払いのWeb予約」をやめただけで、売り上げ2.5倍以上に──なぜ？
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
風俗客とキャスト「性接触の全国ネットワーク」を可視化 口コミ9万件分析で見えた「世界の狭さ」 - 弁護士ドットコムニュース
データサイエンティスト生活でお世話になった本｜武田邦敬｜Kunihiro TAKEDA
Netflixを支える推薦システムの裏側｜masa_kazama
新型コロナ・季節性インフルエンザ・RSウイルス リアルタイム流行・疫学情報
エンジニアのスキルマップ・テックリードへの途 - 電通総研 テックブログ
大きなGitリポジトリをクローンするときの工夫を図解します - DeNA Testing Blog
「つながらない」の声が浮き彫りにしたドコモの現状--他社から数年レベルの遅れ鮮明
今すぐ無料でPythonやデータサイエンスを学べる学習コンテンツ7選 | Ledge.ai
CCC、Tポイントデータをオープン化 - 7000万人の会員データが利用可能に
データ収集の基本と「JapanTaxi」アプリにおける実践例
竹中平蔵氏、中国社会でひそかに「大人気」になっていた（梶谷 懐） @gendai_biz
BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔
“ワクチンで不妊”のデマ なぜ拡散し続けているのか | NHKニュース
Apache Iceberg とは何か - 流沙河鎮
「ETC2.0」がサーバに送信している速度や位置情報、民間活用の動き始まる トラック運行情報や保険にも
デジタルを問う 欧州からの報告：民主主義を破滅させる巨大IT企業による「監視資本主義」 | 毎日新聞
勃起ペニスの長さが30年間で24%も増加していると判明！ - ナゾロジー
Delta Lake とは何か - connecting the dots
Big Data is Dead - MotherDuck Blog
RDBMSの苦手なことを 如何に乗り越えていくか / challenge-to-rdbms
コロナ禍「結婚危機」深刻 戦後最悪レベル…昨年、１０月まで１３％減（1/2ページ）
「生成AIで競馬予想」って勝てるの？ AI予想歴20年のベテランに聞く最新の勝ち方と、宝塚記念の結果
「アコム」に迫る勢いのLINEポケットマネー “10代とやり取り多い40代”は延滞リスクが低い？
www.imdb.com
www.mk.co.kr
bangkok.sts136.com
wagamiya.com
www.imdb.com
www.cityia-dental.jp