ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね
マイクロソフト、GPT-4に任意のドキュメントなどを読み込ませて回答してもらえる「Azure OpenAI Service On Your Data」が正式サービスに
マイクロソフトは、GPT-35-TurboもしくはGPT-4に任意のデータソースを指定することでそのデータの内容を読み込み、質問に対して内容を基に回答できるようになる新機能「Azure OpenAI On Your Data」が正式サービスとなったことを発表しました。 例えば、社内規約や社内マニュアルなどを読み込ませると、「PCの修理を申し込むための社内手続きは？」といった、汎用の知識だけしか持たない従来のGPTでは答えられない質問にも回答できるようになります。 任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、Azure OpenAI On Your DataでカスタマイズしたAIを、チャットボットとして公開する機能も備わっています。 カスタマイズしたチャットAIのサービスを、社内や社外に簡単に公開できるようになります。 Azure OpenAI S
ランキング参加中プログラミング はじめに この記事では、Immutable Data Modelと呼ばれる設計手法をもとに、リレーショナル・データベースにおける、テーブル設計の話を書いています。また、今回の実践で利用する、別の考え方の背景を理解するために、Out of the tar pitという小論文の内容にも言及します。 「状態とは何か？」というややこしい話がたくさん出てきますし、データベースのテーブル設計についての話であることから、たくさんのSQLが出てきます。なので、データモデリングとか状態管理とか、特にSQLとかに興味がない人には面白くないと思います。 そのあたりに興味ある方は、読んでみて欲しいです。 Immutable Data Modelを、実際のアプリケーションで使うデータベースに採用するにあたり、どういう考え方で、どのようにテーブルを構成したか、自分なりの経験を書いていま
角田裕毅に猶予付き含む罰金690万円、”意図”せず障害者差別的用語を使用…弁解の余地なしと謝罪 | Formula1-Data / F1情報・ニュース速報解説
「侮辱的な言葉」を使ったとしてF1オーストリアGPのスチュワードは角田裕毅（RBフォーミュラ1）に対し、うち半分を執行猶予付きとする4万ユーロ（約690万円）の罰金を科す決定を下した。 スチュワードによると聴聞会の中で角田裕毅は真摯に謝罪の意を示し、英語が母国語でないため、使用した言葉の意味を誤って理解しており、事後にその意味を初めて知ったと釈明。知った時は「恐怖に襲われた」と説明したが、同時にそれは自己の行為を弁解する理由にはならないと認めた。 2024年6月29日(土)に行われた予選Q1でピットレーンに並んでいた際に角田裕毅は、目の前に周冠宇（ザウバー）が割り込んできた際に無線で「不適切な言葉」を口にした。 FIAは具体的な発言内容を明らかにしていないが、レースエンジニアのマッティア・スピーニに対して「These guys are fucking retarded（こいつらマジで頭おか
TL;DR 2024年3月20日Redis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。この変更によりRedis社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 2009年1人の情熱的なエンジニアAntirezが作り出したRedisですが、2013年のGarantia Data社の介入により様々なドラマが勃発し2020年にAntirezはIPそしてトレードマークを同社に譲渡します。その後、Redisのコアコミュニティメンバーを中心に開発・更新を続け、またAWS ElastiCacheを筆頭にRedisのアダプション
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツ…
マイクロソフト、Project Natick水中データセンターの終了を明らかに Data Center Dynamics 2024.06.1952,452 views マイクロソフトはDCDに対し、Project Natick水中データセンターの取り組みを終了したことを明らかにしました。 この海底プロジェクトは数年間沈黙を守っていましたが、メディアや 他社からは継続的な取組みであるとして言及され続けていました。 「私は世界中のどこにも海底データセンターを建設していない」と、同社のクラウドオペレーション＋イノベーション（CO＋I）部門の責任者であるNoelle Walsh氏はDCDに対しコメントしました。 「私のチームはそれに取り組み、成功を収めた。海面下でのオペレーションや振動、サーバーへの影響について多くを学んだ。そこで、これらの学びを他のケースにも応用していくつもりだ」 同社は2013
日本のデジタル社会実現の司令塔として、デジタル庁は政府内において、データと根拠に基づいた政策判断・効果の可視化の推進を先導する役割を担っていきます。その一環として、政策に関わるデータを「政策データダッシュボード」として公開しています。本プロジェクトを主管しているファクト＆データユニット長の樫田とデザイナーの志水が政策に関わるデータを公開する意図やダッシュボードの開発プロセスを紹介します。 政策データダッシュボード： https://www.digital.go.jp/resources/govdashboard
GitHub - japan-opendata/awesome-japan-opendata: Awesome Japan Open Data - 日本のオープンデータ情報一覧・まとめ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PHPカンファレンス福岡2024の登壇資料です。
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
台湾が電力不足を理由に、北部の大規模データセンター認可停止へ Data Center Dynamics 2024.08.206,787 views 最後のデータセンター認可は昨年9月台湾は電力供給不足を理由に、桃園以北で5MWを超えるデータセンターの認可を停止しました。 DataCenter Knowledgeが最初に報じたところによると、台湾経済省はFacebookの投稿で、北部地域にボトルネックがあると述べました。この地域では、需要の増加に対応するため、送電網のインフラと新しい電源の増強が必要だとのことです。 北部で大規模なデータセンターが認可されたのは、昨年9月が最後でした。 国営電力会社Taipowerは、データセンターは十分な再生可能エネルギーがある島の中部と南部に優先的に建設されるべきだと述べています。 同国は先月、2025年までの脱原発を目指し、残る2基の原子炉のうち1基を停
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、プロンプトエンジニアリングをテーマに、1カ月ほど前に発表されたレビュー論文と関連論文を紹介します。 目次 今回のテーマ なぜプロンプトエンジニアリングが必要か？ プロンプトエンジニアリング：基礎編 抑えておきたい考え方 明確に、正確に ハルシネーションスノーボール (Hallucination snowball) 1.1 ユーザーの要求を明確化するタイプ 1.2 LLMの知識を引き出すタイプ 2.1 直列型：推論ミスを減らすタイプ 2.2 並列型：出力の堅牢さを高めるタ
data-testidはいつ使うべきか？そもそも使うべきなのか？ | フューチャー技術ブログ
Playwrightあるいはそのロケーターの元ネタとなっているTesting Libraryでは、DOMを指定する方法として data-testid 属性を扱ったクエリーを提供しています。どちらでも getByTestId(ID文字列) メソッドを使い、この属性値を使った要素の取得が行えます。しかし、ドキュメントを見ると、PlaywrightもTesting Libraryも、「他の手法が使えないときの最終手段」としています。 In the spirit of the guiding principles, it is recommended to use this only after the other queries don’t work for your use case. Using data-testid attributes do not resemble how your
GitHub - nucleuscloud/neosync: Open source data anonymization and synthetic data orchestration for developers. Create high fidelity synthetic data and sync it across your environments.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Java21とKotlinの代数的データ型 & パターンマッチの紹介と本当に嬉しい使い方 / Algebraic Data Type in Java and Kotlin: Happy Use of Pattern Match
JJUG CCC 2023 Fall で発表された内容です。 Java21ではパターンマッチがswitch式で正式に使えるようになります。 https://openjdk.org/jeps/441 これらの変更により型の検査がより強化されて、より実行時例外がすくなくコンパイル時に多くの実装ミスが検出できるようになります。 本セッションではJava21のパターンマッチに関する新機能にふれつつ、先んじて導入しているKotlinとの比較や、実際のプロジェクトでどのように活用するべきかについて話します。 型を使って実際に実装ミスをコンパイルフェーズで発見していくという内容は過去にKotlin Fest 2022で筆者が発表しており、今回はよりJava21の新機能とパターンマッチに着目して解説していく予定です。 https://jjug.doorkeeper.jp/events/164154
【連載】データ分析業界大激変。data.aiを飲み込むSensor Towerが起こす日本企業のマーケティング力革命……中山淳雄の「推しもオタクもグローバル」第93回 | gamebiz
【連載】データ分析業界大激変。data.aiを飲み込むSensor Towerが起こす日本企業のマーケティング力革命……中山淳雄の「推しもオタクもグローバル」第93回 今一番売れているアプリは毎月いくら稼ぐのか。日本・北米・アジア各国でどのくらいダウンロードされるのか。そうした「市場データを見る」ツールとして過去10年ずっとドミナントであった(上位100社の9割が使っている)data.ai社(旧App Annie)が2024年3月にその2番手Sensor Tower社に買収された(関連記事)。デジタルマーケターであれば皆が使っているようなサービスであっただけに、界隈では衝撃とともに受け止められた「小が大を飲み込む」話でもあった。今回の買収を通じて、日本企業のデジタルマーケティングは何か変わりうるのか。ゲーム業界に長く身をおき、Sensor Towerの日本代表を務める谷内氏にインタビューを
BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 / The Ultimate Data Platform Migration from BigQuery to Snowflake: Data Ingestion Edition
『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
Data Contractに向けたProtocol Buffersの調査 - yasuhisa's blog
背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Protocol Buffersで抑えるパターン ストレージのスキーマをProtocol Buffersで抑えるパターン 発展的な話題 & 読書会の案内 参考文献 背景: データ品質を担保するにはデータソースの品質が重要 私はデータエンジニアをしており、DWHやデータマートのデータ品質について考えることが多い。BigQueryなどにデータが取り込まれた後のレイヤリングやテスト、改善に向けたデータ品質の可視化について、以前発表した。 データが取り込まれた後の整理は進んでいるものの、やは
はじめに A/Bテストのサンプルサイズ設計を行う際に必要となる「効果量」についてのお話です。両側検定を行うときに、ちょっとだけ気にしておいた方がいいかもしれないことを発見したので、備忘録として書いておきます。解釈に誤りを含んでいそうなので、やさしい鉞をお待ちしています。 具体例 T群がC群を有意に上回る例 まずは例として、母比率の差の検定について考えます。まずは次の設定のもとでサンプルサイズ設計を行う事を考えてみましょう。C群とT群のイベント発生率をそれぞれ\(p_1, p_2\)とおいてテスト設計を行います。検出力（\(\beta\)）や有意水準（\(\alpha\)）などのパラメータは以下の通りとします。 \[ \begin{aligned} p_1 &= 0.1\\ p_2 &= 0.2\\ 1 - \beta &= 0.8\\ \alpha &= 0.05 \end{aligned
Power Automateのデータ操作(Data Operation)について (Ver.モダンデザイナー）
Power Automateのデータ操作(Data Operation)について (Ver.モダンデザイナー）
Industry Data Models
Click here for our new Courses on Database Design and Data Modelling. This page shows a list of our Industry-specific Data Models in 50 categories that cover Subject Areas and are used to create Enterprise Data Models. Here is an alphabetical list all of our 1,400+ Data Models. Click here to see where our Models are used. We have written a Short downloadable Tutorial on creating a Data Warehouse u
GitHub - opendatalab/MinerU: A one-stop, open-source, high-quality data extraction tool, supports PDF/webpage/e-book extraction.一站式开源高质量数据提取工具，支持PDF/网页/多格式电子书提取。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
The first step in building my text editor is to implement the core API. If you’re wondering why I want to do this, the original article is here. I researched several data types, and I tried to be language agnostic. I wanted my decision to not be influenced by any particular language, and first see if there was a “best way” out there, solely based on operations. Of course, a “best way” rarely exist
Using reasoning for data validation | OpenAI Cookbook
In this guide, we’ll explore how to use the o1 model, specifically o1-preview, to perform data validation through reasoning. We’ll walk through a practical example involving a synthetic medical dataset and demonstrate how to assess the model’s accuracy in identifying issues within the data. Overview Data validation is a critical step in ensuring the quality and reliability of datasets, especially
Broadcom、カリフォルニアの VMware従業員1,200人以上を解雇 Data Center Dynamics 2023.12.0123,745 views Broadcom（ブロードコム） は、VMware のカリフォルニア州パロアルト本社の従業員 1,267 名を解雇することを明らかにしました。 これは、レイオフ計画が発表されてからわずか数日後、そして同社が VMware の買収完了後 1 週間後のことです。 ブロードコムの人事サービス担当副社長Jill Turner氏からの通知によると、カリフォルニアの従業員は2024年1月26日に正式に解雇されるとのことです。 これにより、公表されているレイオフ人員合計は約1,995人となり、さらにジョージア州とコロラド州でも401人が解雇される可能性があると報じられています。また、ワシントン州では2024年1月に158人のブロードコム従業
Blueskyのデータを独自サーバーでホストする仕組み「PDS(Personal Data Server)」を使ってみた
Blueskyが独自にデータをホストする仕組み「PDS(Personal Data Server)」をリリースしたとのことなので、早速サーバーにPDSをインストールして使ってみました。 Bluesky: An Open Social Web - Bluesky https://bsky.social/about/blog/02-22-2024-open-social-web bluesky-social/pds: Bluesky PDS (Personal Data Server) container image, compose file, and documentation https://github.com/bluesky-social/pds 一般的なSNSでは投稿、いいね、フォローなどのデータはSNSの運営会社によって保存されており、その会社のサービスの使用をやめたい場合はSN
Amazon Aurora MySQL-Compatible Edition now supports a redesigned RDS Data API for Aurora Serverless v2 and Aurora provisioned database instances. You can now access these Aurora clusters via a secure HTTP endpoint and run SQL statements without the use of database drivers and without managing connections. This follows the launch of Data API for Amazon Aurora PostgreSQL-Compatible Edition for Auror
GitHub - adaptive-scale/dbchaos: Stress-test your database with pre-defined queries. Generate synthetic data and events statically or with GPT.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas
■イベント #bq_sushi #19 https://bq-sushi.connpass.com/event/317348/ ■発表者 技術本部 研究開発部 Architectグループ 中根 洋平 ■研究開発職 採用情報 https://media.sansan-engineering.com/randd ■Sansan Tech Blog https://buildersbox.corp-sansan.com/
Google I/O 2024で発表されたFirebase Data ConnectをVSCodeのエミュレーターで試してみた
執筆時点でIDXを使った記事は見かけるものの、VSCodeを使ってローカルで試している日本語記事は自分はまだ見かけていないので、おそらく日本語では初の記事なんじゃないかと思います。 少なくともZennでは自分が最初の1人でした。 Firebase Data Connectとは Google I/O 2024で発表されたFirebaseの新機能です。 これを使うことで、GraphQLを介して、Cloud SQL For PostgreSQLへアクセスしデータのCRUDが可能になるようです。 Getting Start 記事執筆時点では限定公開プレビュー版なので、利用するためには限定公開プレビューへの申し込みが必要です。 申し込みはFirebaseプロジェクトの管理画面上から可能です。 ただし申し込み後すぐに使えるわけではなく、Googleさんの方で手続きをして頂いたのちに利用可能となります。
オラクル、本物のようなテストデータ群を生成AIが自動生成してくれる「Select AI for Synthetic Data Generation」発表。Oracle CloudWorld 2024
オラクル、本物のようなテストデータ群を生成AIが自動生成してくれる「Select AI for Synthetic Data Generation」発表。Oracle CloudWorld 2024 米オラクルは、生成AIがテスト用に実データのような特徴を備えたデータ群を自動的に生成してくれるOracle Autonomous Databaseの新機能「Select AI for Synthetic Data Generation」を発表しました。 ソフトウェアの開発において、ユーザーインターフェイスの設計時やテスト時、コードのテスト時、性能テストや負荷テストなど、さまざまな場面で適切なテストデータを用意する必要があります。 このとき、理想的には本番環境で使われる実データ全体もしくは一部をテストデータとして利用できることが望ましいといえますが、現実的には開発時にはそのようなデータは入手困難
GitHub - dlt-hub/dlt: data load tool (dlt) is an open source Python library that makes data loading easy 🛠️
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2023年11月16日のCVIM研究会でのチュートリアル講演資料です。
社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。
12.6. B-Trees — CS3 Data Structures & Algorithms
12.6.1. B-Trees¶ This module presents the B-tree. B-trees are usually attributed to R. Bayer and E. McCreight who described the B-tree in a 1972 paper. By 1979, B-trees had replaced virtually all large-file access methods other than hashing. B-trees, or some variant of B-trees, are the standard file organization for applications requiring insertion, deletion, and key range searches. They are used
There are lots of ways to accidentally spend too much money on AWS, and one of the easiest ways is by carelessly transferring data. As of writing, AWS charges the following rates for data transfer: Data transfer from AWS to the public Internet ranges from $0.09/GB in us-east-1 (N. Virginia) to $0.154/GB in af-south-1 (Cape Town). Therefore a single terabyte of data transfer will run you a cool $90
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実践Immutable Data Model - 紙箱
Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは
マイクロソフト、Project Natick水中データセンターの終了を明らかに | Data Center Café
Data, Design and Government
PHPでデータベースを作ってみた/create-data-with-php
台湾が電力不足を理由に、北部の大規模データセンター認可停止へ | Data Center Café
プロンプトエンジニアリングの基本と応用 - Platinum Data Blog by BrainPad
A/Bテストにおける「効果量」の非対称性 – nonentity data scientist
Windows 10パッチ「KB5031356」で問題発生中、「ERROR_INVALID_DATA」で適用に失敗／米国時間10月10日にリリースされた「Windows Update」
Text Editor: Data Structures
Broadcom、カリフォルニアの VMware従業員1,200人以上を解雇 | Data Center Café
Amazon Aurora MySQL now supports RDS Data API - AWS
[DATAで見るケータイ業界] NTTドコモのインフラ調達の変化とネットワーク構築の課題
![[DATAで見るケータイ業界] NTTドコモのインフラ調達の変化とネットワーク構築の課題](https://cdn-ak-scissors.b.st-hatena.com/image/square/589ff419e0122157767b9a45313560177dc49833/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1574%2F555%2F22.png)
[DATAで見るケータイ業界] 堅調に契約数を伸ばす楽天モバイル、次の焦点はARPUに
![[DATAで見るケータイ業界] 堅調に契約数を伸ばす楽天モバイル、次の焦点はARPUに](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ea7b9684b409b268ac7022954e7f0657c6b91f7/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1556%2F550%2F1.png)
Data-Centric AI - 関連する学術分野と実践例 -
Slashing Data Transfer Costs in AWS by 99%