ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね
マイクロソフト、GPT-4に任意のドキュメントなどを読み込ませて回答してもらえる「Azure OpenAI Service On Your Data」が正式サービスに
マイクロソフトは、GPT-35-TurboもしくはGPT-4に任意のデータソースを指定することでそのデータの内容を読み込み、質問に対して内容を基に回答できるようになる新機能「Azure OpenAI On Your Data」が正式サービスとなったことを発表しました。 例えば、社内規約や社内マニュアルなどを読み込ませると、「PCの修理を申し込むための社内手続きは？」といった、汎用の知識だけしか持たない従来のGPTでは答えられない質問にも回答できるようになります。 任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、Azure OpenAI On Your DataでカスタマイズしたAIを、チャットボットとして公開する機能も備わっています。 カスタマイズしたチャットAIのサービスを、社内や社外に簡単に公開できるようになります。 Azure OpenAI S
ランキング参加中プログラミング はじめに この記事では、Immutable Data Modelと呼ばれる設計手法をもとに、リレーショナル・データベースにおける、テーブル設計の話を書いています。また、今回の実践で利用する、別の考え方の背景を理解するために、Out of the tar pitという小論文の内容にも言及します。 「状態とは何か？」というややこしい話がたくさん出てきますし、データベースのテーブル設計についての話であることから、たくさんのSQLが出てきます。なので、データモデリングとか状態管理とか、特にSQLとかに興味がない人には面白くないと思います。 そのあたりに興味ある方は、読んでみて欲しいです。 Immutable Data Modelを、実際のアプリケーションで使うデータベースに採用するにあたり、どういう考え方で、どのようにテーブルを構成したか、自分なりの経験を書いていま
角田裕毅に猶予付き含む罰金690万円、”意図”せず障害者差別的用語を使用…弁解の余地なしと謝罪 | Formula1-Data / F1情報・ニュース速報解説
「侮辱的な言葉」を使ったとしてF1オーストリアGPのスチュワードは角田裕毅（RBフォーミュラ1）に対し、うち半分を執行猶予付きとする4万ユーロ（約690万円）の罰金を科す決定を下した。 スチュワードによると聴聞会の中で角田裕毅は真摯に謝罪の意を示し、英語が母国語でないため、使用した言葉の意味を誤って理解しており、事後にその意味を初めて知ったと釈明。知った時は「恐怖に襲われた」と説明したが、同時にそれは自己の行為を弁解する理由にはならないと認めた。 2024年6月29日(土)に行われた予選Q1でピットレーンに並んでいた際に角田裕毅は、目の前に周冠宇（ザウバー）が割り込んできた際に無線で「不適切な言葉」を口にした。 FIAは具体的な発言内容を明らかにしていないが、レースエンジニアのマッティア・スピーニに対して「These guys are fucking retarded（こいつらマジで頭おか
Khawaja Shams Tony Valderrama Erika Tharp TL;DR 2024年3月20日Redis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。この変更によりRedis社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 2009年1人の情熱的なエンジニアAntirezが作り出したRedisですが、2013年のGarantia Data社の介入により様々なドラマが勃発し2020年にAntirezはIPそしてトレードマークを同社に譲渡します。その後、Redisのコアコミュニティメンバーを中心に
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。
マイクロソフト、Project Natick水中データセンターの終了を明らかに Data Center Dynamics 2024.06.1951,318 views マイクロソフトはDCDに対し、Project Natick水中データセンターの取り組みを終了したことを明らかにしました。 この海底プロジェクトは数年間沈黙を守っていましたが、メディアや 他社からは継続的な取組みであるとして言及され続けていました。 「私は世界中のどこにも海底データセンターを建設していない」と、同社のクラウドオペレーション＋イノベーション（CO＋I）部門の責任者であるNoelle Walsh氏はDCDに対しコメントしました。 「私のチームはそれに取り組み、成功を収めた。海面下でのオペレーションや振動、サーバーへの影響について多くを学んだ。そこで、これらの学びを他のケースにも応用していくつもりだ」 同社は2013
Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
GitHub - mckinsey/vizro: Vizro is a toolkit for creating modular data visualization applications.
Rapidly self-serve the assembly of customized dashboards in minutes - without the need for advanced coding or design experience - to create flexible and scalable, Python enabled data visualization applications Use a few lines of simple configuration to create complex dashboards, which are automatically assembled utilizing libraries such as Plotly and Dash, with inbuilt coding and design best pract
日本のデジタル社会実現の司令塔として、デジタル庁は政府内において、データと根拠に基づいた政策判断・効果の可視化の推進を先導する役割を担っていきます。その一環として、政策に関わるデータを「政策データダッシュボード」として公開しています。本プロジェクトを主管しているファクト＆データユニット長の樫田とデザイナーの志水が政策に関わるデータを公開する意図やダッシュボードの開発プロセスを紹介します。 政策データダッシュボード： https://www.digital.go.jp/resources/govdashboard
GitHub - japan-opendata/awesome-japan-opendata: Awesome Japan Open Data - 日本のオープンデータ情報一覧・まとめ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、プロンプトエンジニアリングをテーマに、1カ月ほど前に発表されたレビュー論文と関連論文を紹介します。 目次 今回のテーマ なぜプロンプトエンジニアリングが必要か？ プロンプトエンジニアリング：基礎編 抑えておきたい考え方 明確に、正確に ハルシネーションスノーボール (Hallucination snowball) 1.1 ユーザーの要求を明確化するタイプ 1.2 LLMの知識を引き出すタイプ 2.1 直列型：推論ミスを減らすタイプ 2.2 並列型：出力の堅牢さを高めるタ
ChatGPT (Advanced Data Analysis)でBNF式からパーサーを生成する - Taste of Tech Topics
こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか？ BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF（バッカス・ナウア記法）とは、プログラムの構文規則（文脈自由文法）を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思うので、例を示します。 『プログラム意味論』（横内寛文 著）の冒頭に登場する、非常に単純なプログラムを許容する言語の定義です。 <変数> ::= A | B | C | ... | Z <定数> ::
data-testidはいつ使うべきか？そもそも使うべきなのか？ | フューチャー技術ブログ
Playwrightあるいはそのロケーターの元ネタとなっているTesting Libraryでは、DOMを指定する方法として data-testid 属性を扱ったクエリーを提供しています。どちらでも getByTestId(ID文字列) メソッドを使い、この属性値を使った要素の取得が行えます。しかし、ドキュメントを見ると、PlaywrightもTesting Libraryも、「他の手法が使えないときの最終手段」としています。 In the spirit of the guiding principles, it is recommended to use this only after the other queries don’t work for your use case. Using data-testid attributes do not resemble how your
GitHub - nucleuscloud/neosync: Open source data anonymization and synthetic data orchestration for developers. Create high fidelity synthetic data and sync it across your environments.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Java21とKotlinの代数的データ型 & パターンマッチの紹介と本当に嬉しい使い方 / Algebraic Data Type in Java and Kotlin: Happy Use of Pattern Match
JJUG CCC 2023 Fall で発表された内容です。 Java21ではパターンマッチがswitch式で正式に使えるようになります。 https://openjdk.org/jeps/441 これらの変更により型の検査がより強化されて、より実行時例外がすくなくコンパイル時に多くの実装ミスが検出できるようになります。 本セッションではJava21のパターンマッチに関する新機能にふれつつ、先んじて導入しているKotlinとの比較や、実際のプロジェクトでどのように活用するべきかについて話します。 型を使って実際に実装ミスをコンパイルフェーズで発見していくという内容は過去にKotlin Fest 2022で筆者が発表しており、今回はよりJava21の新機能とパターンマッチに着目して解説していく予定です。 https://jjug.doorkeeper.jp/events/164154
【連載】データ分析業界大激変。data.aiを飲み込むSensor Towerが起こす日本企業のマーケティング力革命……中山淳雄の「推しもオタクもグローバル」第93回 | gamebiz
【連載】データ分析業界大激変。data.aiを飲み込むSensor Towerが起こす日本企業のマーケティング力革命……中山淳雄の「推しもオタクもグローバル」第93回 今一番売れているアプリは毎月いくら稼ぐのか。日本・北米・アジア各国でどのくらいダウンロードされるのか。そうした「市場データを見る」ツールとして過去10年ずっとドミナントであった(上位100社の9割が使っている)data.ai社(旧App Annie)が2024年3月にその2番手Sensor Tower社に買収された(関連記事)。デジタルマーケターであれば皆が使っているようなサービスであっただけに、界隈では衝撃とともに受け止められた「小が大を飲み込む」話でもあった。今回の買収を通じて、日本企業のデジタルマーケティングは何か変わりうるのか。ゲーム業界に長く身をおき、Sensor Towerの日本代表を務める谷内氏にインタビューを
If you would like to learn more about the IAEA’s work, sign up for our weekly updates containing our most important news, multimedia and more.
ChatGPTのAdvanced Data Analysisで、デフォルトで存在しないライブラリを利用する方法 - Taste of Tech Topics
月がきれいな季節になってきましたが、花より団子なので月見団子や月見バーガーに目移りしてしまう菅野です。 前回ブログでは、diagramsを用いてAWSの構成図を描いてもらうPythonスクリプトを作成してもらいました。 acro-engineer.hatenablog.com そこでも記載した通り、Advanced Data Analysis（旧Code Interpreter）環境ではdiagramsのライブラリがインストールされていないため、Advanced Data Analysis上で構成図の生成はできませんでした。 しかし、ライブラリを自前でアップロードすることで、そのライブラリをAdvanced Data Analysisでも利用可能にできるようになるようです。 そこで今回は、やり方を変えて、Advanced Data Analysisを利用してAWS構成図の作成まで実行しても
Power Automateのデータ操作(Data Operation)について (Ver.モダンデザイナー）
Power Automateのデータ操作(Data Operation)について (Ver.モダンデザイナー）
現地参加してきたGoogle Cloud Next '23で発表されたBigQuery data clean roomsを紹介します！ - TVer Tech Blog
こんにちは。データエンジニア 遠藤（TVerにJOINしてまだ3ヶ月）とアドテクエンジニア 鶴貝です。 2023年8月29日～31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。（4年ぶりのオフライン開催） 弊社では、民放公式テレビ配信サービスTVer・TVer広告のデータ分析で用いるビッグデータ基盤にGCPを採用しています。そこで、先述したエンジニア2名がGoogle Cloud Next '23に現地参加させて頂きました。 Next '23ではGCPの新機能リリースや世界中での活用事例が多く紹介されました。本記事では、Next '23で発表された話題のうち、BigQuery data clean roomsを重点的に報告します。 さらに、サンフランシスコまではるばる出向きましたので、撮って出し写真と共にGoo
The first step in building my text editor is to implement the core API. If you’re wondering why I want to do this, the original article is here. I researched several data types, and I tried to be language agnostic. I wanted my decision to not be influenced by any particular language, and first see if there was a “best way” out there, solely based on operations. Of course, a “best way” rarely exist
Broadcom、カリフォルニアの VMware従業員1,200人以上を解雇 Data Center Dynamics 2023.12.0122,049 views Broadcom（ブロードコム） は、VMware のカリフォルニア州パロアルト本社の従業員 1,267 名を解雇することを明らかにしました。 これは、レイオフ計画が発表されてからわずか数日後、そして同社が VMware の買収完了後 1 週間後のことです。 ブロードコムの人事サービス担当副社長Jill Turner氏からの通知によると、カリフォルニアの従業員は2024年1月26日に正式に解雇されるとのことです。 これにより、公表されているレイオフ人員合計は約1,995人となり、さらにジョージア州とコロラド州でも401人が解雇される可能性があると報じられています。また、ワシントン州では2024年1月に158人のブロードコム従業
Blueskyのデータを独自サーバーでホストする仕組み「PDS(Personal Data Server)」を使ってみた
Blueskyが独自にデータをホストする仕組み「PDS(Personal Data Server)」をリリースしたとのことなので、早速サーバーにPDSをインストールして使ってみました。 Bluesky: An Open Social Web - Bluesky https://bsky.social/about/blog/02-22-2024-open-social-web bluesky-social/pds: Bluesky PDS (Personal Data Server) container image, compose file, and documentation https://github.com/bluesky-social/pds 一般的なSNSでは投稿、いいね、フォローなどのデータはSNSの運営会社によって保存されており、その会社のサービスの使用をやめたい場合はSN
Welcome to our repository of data models. Check out the older data models created by Barry Williams over the years, we are trying to continue what he started many years ago. Welcome to our database design community! Discover how to build MS Access databases, SQL Server design, and explore data models from many different industries. You will learn how to organize and structure data, optimize your b
Amazon MSKを用いてMySQLに対してChange Data Captureを実現する - ZOZO TECH BLOG
はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するためにAmazon Managed Streaming for Apache Kafka（以降、Amazon MSK）を採用しました。今回は、サービス間のデータ連携にAmazon MSKを採用した理由やAmazon MSKでの実装例と考慮点について紹介します。MySQLなどのリレーショナルデータベースに対してAmazon
GitHub - adaptive-scale/dbchaos: Stress-test your database with pre-defined queries. Generate synthetic data and events statically or with GPT.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas
■イベント #bq_sushi #19 https://bq-sushi.connpass.com/event/317348/ ■発表者 技術本部 研究開発部 Architectグループ 中根 洋平 ■研究開発職 採用情報 https://media.sansan-engineering.com/randd ■Sansan Tech Blog https://buildersbox.corp-sansan.com/
Google I/O 2024で発表されたFirebase Data ConnectをVSCodeのエミュレーターで試してみた
執筆時点でIDXを使った記事は見かけるものの、VSCodeを使ってローカルで試している日本語記事は自分はまだ見かけていないので、おそらく日本語では初の記事なんじゃないかと思います。 少なくともZennでは自分が最初の1人でした。 Firebase Data Connectとは Google I/O 2024で発表されたFirebaseの新機能です。 これを使うことで、GraphQLを介して、Cloud SQL For PostgreSQLへアクセスしデータのCRUDが可能になるようです。 Getting Start 記事執筆時点では限定公開プレビュー版なので、利用するためには限定公開プレビューへの申し込みが必要です。 申し込みはFirebaseプロジェクトの管理画面上から可能です。 ただし申し込み後すぐに使えるわけではなく、Googleさんの方で手続きをして頂いたのちに利用可能となります。
Publication Date: 2023/08/08 1:00 PM PDT AWS is aware of CVE-2022-40982, also known as “Gather Data Sampling” (GDS) or “Downfall”. AWS customers’ data and instances are not affected by this issue, and no customer action is required. AWS has designed and implemented its infrastructure with protections against this class of issues. Amazon EC2 instances, including Lambda, Fargate, and other AWS-manag
GitHub - dlt-hub/dlt: data load tool (dlt) is an open source Python library that makes data loading easy 🛠️
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2023年11月16日のCVIM研究会でのチュートリアル講演資料です。
社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。
There are lots of ways to accidentally spend too much money on AWS, and one of the easiest ways is by carelessly transferring data. As of writing, AWS charges the following rates for data transfer: Data transfer from AWS to the public Internet ranges from $0.09/GB in us-east-1 (N. Virginia) to $0.154/GB in af-south-1 (Cape Town). Therefore a single terabyte of data transfer will run you a cool $90
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実践Immutable Data Model - 紙箱
Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは
マイクロソフト、Project Natick水中データセンターの終了を明らかに | Data Center Café
Data, Design and Government
プロンプトエンジニアリングの基本と応用 - Platinum Data Blog by BrainPad
Data from Fukushima Daiichi ALPS Treated Water Discharge | IAEA
[DATAで見るケータイ業界] 「淘汰」から「撤退期」を迎えている国内端末ベンダーの動向
![[DATAで見るケータイ業界] 「淘汰」から「撤退期」を迎えている国内端末ベンダーの動向](https://cdn-ak-scissors.b.st-hatena.com/image/square/ca2f1c6469fef54119a3d59f3eb2feeab4bb858f/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1529%2F995%2F20230908.png)
Windows 10パッチ「KB5031356」で問題発生中、「ERROR_INVALID_DATA」で適用に失敗／米国時間10月10日にリリースされた「Windows Update」
Text Editor: Data Structures
Broadcom、カリフォルニアの VMware従業員1,200人以上を解雇 | Data Center Café
[DATAで見るケータイ業界] NTTドコモのインフラ調達の変化とネットワーク構築の課題
![[DATAで見るケータイ業界] NTTドコモのインフラ調達の変化とネットワーク構築の課題](https://cdn-ak-scissors.b.st-hatena.com/image/square/589ff419e0122157767b9a45313560177dc49833/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1574%2F555%2F22.png)
Databases, SQL Server, and Data Models Examples
[DATAで見るケータイ業界] 堅調に契約数を伸ばす楽天モバイル、次の焦点はARPUに
![[DATAで見るケータイ業界] 堅調に契約数を伸ばす楽天モバイル、次の焦点はARPUに](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ea7b9684b409b268ac7022954e7f0657c6b91f7/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1556%2F550%2F1.png)
CVE-2022-40982 - Gather Data Sampling - Downfall
Data-Centric AI - 関連する学術分野と実践例 -
Slashing Data Transfer Costs in AWS by 99%
[DATAで見るケータイ業界] 基地局数からみた5Gの現状と今後の展望
![[DATAで見るケータイ業界] 基地局数からみた5Gの現状と今後の展望](https://cdn-ak-scissors.b.st-hatena.com/image/square/862368003fa39a57afbeb311bab005cd587fde0c/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1523%2F106%2F3.png)