Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Last modified: July 13, 2021 Treasure Data officially part of Softbank Vision Fund 2*; Welcome Back Founding Leadership Team We are thrilled to announce that Treasure
Covid-19: Researcher blows the whistle on data integrity issues in Pfizer’s vaccine trial
Revelations of poor practices at a contract research company helping to carry out Pfizer’s pivotal covid-19 vaccine trial raise questions about data integrity and regulatory oversight. Paul D Thacker reports In autumn 2020 Pfizer’s chairman and chief executive, Albert Bourla, released an open letter to the billions of people around the world who were investing their hopes in a safe and effective c
最先端のアルゴリズムがgithubなどから手軽に入手できるようになったことで、ビジネスの現場では、アルゴリズムやモデルの改善より、 アノテーションデータの質や量を改善する方が実用化を目指す上でよりコストメリットのいいアプローチとなりつつあります。 本発表では、従来のモデル改善を中心としたMLOpsの考え方と異なり、データ（アノテーションデータ）改善を中心としたMLOpsの考え方をご紹介します。 Read less
GitHub - deepset-ai/haystack: :mag: AI orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data. With advanced retrie
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - livebook-dev/livebook: Automate code & data workflows with interactive Elixir notebooks
Livebook is a web application for writing interactive and collaborative code notebooks. It features: Code notebooks with Markdown support and Code cells where Elixir code is evaluated on demand. Rich code editor through CodeMirror: with support for autocompletion, inline documentation, code formatting, etc. Interactive results via Kino: display Vega-Lite charts, tables, maps, and more. Automation:
Data validation means ensuring that data has the desired structure and content. With TypeScript, validation becomes relevant when we receive external data such as: Data parsed from JSON files Data received from web services In these cases, we expect the data to fit static types we have, but we can’t be sure. Contrast that with data we create ourselves, where TypeScript continuously checks that eve
Retty データ分析チーム2021年振り返り（Data-Informed/自立自走/分析の民主化） - Retty Tech Blog
この記事はRetty Advent Calendar 2021の22日目の記事です。 adventar.org Retty分析マネジャー平野（@MasaDoN22）です。 今年で4作目の”Retty分析チーム振り返り記事”です。（過去記事：2020年 / 2019年 / 2018年） 今年は、去年今年を通した仕込みや直面する課題に向き合った結果、さまざまな変化がありました。特に大きい変化は次の3つです。 変化①：”Data-Driven”から”Data-Informed”な意思決定に 変化②：”個人の集まり”から”自立自走するチーム”に 変化③：”データの民主化”から”分析の民主化”に この記事では3つのパート（変化）と来年の課題を書きました。少し長いですが、ぜひ最後までご覧いただけると嬉しいです。 変化①：”Data-Driven”から”Data-Informed”な意思決定に ~201
公開日：2016-10-30 最終更新日：2021-08-04 ADO(ActiveX Data Objects)の使い方の要点 ADOはMicrosoftが提供するデータベースアクセスのためのソフトウェア部品です。 OLE DBをActiveXコントロールの形で使えるようにしたプログラミングインターフェースになります。 ここでは、ADOを使用したデータベースへの接続方法を解説します。
Open Source Tools & Data for Music Source Separation — Open-Source Tools & Data for Music Source Separation
Open Source Tools & Data for Music Source Separation¶ By Ethan Manilow, Prem Seetharaman, and Justin Salamon Shared under Creative Commons BY-NC-SA 4.0. Hello and welcome to the website for our tutorial at ISMIR 2020! We’re excited that you’ve decided to join us! In this tutorial, we will guide you through modern, open-source tooling and datasets for running, evaluating, researching, and deploying
This is an overview of client- and server-side data fetching approaches in React 17, their pros and cons, and the way upcoming Suspense for Data Fetching will change them. So how do we fetch? React supports the following fetching approaches: Fetch-on-Render: fetching is triggered by render. Fetch-Then-Render: we start fetching as early as possible and render only when the data is ready. Render-as-
YouTube Data API を使って自分のチャンネルに関するデータを集計してみた | DevelopersIO
はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ 以前、下記の記事で、私の YouTube チャンネルに関するデータの集計結果を記載しました。 その際、YouTube Data API を使って、データの集計を行いました、今回は YouTube Data API を使って、自分の YouTube チャンネルに関するデータを取得・集計する方法について記事にしようと思います。 ソースコードは下記のリポジトリに置いています。 GitHub - iam326/youtube-my-channel 前提 自分の YouTube チャンネルを持っていること YouTube Data API を使用するために必要な認証情報が作成済みであること 認証情報を作成する手順については、下記の記事を参考にしてください。また、作成した認証情報のファイルは client_secrets.json
Google Cloud Professional Data Engineer 認定試験を受験しました - ANDPAD Tech Blog
この記事は ANDPAD Advent Calendar 2022 の 10日目の記事です。 アンドパッドでエンジニアをしている森です。Google Cloud Professional Data Engineer 認定資格をリモート環境で受験し、無事に合格”内定”（詳細は記事を参照）しました！受験までの勉強の過程と、受験当日の様子をまとめたいと思います。 受験の背景 過去に Google と共催したハンズオンワークショップ（テックブログ記事 2022/7/27）のつながりで、Google Cloud Innovators Gym（以降、G.I.G. と呼称）というプログラムに参加する機会をいただきました。G.I.G. は、Google Cloud が提供しているワークショップ形式のプログラムで、認定試験受験に向けたトレーニングのコンテンツが提供されます。入社以来、日々 Google Cl
[レポート] The Modern Data Stack: Past, Present, and Future #futuredataconf | DevelopersIO
奈良県でリモートワーク中の玉井です。 9月8日〜9月9日の2日間、FUTURE DATA CONFERENCE 2020というオンラインイベントが開催されていました。今回、そのイベントの下記のウェビナーを受講したので、レポートします。 イベント全体の概要ですが、名前の通り、「データ分析（とそれに関するテクノロジー）の今後」について、多種多様な業界の方々が語るって感じのイベントのようです。 今回はその中の「The Modern Data Stack: Past, Present, and Future」というセッションについてレポートします。 ウェビナー情報 公式情報 ※本カンファレンスは、既に2021年分が開催済であり、ウェブサイトの内容も2021年版に入れ替わっております。下記サイトより、「HIGHLIGHTS FROM 2020」を見ていただくと、ある程度は2020年のものが参照できる
![[レポート] The Modern Data Stack: Past, Present, and Future #futuredataconf | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb430de839b0b06456078ad39cdefc962bdfc216/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2FFuture_Data_Conference_2020.png)
8 Surprising Ways You Can Import Data Into Microsoft Word
Knowing how to import data into Microsoft Word from any source, including Excel, PDF files, or other Word documents, can save you a lot of time. We'll show you all the tricks. Microsoft Word is the industry-standard program for creating Microsoft Office documents, ranging from research papers to professional reports. But sometimes, you have data in another program that you need to reference; it mi
AWS Certified Data Analytics – Specialty(DAS) を取得できたので振り返ってみた | DevelopersIO
先日AWS Certified Data Analytics – Specialty(DAS)を取得できたので、振り返りとして私自身の試験対策などについてまとめておきます。 前提 私の経験や前提知識について簡単に記載します。 AWSの実務経験 本格的な実務経験はクラスメソッドにジョインしてからなので、1年未満です。 実務では、S3、Redshiftなどをメインに扱っています。 取得済みAWS認定試験 SAA(ソリューションアーキテクト – アソシエイト) SAP(ソリューションアーキテクト – プロフェッショナル) スケジュール 下記のとおりです。対策期間としては、約1.5ヶ月です。 2020/12/14〜 試験対策を開始(データレイクハンズオン・サンプル問題などを実施) 2020/12/21〜 Udemyで動画視聴・ミニテストを実施 2021/01/08〜 年末年始はあまり対策できずに年
GitHub - microsoft/SandDance: Visually explore, understand, and present your data.
Visually explore, understand, and present your data. By using easy-to-understand views, SandDance helps you find insights about your data, which in turn help you tell stories supported by data, build cases based on evidence, test hypotheses, dig deeper into surface explanations, support decisions for purchases, or relate data into a wider, real world context. SandDance uses unit visualizations, wh
Andrew Ng has serious street cred in artificial intelligence. He pioneered the use of graphics processing units (GPUs) to train deep learning models in the late 2000s with his students at Stanford University, cofounded Google Brain in 2011, and then served for three years as chief scientist for Baidu, where he helped build the Chinese tech giant’s AI group. So when he says he has identified the ne
[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO
コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ
![[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b22e45515e901074206a3d756be13e4eb277a72/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fkinesis-data-streams.png)
FineWeb: decanting the web for the finest text data at scale - a Hugging Face Space by HuggingFaceFW
Discover amazing ML apps made by the community
New ways to quickly format and organize data with tables in Google Sheets
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
[アップデート] RDS Data API が PrivateLink に対応しました | DevelopersIO
先日のアップデートで RDS Data API の PrivateLink が利用できるようになりました。 Amazon RDS Data API now supports AWS PrivateLink 何が嬉しいのか 従来、 RDS Data API を利用する場合はパブリックエンドポイントへアクセスして利用するため、インターネットゲートウェイや NAT ゲートウェイなどパブリックに抜けるためのアクセス経路が必要でした。 これが PrivateLink の対応によってプライベートなネットワークで完結できるようになりましたので、よりセキュアに利用することができますね。 VPC 間もピアリングする必要はなく、PrivateLink だけで接続したり AWS アカウント間だってもちろん PrivateLink で接続できますね。（アカウント間の場合は、別途、Secrets Manager へ
![[アップデート] RDS Data API が PrivateLink に対応しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d060bd8586f3cd19615ef358e9ba4ece1e5b6a3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-aurora.png)
週刊Railsウォッチ（20200720前編）10月開催「Kaigi on Rails」CFP募集中、enumにデフォルト値設定機能、RailsでBitemporal Data Modelほか｜TechRacho by BPS株式会社
2020.07.20 週刊Railsウォッチ（20200720前編）10月開催「Kaigi on Rails」CFP募集中、enumにデフォルト値設定機能、RailsでBitemporal Data Modelほか こんにちは、hachi8833です。情報処理技術者試験の秋の募集が始まりました。 元記事: IPA 独立行政法人 情報処理推進機構：試験実施案内：令和2年度10月試験について つっつきボイス:「そうそう、春のは中止でしたね」「受験する方はどぞよろしく〜」 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 ⚓臨時ニュース: Kaigi on RailsのCFPを7月末まで募集中 サイト: Kaigi on Rails 10/
PowerAppsにはCommon Data Serviceというサービスがありますが、ほとんどの人に単なるデータベースだと思われがちで、SharePointのカスタムリストやSQLデータベースを選ばれてしまうことがあります。今回はなぜCommon Data Serviceを利用した方が良いかをIT担当者の目線で取り上げてみました。 ※2020年11月より、Common Data Service の名前が Microsoft Dataverse になりました。変更内容についてはこちらからご覧ください。 1. ただのデータベースではない Common Data Serviceで真っ先に思われている誤解が、これはデータベースだと思われていることです。実際にはCommon Data Serviceは、Azure SQL、Blog Storage、Cosmos DBで構成されています。それらが1つ
Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS | Amazon Web Services
AWS Database Blog Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS Caching enables the best user experience for real-time applications. You can build applications that provide sub-millisecond response times by storing the most frequently requested data in an in-memory cache like Redis. On August 30, 2021, we announced the support for migrating your data fr
AI and Data Scientist Roadmap
Login to your account You must be logged in to perform this action.
イオンが立ち上げる超巨大データ基盤/Super huge data platform launched by AEON
https://techplay.jp/event/924680 データマネジメントの勘所 大手企業3社から学ぶ！データ分析基盤と組織のリアル
Microsoft、任意のデータで生成AIサービスを構築できる「Azure OpenAI Service On Your Data」を提供開始
Microsoftは2024年2月20日（米国時間）、「Azure OpenAI Service」の新機能「Azure OpenAI Service On Your Data」の一般提供を開始したと発表した。 この新機能では、GPT-4のようなOpenAIのAI（人工知能）モデル（以下、OpenAIモデル）に企業データを接続し、取り込み、グラウンディングして（※）、パーソナライズされた生成AIサービスを迅速に作成することなどが可能だ。企業は構築したサービスを、ユーザーの理解度の向上、タスク処理の迅速化、業務効率の向上、意思決定の支援などに利用できる。 ※AIモデルが質問への回答に使用するソースとして、ユーザーが特定のデータを指定することを指す。 Microsoftは、自社のデータ上でOpenAIモデルを直接実行することで、モデルの大規模なトレーニングが不要になる他、エンタープライズグレード
YouTube Data API v3を使用して、YouTubeページと同じリストモジュールを作ってみた【LIGアドベントカレンダー20日目】 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは、フロントエンドエンジニアのはっちゃんです。 こちらはLIGアドベントカレンダーの20日目の記事です。 LIGアドベントカレンダー2019は こちら！ 今回は、YouTube Data API v3を使って、YouTubeページと同じリストモジュールを再現してみたいと思います。 YouTube Data APIとは YouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧ください。 https://developers.google.com/youtube/v3/getting-started?hl=ja 今回やること 動画URLの取得 サムネイルの取得 タイトルの取得 チャンネル名の取得 チャンネルURLの取得 再生回数の
ざっくりわかるRLHF（人間からのフィードバックを用いた強化学習） - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHFとは、一体何者なのかをご紹介します！ こんにちは。アナリティクスサービス部の橋本です。 今回は、ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHF（Reinforcement Learning from Human Feedback、人間からのフィードバックを用いた強化学習）とは一体何者なのかをご紹介させていただきます。 ChatGPTなどの会話型AIが、どんな学
dbt Tokyo Meeup #3の発表内容です 発表のアーカイブはこちらから https://youtu.be/SYsiRFR2LGw #dbt_tokyo
GitHub - unionai-oss/pandera: A light-weight, flexible, and expressive statistical data testing library
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに 新規プロジェクトでのログ集計をKinesis Data Firehoseで設計してみたものの まだ使ったことがなかったので使ってみた話 Kinesis Data Firehoseとは そもそもKinesisとはという話なんですが。 Kinesisでできることは、ストリーミングデータをリアルタイムで収集、処理、分析することです。 その中でも大きく四つあり Kinesis Data Streams : ストリームデータを受けるサービス Kinesis Data Firehose : ストリームデータをS3やRedshiftなどの分析ツールに送るサービス Kinesis Data Analytics: ストリームデータを分析してくれるサービス Kinesis Video Streams: 動画を簡単かつ安全にストリーミングするサービス Kinesis Data StreamsとFire
【連載】ブレインパッドの数理最適化ブログ（目次） - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 数理最適化技術は、「データ活用の促進を通じて持続可能な未来をつくる」を企業ミッションとするブレインパッドにとって、必須の注力技術の1つです。 2020年10月1日、大阪大学に、ブレインパッドほかから寄付を受けた「大阪大学数理最適化寄附講座」が開設されました。同講座の教授を務められるのは、数理最適化技術の研究で大変著名な梅谷 俊治先生です。 これを機に、ブレインパッドも数理最適化技術に関するナレッジをさらに＆どんどん高めていこうということで、この公式ブログでも数理最適化に関する連載をスタートします！ こんにちは。CDTO（Chief Data Technology Officer） の太田です。 大阪大学にブレインパッドが寄付を実施し、「大阪大学数理最適化寄附講座」が開設されました。 それを
メッシュWiFiが安定しないので有線LANを張り巡らせたんだが | Democratizing Data
このお話は、pyspaアドベントカレンダーの11日目です。昨日はwozozoでした。多分彼はこの記事をチラ見して「長過ぎる。地雷乙」と言うでしょう。 3階建ての家でインターネットを安定させるために、NETGEARのOrbiというメッシュWiFiを構築していたのだが、どうにも調子が悪いので有線LANを張り巡らせました。これはその奮闘記です。なお、筆者はネットワーク系は素人なので用語などが不正確な場合がありますががあしからず。あと、面倒なので以降語尾はですます調じゃなくなります。 メッシュWiFi購入事前にメッシュWiFIを色々調べたが、どうもNETGEARのOrbiが良いらしいという話を聞いていた。NETGEARが素晴らしいのは購入前にこういう環境だけどどのモデルを買えば良いのか？という相談をできること。これは素晴らしい。当時WiFi-6対応のモデルは出ておらずでかい筐体のOrbiと日本向け
『Data Engineering Study #1 』でデータ分析基盤の活用で必要なアクションとデータ活用の実例を聞いた - 継続は力なり
タダです. クラウドサービスの活用が増えていく中で企業の扱うデータは増えていって,そのデータを活用できるかって企業活動においてすごく大事だと感じてデータ分析に興味を持ったのですが,データ分析基盤の勉強会「Data Engineering Study #1 」が開催されたので参加してきました.今回の記事では発表を聞いて感じたことをまとめていきます. forkwell.connpass.com イベント概要 本イベントでは、ゆずたそ氏（ @yuzutas0 ）にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。 また、講演後には視聴者の方も参加できる二次会会場(Zoom)を用意しています。登壇者と共にデータエンジニアリングに関する学びを深めましょう。 本編動画 当日のツイートまとめ togetter.com 内容 基調
Data Scienceチームの成果を最大化するための取り組み（2022年版） - ABEJA Tech Blog
はじめに 新規施策・取り組み Technical Document 分析の工夫やDSの思考の蓄積・活用 ドキュメントのテンプレート化 ドキュメンテーションの習慣付け Reviewer System 中間レビューの廃止と代替施策の導入 レビュアーの役割 QA channel (Slack) 質問すること自体のハードルと対処 Q&Aの蓄積 Model Dev Template DS Day アップデートした施策・取り組み DS Review DS Reviewの課題 DS Reviewの効率化 KPT Fest PJ振り返り会のアップデート Technical Documentの活用 Q&Aの蓄積 スケジューリング＆リマインドの自動化 Brainstorming トピックの明確化 スケジューリング＆リマインドの自動化 さいごに はじめに こんにちは、最近チーム内情シスになりつつあるデータサイエ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Treasure Data Company Announcement
Data-centricなML開発
TypeScript: validating external data
Amazon.co.jp: 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック: 石原祥太郎, 村田秀樹: 本
ADO(ActiveX Data Objects)の使い方の要点｜VBA技術解説
[DATAで見るケータイ業界] 携帯ショップの削減が進む中、量販系が台頭する代理店業界再編
![[DATAで見るケータイ業界] 携帯ショップの削減が進む中、量販系が台頭する代理店業界再編](https://cdn-ak-scissors.b.st-hatena.com/image/square/ca874dcfc11ca39fd20416483f6900d5c38e9d4d/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1520%2F437%2F20230731.png)
Client- and Server-Side Data Fetching in React
Andrew Ng: Farewell, Big Data
Power PlatformのCommon Data Serviceを利用する10の理由 - 吉田の備忘録
[DATAで見るケータイ業界] 「ギガ単価110円」で大手2社が奇しくも横並びとなったMVNO新プラン
![[DATAで見るケータイ業界] 「ギガ単価110円」で大手2社が奇しくも横並びとなったMVNO新プラン](https://cdn-ak-scissors.b.st-hatena.com/image/square/a74110c3910ed23aeccb6d990335f95461e864ff/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1318%2F941%2Fm.jpg)
dbtとBigQueryで始めるData Vault入門
Kinesis Data Firehoseを使ってみた話 - Qiita
[DATAで見るケータイ業界] 本格的なショップ削減を前に再編加速する販売代理店業界
![[DATAで見るケータイ業界] 本格的なショップ削減を前に再編加速する販売代理店業界](https://cdn-ak-scissors.b.st-hatena.com/image/square/ea8479e334e5357f53086f4915d9722ef4f4f6b2/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1471%2F148%2F20230118.png)