顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
Overview of The Modern Data Stack / モダンデータスタック概論
顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
AWSのフランクフルトAZ障害、消火システム誤作動により入室遮断、復旧対応が出来ず Data Center Cafe 2021.06.128,166 views 空気循環システムの故障により、AWSのフランクフルトのアベイラビリティゾーンが3時間にわたり停止しました。通常では日常的に行われている作業が、消火システムが作動したことで不可となり、状況が悪化したようです。 問題は消火システムが空気中の酸素を除去してしまったため、約1時間の間、スタッフは復旧作業でデータホールに立ち入ることができず、停止時間が長引いたことです。Amazon Web Servicesのステータスページによると、現在はすべてのシステムが正常に動作しているとしています。なお、今回は1つの アベイラビリティゾーン での障害であったため、お客様への影響は限定的であったとのことです。 入室抑制システム障害は13：18PDT（日
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
IoT と時系列データと Elasticsearch | Data Pipeline Casual Talk Vol.4
IoT と時系列データと Elasticsearch Data Pipeline Casual Talk Vol.4 株式会社ソラコム ソリューションアーキテクト 今井 雄太Read less
GitHub - AppFlowy-IO/AppFlowy: Bring projects, wikis, and teams together with AI. AppFlowy is an AI collaborative workspace where you achieve more without losing control of your data. The best open source alternative to Notion.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Dolt is a SQL database that you can fork, clone, branch, merge, push and pull just like a Git repository. Connect to Dolt just like any MySQL database to read or modify schema and data. Version control functionality is exposed in SQL via system tables, functions, and procedures. Or, use the Git-like command line interface to import CSV files, commit your changes, push them to a remote, or merge yo
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
Azure OpenAI Service On Your Data の仕組みと使う上で気を付けるべきポイント
はじめに Microsoft Build 2023 で発表された Azure OpenAI Service の On Your Data のパブリックプレビューが開始 しました。体感的には On Your Data は日本国内の全 Azure OpenAI Service ユーザーのうち 8 ～ 9 割程度のユーザーが待ち望んでいた機能ではないかと感じます。(ryohtaka 調べ) What's new in Azure OpenAI Service - June 2023 New easy way to add your data to Azure OpenAI Service (YouTube) しかし、実際に On Your Data を活用するためには気を付けるべきポイントが数多く存在しており、正確な期待値を持ったうえで使うことが非常に重要になってきます。そこで、本記事では On
Go 言語 には data race が存在する
Go 言語 には data race が存在する “Gomium Browser” writeup from Google CTF 2019 Finals @hama7230
GitHub - pyrustic/jesth: Human-readable versatile data format
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
webサービスに関わるうえで読んでおいてうれしかった本20選 - Data Analystのメモ帳
タイトルのとおりです。自分の備忘録というか個人的なまとめ。 統計学とか機械学習とかプログラミングの本を紹介している人はたくさんいるので、それ以外の分野において読んでおいてよかったと感じた本を並べました。 ほとんどがいろんな場所で紹介されるような本ばかりですが、名著はそれだけの価値があるのでやっぱり読んでおくべきだとおもってます。 それぞれの感想とか書きたいんですけど無限に時間が溶けそうなのでとりあえずリストアップだけ。 プロダクトマネジメント・マーケティング たぶん、この分野の本を一番読んできました。市場を理解するという意味ではプロダクトマネジメントとマーケティングは同じなのでひとまとめにしています。Lean Analyticsはデータの話が中心なんですが考え方の軸はプロダクトマネジメントなのでここに入れました。どれか1冊を選ぶならINSPIREDかな。 1. Lean Analytics
dbtを活用したデータ基盤の 論理・物理設計の現在地と振り返り / data warehouse logic design by using dbt
GitHub Next | Flat Data
Flat explores how to make it easy to work with data in git and GitHub. It builds on the “git scraping” approach pioneered by Simon Willison to offer a simple pattern for bringing working datasets into your repositories and versioning them, because developing against local datasets is faster and easier than working with data over the wire.
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
※ChatGPTと言っていますが、正確にはOpenAIの「code-davinci-003」というGPT-3のモデルを使っています。 ChatGPT、すごいですよね！ 質問すれば、ある程度のことはいい感じの返答をしてくれますね。 例えば「〜と似た文章を作って。」メッセージをChatGPTに投げることで、似たような文章を生成できます。 入力： import openai openai.api_key = key ＃keyはopenaiのページから取得してください。 model_engine = "text-davinci-003" prompt = """ 「MatrixFlowは、AIの開発に特化したノーコード開発のプラットフォームです。 画面上でブロックを動かすという視覚的な操作だけでAIを開発できます。 様々な課題や要望に応じたAIモデルのテンプレートが用意されているため、テンプレート
GitHub - otya128/web-bml: Data broadcasting browser for Japanese TV
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Distance Measures. Image by the author.Many algorithms, whether supervised or unsupervised, make use of distance measures. These measures, such as euclidean distance or cosine similarity, can often be found in algorithms such as k-NN, UMAP, HDBSCAN, etc.
データアーキテクト（データ整備人）の概観とこれからの展望と課題 / maemuki_data_seibinin01
グループのメンバーになっていただくと新しいイベントが公開された際にご連絡が行きます（登録無料） https://analytics-and-intelligence.connpass.com/ しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-int…
GitHub - TomWright/dasel: Select, put and delete data from JSON, TOML, YAML, XML and CSV files with a single tool. Supports conversion between formats and can be used as a Go package.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - google/intermock: Mocking library to create mock objects with fake data for TypeScript interfaces
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
import useSWR from 'swr' function Profile() { const { data, error, isLoading } = useSWR('/api/user', fetcher) if (error) return <div>failed to load</div> if (isLoading) return <div>loading...</div> return <div>hello {data.name}!</div> } In this example, the useSWR hook accepts a key string and a fetcher function. key is a unique identifier of the data (normally the API URL) and will be passed to f
台湾が電力不足を理由に、北部の大規模データセンター認可停止へ Data Center Dynamics 2024.08.206,787 views 最後のデータセンター認可は昨年9月台湾は電力供給不足を理由に、桃園以北で5MWを超えるデータセンターの認可を停止しました。 DataCenter Knowledgeが最初に報じたところによると、台湾経済省はFacebookの投稿で、北部地域にボトルネックがあると述べました。この地域では、需要の増加に対応するため、送電網のインフラと新しい電源の増強が必要だとのことです。 北部で大規模なデータセンターが認可されたのは、昨年9月が最後でした。 国営電力会社Taipowerは、データセンターは十分な再生可能エネルギーがある島の中部と南部に優先的に建設されるべきだと述べています。 同国は先月、2025年までの脱原発を目指し、残る2基の原子炉のうち1基を停
AI活用やデータ分析をする前に知っておきたい！エンタープライズデータアーキテクチャ入門/ What You Need to Know Before Using AI and Analyzing Data! Introduction to Enterprise Data Architecture
次のイベントの投影資料です。 https://studyco.connpass.com/event/251782/
ゲームのマスタデータ特有の3つの困難と、カヤックでの解決方法 / How to solve three problems when handling the master-data of mobile games
マスタデータNight #1 https://masterdata.connpass.com/event/155533/
GitHub - TanStack/query: 🤖 Powerful asynchronous state management, server-state utilities and data fetching for the web. TS/JS, React Query, Solid Query, Svelte Query and Vue Query.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - microsoft/Data-Science-For-Beginners: 10 Weeks, 20 Lessons, Data Science for All!
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Breck, Eric, et al. "Data validation for machine learning." Conference on Systems and Machine Learning (SysML). https://mlsys.org/Conferences/2019/doc/2019/167.pdf . 2019. 読み手のコンテキスト現職で機械学習予測モデルをプロダクトに投入する様になって3年程経った。そうもなると開発時に想定していた訓練データの分布と現状の分布が乖離して、予測の動作不良を引き起すケースがしばしば見られる様になった。明らかな予測の不具合として目立っていなくとも性能が落ちている部分はもっとあるはずで、これに早く気づいて対応したいモチベーションがある。かつ運用専任メンバーはいないので、できるだけ運用は手を抜きたい。概要著者らはData Validat
概要 WebAssembly 逆アセンブル1 と Rust 製の WebAssembly オプティマイザの twiggy を駆使して、WebAssembly ファイル中の data セクションのサイズ削減を図る 対象読者 WebAssembly を極限まで小さくするための、いかなる苦労を厭わない人 この記事中に、ツールを使えば簡単に WebAssembly を極限まで小さくできる、魔法のような方法が紹介されていると期待していた人はブラウザバック推奨 WebAssembly Text Format にアレルギーのない人 使用ツール WebAssembly for VSCode Visual Studio Code 上で、次の機能を提供する拡張機能 WebAssembly を WebAssembly Text Format に変換する WebAssembly Text Format の色付け
multipart/form-data形式のファイルが突然アップロードに失敗する問題を仮説を立てながら解決する話
こんにちは、株式会社カミナシのエンジニア @imu です。 はじめに 突然ですがファイルアップロードに失敗することってありますよね？ カミナシレポートのプロダクトはオフライン機能を実装しており、オフラインで記録したデータをアップロードしたときに失敗するケースが、特定の条件下で起きるようになりました。そのため一部のお客様のデータが端末に残り続け、なんとかしてほしいとサポート依頼が発生しておりました。 私自身、半年ぶりにカミナシレポートのプロダクトに戻ってきたばかりで、リハビリのissueとなりました(笑) 今回は問題を解決するまでの仮説や、調査から解決までお話したいと思います！ ※オフライン対応をなぜしているのかは以前書いたこちらを参照いただければと思います。 kaminashi-developer.hatenablog.jp 結論 何が問題だったか結論だけ知りたい方はこちらへ 開発環境 g
LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。 問題意識 ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類 トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ 参考文献 こんにちは、アナリティクスサービス部の辻です。 今回は、LLMを効率的に再学習する手法として今後
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、プロンプトエンジニアリングをテーマに、1カ月ほど前に発表されたレビュー論文と関連論文を紹介します。 目次 今回のテーマ なぜプロンプトエンジニアリングが必要か？ プロンプトエンジニアリング：基礎編 抑えておきたい考え方 明確に、正確に ハルシネーションスノーボール (Hallucination snowball) 1.1 ユーザーの要求を明確化するタイプ 1.2 LLMの知識を引き出すタイプ 2.1 直列型：推論ミスを減らすタイプ 2.2 並列型：出力の堅牢さを高めるタ
アジア最大級の国際Scalaカンファレンスである「ScalaMatsuri2020」がオンラインで開催されました。そこでTreasure DataのTaro L. Saito 氏がScalaに関するいろいろなテクノロジーを紹介しました。まずは、バックエンドとフロントエンドの両方で使えるScalaについて。 趣味はオープンソースのプロジェクトを作ること Taro L. Saito氏：「Scala For Everything」というタイトルで発表します。簡単な自己紹介を。Treasure DataのSaitoといいます。Principal Software Engineerをしていて、今、カリフォルニア、アメリカの西海岸から発表しています。タイムゾーンの都合上、今こちらは夜の20時なんですけれども、ScalaMatsuriの運営の麻植さんが、タイムゾーンに配慮してくださったので、非常に感謝し
ChatGPT (Advanced Data Analysis)でBNF式からパーサーを生成する - Taste of Tech Topics
こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか？ BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF（バッカス・ナウア記法）とは、プログラムの構文規則（文脈自由文法）を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思うので、例を示します。 『プログラム意味論』（横内寛文 著）の冒頭に登場する、非常に単純なプログラムを許容する言語の定義です。 <変数> ::= A | B | C | ... | Z <定数> ::
data-testidはいつ使うべきか？そもそも使うべきなのか？ | フューチャー技術ブログ
Playwrightあるいはそのロケーターの元ネタとなっているTesting Libraryでは、DOMを指定する方法として data-testid 属性を扱ったクエリーを提供しています。どちらでも getByTestId(ID文字列) メソッドを使い、この属性値を使った要素の取得が行えます。しかし、ドキュメントを見ると、PlaywrightもTesting Libraryも、「他の手法が使えないときの最終手段」としています。 In the spirit of the guiding principles, it is recommended to use this only after the other queries don’t work for your use case. Using data-testid attributes do not resemble how your
GitHub - PRQL/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacement
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Welcome This is the website for the book “Fundamentals of Data Visualization,” published by O’Reilly Media, Inc. The website contains the complete author manuscript before final copy-editing and other quality control. If you would like to order an official hardcopy or ebook, you can do so at various resellers, including Amazon, Barnes and Noble, Google Play, or Powells. The book is meant as a guid
この記事に関連する話題: ソフトウェアエンジニア、カナダに渡る。 大学院を修了してから4年強の間勤めたトレジャーデータ株式会社を28歳の誕生日（2月25日）付で退職して、翌日から所属がカナダ支社の Treasure Data (Canada)1（以下、TD Canada）になった。 仕事内容や給与はほぼ変わらないけれど2、日本法人に籍を置いたままの赴任とは異なり、日本法人を退職→住民票を抜いて移住→カナダ支社で正式に雇用、という形。一般的な日本での退職手続きを経て、何事もなかったかのように新入社員向けの "Welcome to Treasure Data" メッセージが届いた。 コロナ禍での移住ということでイレギュラーな話は多々あるが（というか基本イレギュラーな話しか無い）、そのあたりの知見は次の記事でまとめるとして、ここでは転籍・移住のモチベーションや今後について。 なお最新状況は期間限
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSのフランクフルトAZ障害、消火システム誤作動により入室遮断、復旧対応が出来ず | Data Center Café
GitHub - dolthub/dolt: Dolt – Git for Data
Upstash: Serverless Data Platform
データの価値を失わないためのData Reliability
ChatGPTで自然言語処理のData Augmentationやってみた。｜tdual
9 Distance Measures in Data Science
React Hooks for Data Fetching – SWR
台湾が電力不足を理由に、北部の大規模データセンター認可停止へ | Data Center Café
Data validation for machine learning 読んだ
WebAssembly: data セクションの最適化 - Qiita
プロンプトエンジニアリングの基本と応用 - Platinum Data Blog by BrainPad
Scalaはバックエンドでもフロントエンドでも動く Treasure Dataのエンジニアが語るScalaの応用力の高さ
Fundamentals of Data Visualization
トレジャーデータ株式会社を退職して Treasure Data (Canada) に入社しました
Git clone: a data-driven study on cloning behaviors