You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - matanolabs/matano: Open source security data lake for threat hunting, detection & response, and cybersecurity analytics at petabyte scale on AWS
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Rails固有の話もあるが、DBを利用するアプリケーションの運用では必ずつきまとう問題なので言語やフレームワークが変わっても大枠は変わらないと思う
AWS Data Exchange – Find, Subscribe To, and Use Data Products | Amazon Web Services
AWS News Blog AWS Data Exchange – Find, Subscribe To, and Use Data Products We live in a data-intensive, data-driven world! Organizations of all types collect, store, process, analyze data and use it to inform and improve their decision-making processes. The AWS Cloud is well-suited to all of these activities; it offers vast amounts of storage, access to any conceivable amount of compute power, an
MikroORM: TypeScript ORM for Node.js based on Data Mapper, Unit of Work and Identity Map patterns. | MikroORM
Implicit TransactionsMikroORM allows handling transactions automatically. When you call em.flush(), all computed changes are wrapped inside a database transaction. DRY EntitiesUses source code analysis so you do not have to repeat yourself when defining entities. Simply define correct TypeScript types and you are good to go!
Imagine you are a business leader ready to start your day, but you wake up to find that your daily business report is empty — the data is late, so now you are blind. Over the last year, multiple teams came together to build SLA Tracker, a visual analytics tool to facilitate a culture of data timeliness at Airbnb. This data product enabled us to address and systematize the following challenges of d
[アップデート] ElastiCache for RedisのスローログをCloudWatch LogsやKinesis Data Firehoseにパブリッシュできるようになりました！ | DevelopersIO
コンサル部のとばち（@toda_kk）です。 表題の通り、ElastiCache for Redisの機能としてスローログをパブリッシュできるようになりました。 スローログを確認したい場合、これまではredis-cliなどを使いがんばってRedisノードから直接ログを取得する必要がありました。CloudWatch LogsやKinesis Data Firehoseを通して確認できるようになったおかげで、トラブルシューティングを容易にできると期待しています。 対応バージョンは6.x系以上のみ 2021年5月現在では、Redisバージョンが6.x系以上でないとスローログが設定できないようですので、ご注意ください。 パブリッシュを有効化する スローログのパブリッシュを有効化する手順を確認してみます。 Redisクラスターの設定 まずはRedisクラスターを作成します。このとき、スローログの有効
![[アップデート] ElastiCache for RedisのスローログをCloudWatch LogsやKinesis Data Firehoseにパブリッシュできるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6e8f225218e418fd610bbd39353356490abd80ce/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elasticache.png)
Reported Supply Chain Compromise Affecting XZ Utils Data Compression Library, CVE-2024-3094 | CISA
Official websites use .gov A .gov website belongs to an official government organization in the United States. Secure .gov websites use HTTPS A lock (A locked padlock) or https:// means you’ve safely connected to the .gov website. Share sensitive information only on official, secure websites.
意思決定に繋げるためのデータ分析の型『Data Analytics Seven Steps』｜高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
こんにちは。高橋です。普段はコンサルとしてデータ分析を活用したデジタルマーケティング支援をやっております。最近では『データ分析力を高める ビジネスパーソンのためのSQL入門』を出版してSQLを使ったデータ分析の普及活動を頑張っております。 今回は自分が本業や複業などで色々なデータ分析案件に携わった経験から意思決定に繋げるためのデータ分析のステップについてまとめてみました。 正しくデータ分析ができているかデータ分析がビジネスにおいて重要であるということは、今の時代当たり前になりつつあります。 どんな企業でも、どんなビジネスパーソンでもデータを活用する流れはもはや止めることはできない時代に来ています。 しかし、実際にデータ分析が正しくできているかと言うと、必ずしもそうではないと感じることがあります。 データを見ただけて終わる 今あるデータから何かわからない？ そもそも使えるデータなんてない デ
LINEユーザーとビジネスの価値をつなぐためのSREとは、いったいどんなことをするのか。LINEの7つの領域から9名が登壇し、業務内容や体制、開発における課題、働く個々人のやりがいなどについて話します。奥田輔氏は、LINE Data PlatformのSREについて紹介しました。 LINEのData Platform室におけるSRE 奥田輔氏（以下、奥田）：私からは、LINEのData Platform室におけるSREで、どういうチャレンジがあるのか、どういう仕事なのかを紹介します。よろしくお願いします。 まずは、自己紹介からです。Data Platform室のData Engineering1というチームで、エンジニアリングマネージャーをしている奥田と申します。2013年に、弊社のLINEに新卒入社です。もともとは、LINE GAMEのDBAをやっていました。そこから社内異動で、LINE
bq_sushi #17 にて、「Data Management by dbt」という発表をしました。
Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Last modified: July 13, 2021 Treasure Data officially part of Softbank Vision Fund 2*; Welcome Back Founding Leadership Team We are thrilled to announce that Treasure
メッシュWiFiが安定しないので有線LANを張り巡らせたんだが | Democratizing Data
このお話は、pyspaアドベントカレンダーの11日目です。昨日はwozozoでした。多分彼はこの記事をチラ見して「長過ぎる。地雷乙」と言うでしょう。 3階建ての家でインターネットを安定させるために、NETGEARのOrbiというメッシュWiFiを構築していたのだが、どうにも調子が悪いので有線LANを張り巡らせました。これはその奮闘記です。なお、筆者はネットワーク系は素人なので用語などが不正確な場合がありますががあしからず。あと、面倒なので以降語尾はですます調じゃなくなります。 メッシュWiFi購入事前にメッシュWiFIを色々調べたが、どうもNETGEARのOrbiが良いらしいという話を聞いていた。NETGEARが素晴らしいのは購入前にこういう環境だけどどのモデルを買えば良いのか？という相談をできること。これは素晴らしい。当時WiFi-6対応のモデルは出ておらずでかい筐体のOrbiと日本向け
Covid-19: Researcher blows the whistle on data integrity issues in Pfizer’s vaccine trial
Revelations of poor practices at a contract research company helping to carry out Pfizer’s pivotal covid-19 vaccine trial raise questions about data integrity and regulatory oversight. Paul D Thacker reports In autumn 2020 Pfizer’s chairman and chief executive, Albert Bourla, released an open letter to the billions of people around the world who were investing their hopes in a safe and effective c
最先端のアルゴリズムがgithubなどから手軽に入手できるようになったことで、ビジネスの現場では、アルゴリズムやモデルの改善より、 アノテーションデータの質や量を改善する方が実用化を目指す上でよりコストメリットのいいアプローチとなりつつあります。 本発表では、従来のモデル改善を中心としたMLOpsの考え方と異なり、データ（アノテーションデータ）改善を中心としたMLOpsの考え方をご紹介します。 Read less
GitHub - livebook-dev/livebook: Automate code & data workflows with interactive Elixir notebooks
Livebook is a web application for writing interactive and collaborative code notebooks. It features: Code notebooks with Markdown support and Code cells where Elixir code is evaluated on demand. Rich code editor through CodeMirror: with support for autocompletion, inline documentation, code formatting, etc. Interactive results via Kino: display Vega-Lite charts, tables, maps, and more. Automation:
GitHub - deepset-ai/haystack: :mag: LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data. With advanced retri
🔍 LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data. With advanced retrieval methods, it's best suited for building RAG, question answering, semantic search or conversational agent chatbots.
Data validation means ensuring that data has the desired structure and content. With TypeScript, validation becomes relevant when we receive external data such as: Data parsed from JSON files Data received from web services In these cases, we expect the data to fit static types we have, but we can’t be sure. Contrast that with data we create ourselves, where TypeScript continuously checks that eve
GitHub - amundsen-io/amundsen: Amundsen is a metadata driven application for improving the productivity of data analysts, data scientists and engineers when interacting with data.
Amundsen is a data discovery and metadata engine for improving the productivity of data analysts, data scientists and engineers when interacting with data. It does that today by indexing data resources (tables, dashboards, streams, etc.) and powering a page-rank style search based on usage patterns (e.g. highly queried tables show up earlier than less queried tables). Think of it as Google search
Retty データ分析チーム2021年振り返り（Data-Informed/自立自走/分析の民主化） - Retty Tech Blog
この記事はRetty Advent Calendar 2021の22日目の記事です。 adventar.org Retty分析マネジャー平野（@MasaDoN22）です。 今年で4作目の”Retty分析チーム振り返り記事”です。（過去記事：2020年 / 2019年 / 2018年） 今年は、去年今年を通した仕込みや直面する課題に向き合った結果、さまざまな変化がありました。特に大きい変化は次の3つです。 変化①：”Data-Driven”から”Data-Informed”な意思決定に 変化②：”個人の集まり”から”自立自走するチーム”に 変化③：”データの民主化”から”分析の民主化”に この記事では3つのパート（変化）と来年の課題を書きました。少し長いですが、ぜひ最後までご覧いただけると嬉しいです。 変化①：”Data-Driven”から”Data-Informed”な意思決定に ~201
公開日：2016-10-30 最終更新日：2021-08-04 ADO(ActiveX Data Objects)の使い方の要点 ADOはMicrosoftが提供するデータベースアクセスのためのソフトウェア部品です。 OLE DBをActiveXコントロールの形で使えるようにしたプログラミングインターフェースになります。 ここでは、ADOを使用したデータベースへの接続方法を解説します。
This is an overview of client- and server-side data fetching approaches in React 17, their pros and cons, and the way upcoming Suspense for Data Fetching will change them. So how do we fetch? React supports the following fetching approaches: Fetch-on-Render: fetching is triggered by render. Fetch-Then-Render: we start fetching as early as possible and render only when the data is ready. Render-as-
Open Source Tools & Data for Music Source Separation — Open-Source Tools & Data for Music Source Separation
Open Source Tools & Data for Music Source Separation¶ By Ethan Manilow, Prem Seetharaman, and Justin Salamon Shared under Creative Commons BY-NC-SA 4.0. Hello and welcome to the website for our tutorial at ISMIR 2020! We’re excited that you’ve decided to join us! In this tutorial, we will guide you through modern, open-source tooling and datasets for running, evaluating, researching, and deploying
Google Cloud Professional Data Engineer 認定試験を受験しました - ANDPAD Tech Blog
この記事は ANDPAD Advent Calendar 2022 の 10日目の記事です。 アンドパッドでエンジニアをしている森です。Google Cloud Professional Data Engineer 認定資格をリモート環境で受験し、無事に合格”内定”（詳細は記事を参照）しました！受験までの勉強の過程と、受験当日の様子をまとめたいと思います。 受験の背景 過去に Google と共催したハンズオンワークショップ（テックブログ記事 2022/7/27）のつながりで、Google Cloud Innovators Gym（以降、G.I.G. と呼称）というプログラムに参加する機会をいただきました。G.I.G. は、Google Cloud が提供しているワークショップ形式のプログラムで、認定試験受験に向けたトレーニングのコンテンツが提供されます。入社以来、日々 Google Cl
[レポート] The Modern Data Stack: Past, Present, and Future #futuredataconf | DevelopersIO
[レポート] The Modern Data Stack: Past, Present, and Future #futuredataconf 奈良県でリモートワーク中の玉井です。 9月8日〜9月9日の2日間、FUTURE DATA CONFERENCE 2020というオンラインイベントが開催されていました。今回、そのイベントの下記のウェビナーを受講したので、レポートします。 イベント全体の概要ですが、名前の通り、「データ分析（とそれに関するテクノロジー）の今後」について、多種多様な業界の方々が語るって感じのイベントのようです。 今回はその中の「The Modern Data Stack: Past, Present, and Future」というセッションについてレポートします。 ウェビナー情報 公式情報 ※本カンファレンスは、既に2021年分が開催済であり、ウェブサイトの内容も2021
![[レポート] The Modern Data Stack: Past, Present, and Future #futuredataconf | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb430de839b0b06456078ad39cdefc962bdfc216/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2FFuture_Data_Conference_2020.png)
YouTube Data API を使って自分のチャンネルに関するデータを集計してみた | DevelopersIO
はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ 以前、下記の記事で、私の YouTube チャンネルに関するデータの集計結果を記載しました。 その際、YouTube Data API を使って、データの集計を行いました、今回は YouTube Data API を使って、自分の YouTube チャンネルに関するデータを取得・集計する方法について記事にしようと思います。 ソースコードは下記のリポジトリに置いています。 GitHub - iam326/youtube-my-channel 前提 自分の YouTube チャンネルを持っていること YouTube Data API を使用するために必要な認証情報が作成済みであること 認証情報を作成する手順については、下記の記事を参考にしてください。また、作成した認証情報のファイルは client_secrets.json
8 Surprising Ways You Can Import Data Into Microsoft Word
Knowing how to import data into Microsoft Word from any source, including Excel, PDF files, or other Word documents, can save you a lot of time. We'll show you all the tricks. Microsoft Word is the industry-standard program for creating Microsoft Office documents, ranging from research papers to professional reports. But sometimes, you have data in another program that you need to reference; it mi
AWS Certified Data Analytics – Specialty(DAS) を取得できたので振り返ってみた | DevelopersIO
先日AWS Certified Data Analytics – Specialty(DAS)を取得できたので、振り返りとして私自身の試験対策などについてまとめておきます。 前提 私の経験や前提知識について簡単に記載します。 AWSの実務経験 本格的な実務経験はクラスメソッドにジョインしてからなので、1年未満です。 実務では、S3、Redshiftなどをメインに扱っています。 取得済みAWS認定試験 SAA(ソリューションアーキテクト – アソシエイト) SAP(ソリューションアーキテクト – プロフェッショナル) スケジュール 下記のとおりです。対策期間としては、約1.5ヶ月です。 2020/12/14〜 試験対策を開始(データレイクハンズオン・サンプル問題などを実施) 2020/12/21〜 Udemyで動画視聴・ミニテストを実施 2021/01/08〜 年末年始はあまり対策できずに年
GitHub - microsoft/SandDance: Visually explore, understand, and present your data.
Visually explore, understand, and present your data. By using easy-to-understand views, SandDance helps you find insights about your data, which in turn help you tell stories supported by data, build cases based on evidence, test hypotheses, dig deeper into surface explanations, support decisions for purchases, or relate data into a wider, real world context. SandDance uses unit visualizations, wh
[アップデート] RDS Data API が PrivateLink に対応しました | DevelopersIO
先日のアップデートで RDS Data API の PrivateLink が利用できるようになりました。 Amazon RDS Data API now supports AWS PrivateLink 何が嬉しいのか 従来、 RDS Data API を利用する場合はパブリックエンドポイントへアクセスして利用するため、インターネットゲートウェイや NAT ゲートウェイなどパブリックに抜けるためのアクセス経路が必要でした。 これが PrivateLink の対応によってプライベートなネットワークで完結できるようになりましたので、よりセキュアに利用することができますね。 VPC 間もピアリングする必要はなく、PrivateLink だけで接続したり AWS アカウント間だってもちろん PrivateLink で接続できますね。（アカウント間の場合は、別途、Secrets Manager へ
![[アップデート] RDS Data API が PrivateLink に対応しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d060bd8586f3cd19615ef358e9ba4ece1e5b6a3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-aurora.png)
Andrew Ng has serious street cred in artificial intelligence. He pioneered the use of graphics processing units (GPUs) to train deep learning models in the late 2000s with his students at Stanford University, cofounded Google Brain in 2011, and then served for three years as chief scientist for Baidu, where he helped build the Chinese tech giant’s AI group. So when he says he has identified the ne
GitHub - ngneat/falso: All the Fake Data for All Your Real Needs 🙂
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
FineWeb: decanting the web for the finest text data at scale - a Hugging Face Space by HuggingFaceFW
Discover amazing ML apps made by the community
New ways to quickly format and organize data with tables in Google Sheets
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO
コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ
![[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b22e45515e901074206a3d756be13e4eb277a72/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fkinesis-data-streams.png)
デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
Parquet and Postgres in the Data Lake | Crunchy Data Blog
Static Data is Different A couple weeks ago, I came across a blog from Retool on their experience migrating a 4TB database. They put in place some good procedures and managed a successful migration, but the whole experience was complicated by the size of the database. The size of the database was the result of a couple of very large "logging" tables: an edit log and an audit log. The thing about l
第2回：ナップサック問題を色々な方法で解いてみた【ブレインパッドの数理最適化ブログ】 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドの社員が「数理最適化技術」に関して連載するこの企画。 第2回は、当社のデータサイエンティストが、有名問題「ナップサック問題」の様々な解法を紹介しながら、実際に筆者が設定した問題例を解く過程を紹介しています。 こんにちは。アナリティクスサービス部の内池です。この記事では 【連載】ブレインパッドの数理最適化ブログ の第2弾として、最適化手法入門 データサイエンス入門シリーズ を読んで学んだことを活かし、現実の問題を様々な方法で解いていきたいと思います。 今回のテーマは組合せ最適化の有名問題であるナップサック問題です。ナップサック問題といえば「動的計画法」を思い浮かべる方が多いと思いますが、動的計画法だけでも様々なバリエーションがある他、動的計画法以外の効率的な解法も存在します。こ
👋 Hi folks, thanks for reading my newsletter! My name is Diogo Santos, and I write about data product principles, the evolution of the modern data stack, and the journey to data mesh (the future of data architecture). In today’s article, I’ll discuss the biggest challenges in the modern data stack. How do we got here, what are the main problems, and how to address them. Please consider subscribin
週刊Railsウォッチ（20200720前編）10月開催「Kaigi on Rails」CFP募集中、enumにデフォルト値設定機能、RailsでBitemporal Data Modelほか｜TechRacho by BPS株式会社
2020.07.20 週刊Railsウォッチ（20200720前編）10月開催「Kaigi on Rails」CFP募集中、enumにデフォルト値設定機能、RailsでBitemporal Data Modelほか こんにちは、hachi8833です。情報処理技術者試験の秋の募集が始まりました。 元記事: IPA 独立行政法人 情報処理推進機構：試験実施案内：令和2年度10月試験について つっつきボイス:「そうそう、春のは中止でしたね」「受験する方はどぞよろしく〜」 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 ⚓臨時ニュース: Kaigi on RailsのCFPを7月末まで募集中 サイト: Kaigi on Rails 10/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data migration in Rails - ohbarye
Visualizing Data Timeliness at Airbnb
データは財産である LINE Data Platform室のSREが大切にしているミッション
bq_sushi #17 にて、「Data Management by dbt」という発表をしました。
Treasure Data Company Announcement
Data-centricなML開発
TypeScript: validating external data
Amazon.co.jp: 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック (KS情報科学専門書): 石原祥太郎, 村田秀樹: 本
ADO(ActiveX Data Objects)の使い方の要点｜VBA技術解説
Client- and Server-Side Data Fetching in React
Andrew Ng: Farewell, Big Data
Data Catalog: データの検出 | Google Cloud
The problems in the Modern Data Stack