What does it look like if you center a map on a specific country? Click on a country to find out. World maps are used to show the geographic relationships between the countries and regions of the world. Their design shapes our perception of the world and those relationships. Two of the important aspects of map design are the choice of map projection and what is centered in the map. The idea for th
Text editors can be an interesting challenge to program. The types of problems that text editors need to solve can range from trivial to mind-bogglingly difficult. Recently, I have been on something of a spiritual journey to rework some internal data structures in an editor I have been building, specifically the most fundamental data structure to any text editor: the text. Table of Contents Resour
GV-HUVC | UVC（USB Video Class）対応 HDMI⇒USB変換アダプター | アイ・オー・データ機器 I-O DATA
「GV-HUVC」は、HDMI出力映像を簡単にパソコンへ取り込むことができるキャプチャーデバイスです。 UVC（USB Video Class）に対応しており、本商品とHDMIケーブルで接続した一眼レフカメラやビデオカメラなどの機器は、Windows・Mac共に“カメラデバイス”として認識されますので、いろいろなHDMI映像をWebカメラのように扱うことができます。 一般的なWebカメラを使うよりマイク音声や映像が高品質であり、かつ自由な取り回しも可能ですので、伝えたい映像をリアルタイムに配信する際に活躍します。 ▶︎約2mのUSBケーブル（A-C）添付モデル「GV-HUVC/S」
How to analyse 100s of GBs of data on your laptop with Python
Many organizations are trying to gather and utilise as much data as possible to improve on how they run their business, increase revenue, or how they impact the world around them. Therefore it is becoming increasingly common for data scientists to face 50GB or even 500GB sized datasets. Now, these kind of datasets are a bit… uncomfortable to use. They are small enough to fit into the hard-drive of
【連載①】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMのビジネス利用に関して注意すべき点、その中でも使用許諾条件についてまとめました。 はじめに 本連載で扱うLLMサービスのイメージと想定する対象者 連載内容（予定） LLMの使用許諾条件について ①プラットフォーマーが提供するサービスの利用条件（主にサービス提供者・ユーザーの方向け） サービスの商用利用の可否 利用条件（制限事項） ②ソースコードが公開されたモデルのライセンス（主にプラットフォーマーの方向け） モデル等の主な使用条件 ライセンス情報の確認方
GitHub - wasmerio/ate: Distributed immutable data store with strong encryption and authentication
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Build client portals and internal tools powered by Airtable or Google Sheets data, without code | Softr
Build custom apps for your business, fast.Turn your spreadsheets and databases into client portals and internal tools. No code required. Build it yourself, with building blocks.Softr offers pre-built and functional blocks like Lists, Charts, Forms, Tables, Calendar, Maps out of the box, so you don’t need to reinvent them from scratch. Put together your app in a few minutes with drag and drop, with
レッドブルF1のDRS、魔法のボタンで空気抵抗が25%減少との指摘 | Formula1-Data / F1情報・ニュース速報解説
元F1ドライバーでSky Sportsの解説者を務めるカルン・チャンドックによると、レッドブルの2023年型F1マシン「RB19」はDRSを作動させると空気抵抗（ドラッグ）が25%も減少するのだという。 イモラ・サーキットを舞台とする第6戦エミリア・ロマーニャGPを前に39歳のインド人ドライバーはSky Sportsのポッドキャストの中で「誰かがドラッグの数値を見せてくれたんだけど、レッドブルは魔法のボタンを押すと約24～25%減少するんだ」と語った。 「これはバクーの時の数値なんだけど、ライバルの殆どは14～15%だった」 「つまり、レッドブルはドライバーにフリーなパフォーマンスを与えているという事になる。だから大抵の場合、フロントロウを獲得できるだろうし、そうでなくてもフィールドを駆け上がっていく事になるだろうね」 ディフェンディング・チャンピオンのマックス・フェルスタッペンは3勝、チ
Incremental Data Delivery with GraphQL defer and stream
これは GraphQL Advent Calendar 2020 16 日目の記事です（しかも 12 日目の記事と結構内容が被ってしまって切ない…） このエントリでは、GraphQL の @defer と @stream というディレクティブについて書いていく。色々書いていたら割と長くなってしまったが、内容は下記のとおり。 このディレクティブの登場背景ディレクティブの Specgraphql-js を用いた利用サンプル@defer / @stream とは何か@defer と @stream は共にデータの取得方法を制御するためのディレクティブだ。名前が示すとおり、クエリ全体から特定の箇所の読み込みを遅延させたり、ストリーミングさせることができる。2020 年末現在、GraphQL spec としては Stage 2（草案段階）であり、参照実装である graphql-js にも実装が存在し
RLHFを利用して用途に応じたLLMを生成できるツールの紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、ChatGPTなどで好ましい応答を得られるように、人間からAIモデルの応答に働きかける、ヒューマンフィードバックというプロセスを支援する「Transformer Reinforcement Learning（TRL）」という強化学習ライブラリを紹介します。 こんにちは。アナリティクスサービス部の橋本です。 ChatGPTの学習プロセスとして取り入れられているRLHF（Reinforcement Learning from Human Feedback、人間のフ
data-vocabulary構造化データによるリッチリザルトのサポートをGoogleが終了、schema.orgへの移行を推奨
[レベル: 上級] リッチリザルトを表示するための data-vocabulary.org 構造化データの利用を 2020 年 4 月 6 日をもって Google は終了します。 data-vocabulary.org でマークアップしていても 4 月 6 日以降は検索結果にリッチリザルトが出なくなります。 data-vocabulary.org でマークアップしているサイトは早めに schema.org へ移行する必要があります。 古い規格の data-vocabulary.org data-vocabulary.org について軽く触れておきます。 もっとも data-vocabulary.org について知らない人はそもそも今回の知らせとは無関係でしょう（ようは無視できる）。 data-vocabulary.org は microformats と並んでずっと以前から使われている構
最近の砂場活動その12: Data Studioを使ってGoogle Analyticsと任意のデータを紐付けてデータ分析する - yasuhisa's blog
仕事でデータ分析をやる機運が高まっていて、Google Data Studioをぼちぼち使っていこうとしてる。仕事のデータは分析する前のデータパイプラインなどあれこれ考える必要があるので、ひとまず趣味プロジェクトのML-Newsを題材にして遊んでみる。こういうときに雑に遊べる砂場プロジェクトは最高。 Data Studioの大雑把な概念 Data Source Reports / Explore 複数のData Sourceを統合して分析 あとは分析しまくる 感想 参考 Data Studioの大雑把な概念 Data Source Data StudioにはData Sourceという概念がある。Data Sourceは名前の通りデータソースで分析をかける対象データを指す。例えば Google Spreadsheet Google Analitics BigQuery Cloud Span
TokyoTechX: Science, Engineering, AI & Data Ethics | 科学技術・AI倫理
Want to learn how to identify and solve every day ethical issues in engineering, science and Artificial Intelligence (AI)? If yes, this is the course for you! Ethics plays an integral role when it comes to engineering and science practice and recently is impacted by AI and big data analysis. This course originally released in 2017 teaches traditional preventive engineering ethics but emphasizes as
Last week, the drop-in audio chat app “Clubhouse” enabled rare unfettered Mandarin-language debate for mainland Chinese iPhone users, before being abruptly blocked by the country’s online censors on Monday February 8, 2021. Alongside casual conversations about travel and health, users frankly discussed Uighur concentration camps in Xinjiang, the 1989 Tiananmen Square protests, and personal experie
Right now, when you go to copilot.github.com you're greeted with this example: async function isPositive(text) { const response = await fetch(`http://text-processing.com/api/sentiment/`, { method: 'POST', body: `text=${text}`, headers: { 'Content-Type': 'application/x-www-form-urlencoded', }, }); const json = await response.json(); return json.label === 'pos'; } This is bad and might result in sec
OpenAI、トレーニング用の安全で広範なデータセット構築目指す「Data Partnerships」立ち上げ
米OpenAIは11月9日（現地時間）、AIモデルをトレーニングするためのパブリックおよびプライベートのデータセットを構築するためにサードパーティと協力するパートナーシップ「OpenAI Data Partnerships」の立ち上げを発表した。 同社は公式ブログで、このパートナーシップの目的は「より多くの組織がAIの将来の舵取りを支援できるようにし」「より有用なモデルから恩恵を受けられるようにすること」と語った。 「最終的に全人類にとって安全で有益なAGIを実現するには、AIモデルがすべてのテーマ、業界、文化、言語を深く理解」する必要があり、そのために可能な限り広範なトレーニングデータセットが必要だとしている。 データには、画像、音声、動画などを含める予定で、多様な言語、トピック、形式での長文のテキストや会話など、「人間の意図を表現する」データも含める計画。 パートナーシップ参加組織と協
はじめまして、Newspicksでエンジニアしています、Hoàngです。 新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。 なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。 ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。 また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong
GitHub - fabian-hiller/valibot: The modular and type safe schema library for validating structural data 🤖
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
How to pick more beautiful colors for your data visualizations - Datawrapper Blog
They’re different. The red that Nadieh uses ⬤ is different from your typical red ⬤. The green ⬤ is… can you even call it a green ⬤? So before we impose rules that limit us, let me freak you out a bit: There are thousands of colors you can use. There is yellow-ish red ⬤ and blue-ish red ⬤ and everything in between. There is gray ⬤, but there is also cold gray ⬤ and there is warm gray ⬤. And then th
Query any data source with Amazon Athena’s new federated query | Amazon Web Services
AWS Big Data Blog Query any data source with Amazon Athena’s new federated query April 2024: This post was reviewed for accuracy. Organizations today use data stores that are the best fit for the applications they build. For example, for an organization building a social network, a graph database such as Amazon Neptune is likely the best fit when compared to a relational database. Similarly, for w
【初心者向け】DLM (Data Lifecycle Manager)で周期的にEC2スナップショットを作成してみた | DevelopersIO
こんにちは！ 最近筋トレを始めて、毎日筋肉痛に苦しんでいるコンサルティング部のキムです。 皆さんは運動してますか？体力の管理もセルフマネジメントの大事な部分だと思ってます！ さて、案件で周期的にEC2のスナップショット（正確にはEC2にマウントされているEBSのスナップショット）作成をAmazon DLMを活かして設定してみたので、 この内容を本ブログの記事として整理したいと思います。 それでは、始めます！:) 目次 一般的なEC2のバックアップ方法 EC2 インスタンスをバックアップする方法は大きく二つの方式があります。 AMI作成 Snapshot作成 AMI作成の場合はインスタンスのメタデータおよびOSがインストールされたそのままのイメージ（一個以上のスナップショット + メタデータ）を作ります。 Snapshot作成の場合はインスタンスに付いているEBSボリュームのスナップショット
SaaS最初のプライシングをどう決める？ Fond福山太郎、Treasure Data太田一樹と芳川裕誠に聞く、それぞれの実践
はじめてSaaSのプロダクトをリリースする際、避けて通れないのがプライシング。会社の成長スピードを大きく左右するものでありながら具体的な方法論が確立されておらず、誰もが頭を悩ませる問題です。 適切なプライシングを行うためには、どんな視点が必要なのか。Fondの福山太郎さん、Treasure Data太田一樹さんと芳川裕誠さんに、それぞれのプライシングの考えをうかがいました。 聞き手は、ALL STAR SAAS FUNDの前田ヒロです。 アメリカで起業し、2012年から福利厚生代行サービスを提供するFond。その創業者でありCEOを務める福山太郎さんは、プライシングについて「最初は安く、徐々に高めていくのがいい」と語ります。 適正価格に近づいている手応えを感じる反応や値上げの頻度まで、具体的なテクニックを聞かせてくれました。 最初の価格設定は重要ではない前田：福山さんがこれから新しいプロダ
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to data masking BigQuery supports data masking at the column level. You can use data masking to selectively obscure column data for users groups, while still allowing them access to the column. Data masking functionality is built on top of column-level access control, so you should fam
GitHub - davnicwil/react-frontload: Async data loading for React components, on client & server
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Dr Kirstin Ferguson on Twitter: "The clever people at @NASA have created this deceptively simple yet highly effective data visualisation showing mon… https://t.co/geUA4gM2AH"
The clever people at @NASA have created this deceptively simple yet highly effective data visualisation showing mon… https://t.co/geUA4gM2AH
Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services
AWS News Blog Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity Today we are launching Amazon Kinesis Data Streams On-demand, a new capacity mode. This capacity mode eliminates capacity provisioning and management for streaming workloads. Kinesis Data Streams is a fully-managed, serverless service for real-time processing of streamed data at a massive scale. Ki
This corpus is an attempt to recreate the dataset used for training XLM-R. This corpus comprises of monolingual data for 100+ languages and also includes data for romanized languages (indicated by *_rom). This was constructed using the urls and paragraph indices provided by the CC-Net repository by processing January-December 2018 Commoncrawl snapshots. Each file comprises of documents separated b
AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 データアナリティクス – 専門知識」と
Leaked Documents Expose the Secretive Market for Your Web Browsing Data
Leaked Documents Expose the Secretive Market for Your Web Browsing Data An Avast antivirus subsidiary sells 'Every search. Every click. Every buy. On every site.' Its clients have included Home Depot, Google, Microsoft, Pepsi, and McKinsey. Update: On Thursday and after this investigation, Avast announced it will stop the Jumpshot data collection and wind down Jumpshot’s operations with immediate
Brendan Carr on Twitter: "TikTok is not just another video app. That’s the sheep’s clothing. It harvests swaths of sensitive data that new r… https://t.co/KnUagoqgSJ"
TikTok is not just another video app. That’s the sheep’s clothing. It harvests swaths of sensitive data that new r… https://t.co/KnUagoqgSJ
FOSDEM 2024/Schedule/Events/Developer rooms/Web Performance/Fast JavaScript with Data-Oriented Design Let’s squeeze the last bits of performance out of JS so that we can crunch massive amounts of data! In this presentation I will describe what I learned while optimizing the Firefox Profiler. The Firefox Profiler is a web application which needs to handle large profiles containing hundreds of thous
変分オートエンコーダを用いた気象データ画像の生成 Generating Weather Data Images Using Variational Autoencoder - Qiita
変分オートエンコーダを用いた気象データ画像の生成 Generating Weather Data Images Using Variational AutoencoderDeepLearningKerasAutoencoder生成モデル気象データ 1. はじめに 画像生成の分野などで変分オートエンコーダ(Variational Autoencoder)が用いられる場合があります。 Variational Autoencoder(以下、VAE)については既に多くの解説がなされています。 理論的なところは下記を参考にさせて頂きました。 Variational Autoencoder徹底解説 この手法をいくつかの気象データに適用してみました。 2. 手法 2.1 ネットワーク 下記のサイトのソースをほぼ流用させて頂きました。 【Python】Keras で VAE 入門 ネットワークは入力画像か
【挑戦者求ム】ぼくの考える最速のData LoadingとData Augmentation（Kaggle notebook） - Qiita
【挑戦者求ム】ぼくの考える最速のData LoadingとData Augmentation（Kaggle notebook）Python画像処理DeepLearningKagglePyTorch はじめに まぁタイトルの通りなのですが、Kaggle notebook上で行う最速のData LoadingとData Augmentationを考えてみたので紹介します。より速い方法を知っている方は教えてください！ 今回の題材は以下のように設定します。 データ こちらのコンペのデータを使います。10.2k枚のjpg形式の犬の画像です。 https://www.kaggle.com/c/dog-breed-identification/data 実行環境 GPUをenableにしたKaggle notebookで行います。 2 CPU cores 13 GB RAM Tesla P100 条件
GitHub - octoproject/octo-cli: CLI tool to expose data from any database as a serverless web service.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Data Catalog のポリシータグで BigQuery カラムレベルのアクセス制御が可能になったので試してみた | DevelopersIO
こんにちは、みかみです。 これまで BigQuery のデータのアクセス制御を指定できる最下層のリソースはデータセットで、テーブルやカラム単位でのアクセス制御はできませんでしたが、Data Catalog のポリシータグを付与することで、カラムレベルのアクセス制御が指定できるようになったそうです。 BigQuery の列レベルのセキュリティで、きめ細かなアクセス制御を ｜ GCP ブログ Introduction to BigQuery Column-level security ｜ BigQuery ドキュメント Restricting access with BigQuery Column-level security ｜ BigQuery ドキュメント やりたいこと BigQuery のカラムレベルのアクセス制御を行うにはどうすればいいのか知りたい BigQuery のカラムレベルの
GitHub - binpash/pash: PaSh: Light-touch Data-Parallel Shell Processing
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - evidence-dev/evidence: Business intelligence as code: build fast, interactive data visualizations in pure SQL and markdown
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Michael P. Notter | Advanced exploratory data analysis (EDA)
How to quickly get a handle on almost any tabular dataset [Find the Jupyter Notebook to this article here.] Getting a good feeling for a new dataset is not always easy, and takes time. However, a good and broad exploratory data analysis (EDA) can help a lot to understand your dataset, get a feeling for how things are connected and what needs to be done to properly process your dataset. In this art
CLAIM: Because 14 people in Pfizer’s placebo group died and 15 people in the vaccinated group also died, Pfizer’s data shows its COVID-19 vaccine does not reduce the risk of dying from the disease. AP’S ASSESSMENT: False. Those figures reflect deaths from all causes during Pfizer’s ongoing study of its vaccine. Pfizer’s data shows that the vaccine is highly effective at preventing serious illness.
GitHub - axa-group/Parsr: Transforms PDF, Documents and Images into Enriched Structured Data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Country Centered Map Projections - Engaging Data
Text Editor Data Structures
Clubhouse in China: Is the data safe?
Encoding data for POST requests
Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita
Introduction to data masking | BigQuery | Google Cloud
CC-100: Monolingual Datasets from Web Crawl Data
FOSDEM 2024 - Fast JavaScript with Data-Oriented Design
Posts misrepresent Pfizer data on vaccine efficacy