[B! データ] tk-1124のブックマーク

Lake Formation を使用し AWS アカウント間でセキュアにデータ共有を実現 | Amazon Web Services

Amazon Web Services ブログ Lake Formation を使用し AWS アカウント間でセキュアにデータ共有を実現近年、多くの企業で構造化データ・非構造化データをスケーラブルな形で一箇所に集約したいニーズが増えてきたことから、データレイクが非常に注目を集めています。データは元のまま保管されているため、事前に定められたスキーマへの変換は必要なく、ビジネスユースケースに応じて柔軟に新たな分析をデータレイク上で始めることができます。実利用においては、自社が所有するデータを他の企業、組織、またはビジネスユニットに共有したい要件がよくあります。例として、他社のステークホルダーに自社のデータを共有し、共同のマーケティングキャンペーンを打ち出すなどが考えられます。このようなユースケースで、データの提供元 (プロデューサー) は自身のデータを丸ごとコピーすることなく、セキュアかつ

tk-1124 2022/03/16

リンク

Amazon RedshiftとDBeaverで空間検索してみた - Qiita

この記事は、「AWS Advent Calendar 2021」の2日目の記事です。 Amazon RedshiftとDBeaverで空間検索をしてみました今回は、AWSが提供するクラウドデータウェアハウスのAmazon RedshiftにDBeaverで接続し、位置情報データのインポートや空間関数を実行してみました! 位置情報データの事前準備事前準備としてQGISを利用し、ランダムポイント(青色の100万件)と空間検索用ポリゴン(黄色の3件)を、Amazon Redshiftで標準対応しているshapefile形式で準備しました。 QGIS #065 - 指定範囲にランダムポイント作成また、Amazon Redshiftにインポートするためにデータ一式をS3にアップロードしておきます。 Amazon Redshiftのクラスター作成はじめに、Amazon Redshiftのクラス

tk-1124 2022/01/22

リンク

Google BigQueryは「速い・安い・シンプル」の3拍子揃ったビッグデータ処理サービス～3大クラウドサービス比較～ - GiXo Ltd.

Google BigQueryは「速い・安い・シンプル」の3拍子揃ったビッグデータ処理サービス～3大クラウドサービス比較～ Google BigQueryをAmazon Redshift、Microsoft Azure SQL Data Warehouseと比較世の中にコンピュータが登場したから多くの種類のデータベース(DB)が登場し、使用用途、データ特性などで様々なDBを使い分けてきました。そして、最近ではDBの動作環境が、目の前のコンピュータではなく、クライドに移行し、更に処理できるデータ量が大きくなっています。特にビッグデータの分野では、Amazon Redshiftに代表される専用DBサービスが登場し、速く、安く、そして簡単にビッグデータの分析が行えるようになりました。今回は、そのようなクラウドのビッグデータ処理サービスの中から「Google BigQuery」について触れてみ

tk-1124 2022/01/22

リンク

テラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行 | Amazon Web Services

Amazon Web Services ブログテラバイト級のデータを Google BigQuery 用 AWS Glue Connector を使って Google Cloud から Amazon S3 へ素早く移行本記事は Amazon Web Services, Senior Analytics Specialist Solutions Architect である Fabrizio Napolitano によって投稿されたものです。データレイクは、クラウドに構築すると有利になることがあります。セキュリティ、デプロイ時間の短縮、可用性、頻繁な機能の更新、弾力性、地理的に広範囲なサービス展開、および使った分だけ発生するコストが理由です。ところが、最近の Gartner や Harvard Business Review の調査によると、マルチクラウドやインタークラウド・アーキテクチ

tk-1124 2021/08/17

リンク

データ基盤チーム0人で運用は回るのか？！前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ

技術部データ基盤グループの青木です。ここ1、2年はなぜか成り行きでBFFをでっちあげたり、成り行きでiOSアプリリニューアルのPMをしたりしていたのであまりデータ基盤の仕事をしていなかったのですが、今年は久しぶりに本業に戻れたのでその話をします。突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。間違いなく去年末は5人のチームだったと思うのですが、メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、なんと4月から1人だけのチームになってしまいました。事はそれで終わりません。恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0

tk-1124 2020/12/29

リンク

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。疑っているわけ

tk-1124 2020/12/29

リンク

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。そういったケースで参考にできるかもしれません。弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

tk-1124 2020/11/05

リンク

効果検証入門から見直す「データサイエンス」

機械学習による確率推定とカリブレーション/probabilistic-calibration-on-classification-model

tk-1124 2020/08/29

リンク

[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 | DevelopersIO

[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 Partition Projection（パーティション射影）は、テーブル定義で指定したパーティションキーのルールやフォーマットからパーティションを計算し、パーティションプルーニングを自動化します。パフォーマンスの向上やパーティション管理の自動化などインパクトがある新機能なので、実際の動作を確認しつつ、ユースケースについて解説します。用語の補足：パーティションプルーニングとは、一定の期間（年、月、日）やキー情報に基づき、データを分割管理したデータをクエリする際に、範囲外のデータスキャンを避ける仕組みを表します。 Glueパーティションの課題従来のGlueパーティションは、メタデータストアがパーティション情報を保持しているので、データストア（S

tk-1124 2020/06/28

リンク

日立が「AWS直結ストレージ」、エクイニクスのデータセンターで提供開始

日立製作所は2020年1月28日、パブリッククラウドと高速通信が可能な「ストレージボリューム提供サービス on Equinix IBX」を同年1月31日に販売開始すると発表した。エクイニクス・ジャパンの東京などのデータセンター（DC）に日立製のストレージを設置し、容量に応じた月額課金でユーザーに貸し出す。エクイニクスのインターコネクション（相互接続）機能により、ストレージとパブリッククラウドAmazon Web Services（AWS）との間を高速に結ぶ。将来はMicrosoft AzureやGoogle Cloud Platform（GCP）などを接続先に加えたマルチクラウド環境の提供を視野に入れる。「機密データを手元に置きながら、ニーズに応じて複数のクラウドを活用できる」。日立の森村知弘 ITプロダクツ統括本部プロダクツサービス＆ソリューション本部グローバルサービス部主任技師

tk-1124 2020/01/28

リンク

機械学習で使用する手法を全公開 - Qiita

株式会社デジサクがお送りするプログラミング記事、今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」もフォロー頂けると嬉しいです。機械学習の一連手順まず、機械学習を習得するために必要なスキルは下記です。実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で

tk-1124 2020/01/03

リンク

アプリケーションにおけるデータ不整合との戦い - blog.syfm

これは Aizu Advent Calendar 2019 の 15 日目の記事です。14 日目は uzimaru0000 さん、16 日目は kacky__917 さんです。はじめに世の中には日々たくさんの価値ある Web サービスが生まれていますが、その価値を正しく提供するにはアプリケーションが正しく動かなければなりません。たとえばアプリケーションは適切なユーザに適切なリソースを提供しなければならず、エラーを返す際は十分に定義された仕様に沿って返し、UI 側ではユーザに適切なメッセージを表示しなければなりません。実際のところ、これらを厳密に実現するのは非常に困難ですが、アプリケーションにはこれら以上に複雑な問題が常につきまといます。現在の Web アプリケーションはほとんどが分散システムの一形態です。例えばクライアントとサーバや、サーバとデータベースがネットワークを介して接続

tk-1124 2019/12/15

リンク

Microsoft Research、データ可視化アプリケーション「SandDance」をGitHubに

Microsoft Researchは現地時間10日、データ可視化Webアプリケーション「SandDance」をOSS化し、新たにJavaScriptやReactで動作する形でGitHubに公開したことを公式ブログで発表した。公式ブログより「SandDance」は、Microsoft ResearchのSteven Drucker(スティーブン・ドラッカー)氏とRoland Fernandez(ローランド・ヘルナンデス)氏が開発を率いるWebベースで動作するBIツールで、2011年の発表以来、機能向上を重ねている。公式Webには数千から数万の単位を持ついくつかのサンプルデータソース(BabyNames、CofeeSales、Colleges、DemoVote、Sales、Titanic)が設置されており、グリッド、コラム、分布(Scatter)、密度(Density)などのアイコンをク

tk-1124 2019/10/13

リンク

Googleが大量の機械学習用データベースを無料公開してた - Qiita

個人用メモです。機械学習は素材集めがとても大変です。でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類使い方はExploreから画像セットを探し、ダウンロードするだけ。他の方法も見つけた open images dataset 「すごい神だな」と思ったのはこれもう完成されてますよねもちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。他にも良い素材集を教えていただきました（はてなブックマーク情報 @sek_165 さん）

tk-1124 2019/04/10

リンク

Redashを0から布教して社員全員に効果検証の文化を根付かせた話 - BASE開発チームブログ

(BASEオフィス内の光景) 初めにこんにちは！BASEでBack-end Engineer Groupに所属している菊地陽介です！今年度からBASEでは世のエンジニアに興味を持ってもらおうと、積極的に技術ブログを発信していこうという運びとなりました。本記事を読んで少しでも興味を持って頂けましたらぜひ私までご連絡ください！さて、私はRedash エヴァンジェリストとしてRedashを社内に普及させましたので、その話について書こうと思います。「Redashって何？」、「Redashサーバってどうやって立てるの？」、「Redashの便利機能は？」などの疑問については先に素晴らしい記事がたくさんありますので、そちらを参考にされてください。この記事では、Redashをどのように社内に普及させたのかということについて述べたいと思います。背景私がBASEに入社したのは、今からちょうど一年前の

tk-1124 2018/04/25

リンク

データサイエンティスト含むデータ分析職の仕事がつらい4つの理由：洋の東西を問わずつらみは同じらしい - 渋谷駅前で働くデータサイエンティストのブログ

(Image by Pixabay) 某所でバズっていたこの記事ですが。もう読んだ瞬間に「うわー、これ完全に洋の東西を問わずデータ分析業界だとどこでも見られる、業界つらみあるあるだなー」という感が湧いてきて、こみ上げてくる涙が押さえきれませんでした（嘘）。という軽口はさておき、実際にほぼ同じ内容の愚痴をUSでデータサイエンティストとして働いていた知人からも直に聞いたことがあるので、個人的にもかなり説得力のある話だなと思いました。この記事の若干嫌なところは「データサイエンティストたちはいつでも転職活動をしている、何故ならどこの職場に行っても以下のつらみがあるからだ」という書き方をしている点。いや、データサイエンティスト含むデータ分析職が全員常に転職活動しているかというとさすがに違うだろうと思いますが、「それくらいつらいんですマジ勘弁して下さい」と言われたら頷かざるを得ないのもまた事実かな

tk-1124 2018/04/03

リンク

AWS S3 にデータを蓄積しながら、Google Cloud Storage にもデータを蓄積しよう - Qiita

AWS S3 にデータを蓄積しながら、Google Cloud Storage にもデータを蓄積しようAWSGCSNiFigooglecloud 前回は、Apache NiFi を使って、GCP GCS にデータを蓄積する方法を紹介しました。 Apache NiFi を使って Google Cloud Storage にデータを蓄積しよう今回は、「異なる環境でデータフローを管理したい」「データ基盤環境を徐々に移行したい」という要望があるときに、Apache NiFi の "Site to Site" という機能が、とっても便利なので紹介します。ここでは、AWS S3 にデータを書き込みながら、同じデータを Google Cloud Storage (GCS) に書き込むようなデータフローを試してみたいと思います。（図には、RedshiftとBigQuery のアイコンがありますが、ここ

tk-1124 2018/03/27

リンク

はてなブックマーク

タグ

関連タグで絞り込む (25)

データに関するtk-1124のブックマーク (18)

お知らせ

今週のはてなブックマーク数ランキング（2024年9月第4週）

今週のはてなブックマーク数ランキング（2024年9月第3週）

今週のはてなブックマーク数ランキング（2024年9月第2週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス