このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
Yo Ehara @yo_ehara 葬送のフリーレン、「自分の身の回りの世話をしてくれて血がつながっていない、天才だけど経験だけ不足していて、経験だけは豊富に持ってる自分を尊敬してくれる弟子が1名だけ欲しい」というのは、増えてきた高齢独身者層の願望を如実に表している…そして、この層はアニメ漫画に金払える。上手い。 2023-10-18 08:22:20 Yo Ehara @yo_ehara Assoc. Prof., Tokyo Gakugei University. PRESTO, ACT-X, & ACT-I Researcher. EduNLP, AIED, EDM. Tweets are my personal opinions, not represent my affiliation. researchmap.jp/yo_ehara
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
約5年5か月働いたTreasure Dataを7/22に退職した。7/25からShopifyに入社し、RustでJITコンパイラを開発してRubyを高速化する仕事をする。 仕事としてやりたい分野が変わってきて自分は今回転職したけど、とても良い会社なので、この記事がTreasure Data (以下TD) で働くことに興味がある人の参考になれば良いと思っている。*1 5年勤続記念にいただいたトロフィー やっていたこと APIチーム 元々TDにはJavaで分散システムを書きたくて入社したのだが、TD入社前に特にそういう経験があるわけでもなく主にRailsをやっていたこともあり、Railsでプラットフォームを開発するチームに入った。基盤開発をやりたいと思いながらサービス開発者として最初働き、後に基盤開発チームにジョインするみたいな過去の経験があったので、今回もそういう感じでいけると考えていた。実
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－ - NRIネットコムBlog
小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「～ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載
SQLクエリを実行、クエリ結果を可視化できるウェブアプリ「SQLPad」を試してみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 SQLクエリをローカル環境でウェブアプリとして実行できるものが無いか少し探していたのですが、「SQLPad」というアプリケーションを見つけたので実際に試してみたいと思います。 SQLPadとは SQLクエリを実行、クエリ結果を可視化できるセルフホスティング型のウェブアプリケーションです。2022年1月現在では以下の15個のデータベースに対応しており、ODBCにも対応しているのでODBC接続を利用すれば、これ以外のデータベースにも接続可能なようです。 Postgres MySQL SQL Server ClickHouse Crate Vertica Trino Presto Pinot Drill SAP HANA Snowflake BigQuery SQLite TiDB 公式サイトでの解説は以下の
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
SmartNewsのサーバーサイドのすべて 大規模サービスを支えるアーキテクチャと技術スタック サーバサイドの技術スタック・アーキテクチャ総ざらい 2019年5月28日、「SmartNews Tech Night in Fukuoka Vol.1」が開催されました。日米4,000万ダウンロード (※1)を超えるニュースアプリ「SmartNews」の今と、技術にまつわる裏側について包み隠さず語る本イベント。プレゼンテーション「サーバーサイドの技術スタック・アーキテクチャ総ざらい」に登壇したのは、SREチームのEngineering Managerを務めるNobutoshi Ogata氏。SREチームの立ち上げを行い、EMとして活躍する同氏が、SmartNewsに用いられるサーバーサイドの技術について明かします。※1:日米Google Play、App Storeのダウンロード数を合算した数値
リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活
「風の谷のナウシカ」の原作漫画は「腐海」が世界の汚染を浄化した後に「詩と音楽を愛して争わないようにプログラムされた人間が、高度な科学技術を持つ生体AIのような不死の管理者の下で生きる世界こそ幸せ」という宗教と戦うナウシカの話
Yo Ehara @yo_ehara Assoc. Prof., Tokyo Gakugei University. PRESTO, ACT-X, & ACT-I Researcher. EduNLP, AIED, EDM. Tweets are my personal opinions. For English accnt, cf. @EharaLab researchmap.jp/yo_ehara Yo Ehara @yo_ehara 「風の谷のナウシカ」の原作漫画って実はこういう話なんですよね…腐海が世界の汚染を浄化した後に「詩と音楽を愛して争わないようにプログラムされた人間が、高度な科学技術を持つ生体AIのような不死の管理者の下で生きる世界こそ幸せ」という宗教と戦うのがナウシカ。 x.com/shiropen2/stat… Seamless @shiropen2 ネコとAIだけが暮
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します
―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang：私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私
2023 年はビジネスとオープンソースの関係が難しくなった年であったように思います。 6 月には、フルタイムの Ruby コミッターとして研究開発を行っていたお二人がクックパッド社の人員削減の影響を受けたことに端を発して、オープンソースに深く関わってきた一部のソフトウェア・エンジニアを中心に、ビジネスとオープンソースの関係について議論がありました。 8 月には HashiCorp 社が自社のオープンソース製品群のライセンスを Business Source License 1.1 (BSL) に変更したことも話題になりました。 また 2023 年は、一年を通して大規模言語モデル (Large Language Models; LLM) が話題になった年でもあり、ビジネスにも大きな影響がありました。 大規模言語モデルとオープンソースの関係に焦点を絞っても、「非オープンソースのライセンスで公開
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
高性能分散SQLエンジン「Trino」最速ガイド - NTT Communications Engineers' Blog
こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL)に準拠したアクセスをワンストップに提供 並列処理でビッグデータに対して容易にスケールアップ しかも高速(hiveの数十倍) Netflix, LinkedIn, Salesforce, Shopif
「Operaは変わり果てたのでもう使うな」と有識者が語る
ノルウェー発のウェブブラウザのOperaは、「Opera最強伝説」で知られるなど、ニッチながら根強い人気に支持されているブラウザです。テクノロジージャーナリストのコービン・ダベンポート氏が、「素晴らしいウェブブラウザだったが見る影もなくなった」としてOperaや派生ブラウザのOpera GXを使うのをやめることを宣言し、その理由をブログを説明しました。 Stop using Opera Browser and Opera GX https://www.spacebar.news/stop-using-opera-browser/ ◆これまでのOperaの足取り Operaは1995年にリリースされたウェブブラウザで、当初は有料ソフトウェアだったということもあり、当時主流だったInternet ExplorerやNetscape Navigatorに比べてユーザーは少なく、全盛期でさえニッチ
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
しのゆ🎀うぇぶえんじにゃぁ @shinoyu これ経由で元のコードよんだけどなかなかつらい実装になってて、ないちゃった github.com/IMI-Tool-Proje… 絶対これ以外あるでしょ....うわー twitter.com/yuya_presto/st… 2023-06-06 16:31:52 ypresto @yuya_presto 経済産業省・デジ庁が公開していたものの朽ちてしまっていた住所正規化ライブラリ、いろいろ手直しして動く状態にしました！ 河野大臣が挙げていらした「東京都港区赤坂１丁目２の３」も正規化できます。 ブラウザ上でのお試しにも対応しました！ imi-enrichment-address.vercel.app github.com/ypresto/imi-en… 2023-06-06 16:02:27 リンク GitHub imi-enrichment-a
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ
S3データレイクをAWSの分析サービスを使って有効活用する #AWS-06 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょうか？本セッションでぜひAWSの分析サービスの活用術をおさらいしてみてください。 概要 データの持つ力を活かす方法としてデータレイクがありますが、データレイク上にデータは貯まってきたものの、どう有効活用すればいいか悩んだ経験はないでしょうか？データレイクに存在するデータと分析ツールと組合せ、活用する方法として、“レイクハウスアプローチ”があります。本セッションでは"レイクハウスアプローチ"の考え方を紹介すると共に、どのようなAWSサービスを用いて"レイクハウスアプ
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
オープンソースのコミュニティに関わる人々から、なぜ Vivaldi ブラウザは完全なオープンソースではないのかと、よく訊かれます。このブログ記事で Vivaldi の立場を詳しくご説明したいと思います。 見方によっては、Vivaldi ブラウザのソースコードをオープンソースライセンスの下でリリースするのは、とても簡単なことのように思えるかもしれません。 Vivaldi は無料で提供されており、検索やパートナーとの提携で収益を得ています。そう考えると、Vivaldi の開発に役立つ可能性があるのに、なぜソースコードにアクセスできるようにしないのか？という疑問がわきますよね。 Vivaldi としては、そのような観点があることも理解していますし、Vivaldi 社内でもオープンソースやオープンソースのソフトウェアの使用を支持する人が多くいるのは事実です。この点は社内でもよく議論されています。
AWSサービスのServerlessオプションの特徴・比較・まとめ・プロビジョニングとの違い －Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSサービスの一部でクラスターやインスタンスのプロビジョニングに対して用意されているServerlessオプションについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 Serverlessオプションが使える主なAWSサービス Amazon Aurora Serverless v1 Amazon Auroraの概要 Amazon Aurora Serverless v1の特徴 Amazon Aurora Serverless v1の設定項目 Amazon Aurora Serverless v1の料金 プロビジョニング型とServerlessオプショ
アジア最大級の国際Scalaカンファレンスである「ScalaMatsuri2020」がオンラインで開催されました。そこでTreasure DataのTaro L. Saito 氏がScalaに関するいろいろなテクノロジーを紹介しました。まずは、バックエンドとフロントエンドの両方で使えるScalaについて。 趣味はオープンソースのプロジェクトを作ること Taro L. Saito氏：「Scala For Everything」というタイトルで発表します。簡単な自己紹介を。Treasure DataのSaitoといいます。Principal Software Engineerをしていて、今、カリフォルニア、アメリカの西海岸から発表しています。タイムゾーンの都合上、今こちらは夜の20時なんですけれども、ScalaMatsuriの運営の麻植さんが、タイムゾーンに配慮してくださったので、非常に感謝し
上表の「特徴的な追加/改善内容」の列を見てもらうと分かる通り、下記3つのポイントが機能改善の傾向として共通している（なお、YugabyteDBは2020年2月に2.1をリリース済で2.2の差分が小さい）。 OLAP向け機能の強化（カラムナストア、ベクター化実行） 悲観的ロックのサポート バックアップとリカバリの機能強化 それぞれがどんな意図を持って追加されたのか、次節以降で私なりに解説をしていく。 1. OLAP向け機能強化 このテーマについて議論する前に一つ触れるべきなのは、 「NewSQLは分析系クエリ、つまりOLAP処理に適しているのか？」 という疑問である。 個人的にこれに回答するならば、現時点では"No"となる。 シンプルな言い方をすればRedshiftやBigQuery、最近であればSnowflakeなど分析クエリを専門とするデータベースとは方向性が異なり、まともには競えない。
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーでデータエンジニア兼マネージャーをしている安藤です。 社内で利用しているAIプラットフォームの構築、提供を担当しています。 ヤフーには100を超えるサービスがあり、各サービスのデータ＊1が蓄積されています。ヤフーではこれらのデータをマルチビッグデータと呼んでいます。マルチビッグデータを利用し、ユーザの利便性やサービスの質向上のため、AI、機械学習の導入が増えています。 今回は、社内で急速に利用が進んでいる内製のAIプラットフォームを紹介します。 ＊1 この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 AIプラットフォーム開発の目的 AIプラッ
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview 」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「分断されてしまったデータを2000台を超えるひとつのデータプラットフォームに統合した話」です。 LINEでは現在、200ペタバイトを超えるデータ分析基盤を運用しています。このデータプラットフォームはInformation Universe（以下、IU）と呼ばれており、LINEで扱うすべてのデ
GitHub - tobymao/sqlglot: Python SQL Parser and Transpiler
SQLGlot is a no-dependency SQL parser, transpiler, optimizer, and engine. It can be used to format SQL or translate between 21 different dialects like DuckDB, Presto / Trino, Spark / Databricks, Snowflake, and BigQuery. It aims to read a wide variety of SQL inputs and output syntactically and semantically correct SQL in the targeted dialects. It is a very comprehensive generic SQL parser with a ro
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
どうもC#erの@MeilCliです。仕事ではAndroidエンジニアをしていますがC#erなのでアドベントカレンダーではC#について書きます 今回参加しているアドベントカレンダーはこちらです。3日目の記事になります adventar.org あと、同様なカレンダーがもう一つあります adventar.org 問: どれが早いか int? n = 0; if (n.HasValue) {}// ① if (n is int) {}// ② if (n is int and int) {}// ③ if (n is not null) {}// ④ ※ Roslyn master(25 Nov 2020)時点 正解はこの記事の中盤に書いています n.HasValueとはなんぞや C#erではない人向けに解説すると、C#のnull許容型は2種類(null許容参照型・null許容値型)が存在しま
TL;DRdbt, Dataformについて簡単に紹介dbtDataform比較対応するプラットフォーム主要な機能外部ツールとの接続性運用時のあれこれ両者のPros/Consまとめ私たちの選択どちらを使うべきなのか？選ばれたのは、dbtでしたまとめ最近、業務でDWH / Datamartの整備やデータ品質の担保を効率的に行いたくなる事情があり、調査したところdbtとDataformがツールとして有力そうだったので、比較してみました。 TL;DRdbtは機能が充実しており、カスタマイズするポイントも多く様々な要件に対応できそうです。反面、理解し使いこなすための学習コストがかかります。DataformはWebビューによる開発体験が非常に良いです。機能もほとんどはわかりやすく、迷うことも少ないです。一方、dbtに比較して融通はききづらいです。どちらも十分な機能は備えている素晴らしいツールだと感じ
90年代のハイテクスニーカーブーム ハイテクスニーカー遍歴 ナイキ・エアズームフライト95 ナイキ・エアマックス97 ナイキ・エアプレスト 復刻して欲しいナイキの名作 ナイキ・エアフットスケープ95 ナイキ・エアラバドーム まとめ 90年代のハイテクスニーカーブーム 私、YMは1979年生まれ。 1990年代後半に多感な思春期を過ごし、2000年に入った頃は大学に通い様々な人たちと関わる中でファッション感性が開花した時期だったと思います。 【ナイキ・エアマックス95】90年代のハイテクスニーカーブームを回顧する 【マウンテンリサーチ 前編】私と.....RESEARCHとの勝手な物語 「デイタム」は知る人ぞ知るバッグブランド「キバデザイン」の系譜 この辺りでも青春時代のお話を少ししましたが、90年代と言えば空前のハイテクスニーカーブームが有名です。 社会現象にまでなったエアマックスの人気や
Amazonは乾電池やUSBハブなどの日用品を取り揃える「Amazonベーシック」や、シャツなどの衣服をラインナップする「Amazon Essentials」などの自社ブランドを展開しています。しかし、Amazonは「自社ブランドの製品を検索結果の上位に表示させている」といった独占的な振る舞いが指摘されており、規制当局の追及を回避するために自社ブランドを縮小し、自社ブランド部門の閉鎖も計画していることが報じられています。 Amazon Has Been Slashing Private-Label Selection Amid Weak Sales - WSJ https://www.wsj.com/articles/amazon-has-been-slashing-private-label-selection-amid-weak-sales-11657849612 Amazonは日用品
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
2022-09-01 日課の RSS フィードを眺めていると、クエリエンジンやデータ処理の最適化のための高速化ライブラリが Meta が OSS として公開した1 のを知った。 Velox のリポジトリはこちら facebookincubator/velox: A C++ vectorized database acceleration library aimed to optimizing query engines and data processing systems. 実際にリポジトリを観てみると C++で書かれており、たしかにパフォーマンスが高いのが納得。 ドキュメントやチュートリアルなどはこちらのサイトで用意されています。 Hello from Velox | Velox Meta 社内では、Presto や Spark に適用して処理の高速化、PyTorch に活用して前処理
Amazon Athena,Amazon CloudWatch Logs Insightsの使い分けについて考えてみる | DevelopersIO
どうも、森です。 AWSにはログを分析するための方法が様々ありますが、Athena,CloudWatch Logs Insightsをどう使い分ければ良いのか考える機会がありましたので執筆したいと思います。果たして結論は出るのか？？？ 各サービスについて どちらもサーバーレスな環境で、インフラストラクチャの設定や管理は不要です。 Athena,CloudWatch Logs Insightsについてドキュメントを参考にし、簡単にまとめてみました。 Amazon Athena は、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) でのデータの直接分析を簡易化するインタラクティブなクエリサービスです。AWS マネジメントコンソールでいくつかアクションを実行するだけで、Athena にデータの保存先の Amazon S3 を設定し、標準
Appleが未開封のiPhoneを化粧箱に入ったままソフトウェアアップデートできるようになる「Presto」と呼ばれるシステムを運用し始めることが、2024年3月末の報道により明らかになっています。このPrestoのさらなる詳細が、フランスメディアのiGenerationの報道により判明しました。 Apple Store : comment se passe la mise à jour des iPhone sous boite avec Presto | iGeneration https://www.igen.fr/iphone/2024/03/apple-store-comment-se-passe-la-mise-jour-des-iphone-sous-boite-avec-presto-142661 Apple's Presto system is even more sop
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】AWS全サービスまとめ | DevelopersIO
「葬送のフリーレンは高齢独身者層の願望」～東京学芸大准教授の分析に反響。別作品でパロディ大喜利も
【2021年】AWS全サービスまとめ | DevelopersIO
Treasure Data を退職しました - k0kubun's blog
SmartNewsのサーバーサイドのすべて 大規模サービスを支えるアーキテクチャと技術スタック
AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
【2022年】AWS全サービスまとめ | DevelopersIO
ビジネスとオープンソースの狭間で 〜 Embulk の場合 (前編)
Apache Iceberg とは何か - 流沙河鎮
【2024年】AWS全サービスまとめ | DevelopersIO
住所の正規化を手直ししたライブラリが涙なしには読めないものだった「エンジニア泣かせの作業だ」
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
Vivaldi ブラウザがオープンソースでない理由 | Vivaldi Browser
Scalaはバックエンドでもフロントエンドでも動く Treasure Dataのエンジニアが語るScalaの応用力の高さ
NewSQL 2020年前半のリリースを振り返る - Qiita
ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に
分断された多数のデータをひとつのプラットフォームに統合。データ分析基盤構築の道のり
(翻訳) データエンジニアリングの未来 - satoshihirose.log
【C#】null許容値型のnonnull判定どれが早いかクイズ - dely Tech Blog
dbtとDataformを比較し、dbtを使うことにした - Attsun blog
【NIKE（ナイキ）】私のハイテクスニーカー遍歴と復刻して欲しいモデルについて - YMのメンズファッションリサーチ
Amazonが「Amazonベーシック」などの自社ブランドの削減・撤退を検討中との報道
Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
Meta が公開したデータ処理の効率化・高速化を狙うエンジン Velox が面白そう
Appleの未開封のiPhoneをソフトウェアアップデートする「Presto」システムのさらなる詳細が明らかに