並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 346件

新着順 人気順

Databricksの検索結果201 - 240 件 / 346件

  • 海外進学→現地就職→転職帰国→転職→レイオフ

    Findy社が2024/3/6に主催したイベント「元CircleCI Databricks PagerDutyのエンジニアに聞く外資系への挑戦とリアル」https://findy.connpass.com/event/310652/ における登壇者 宇佐美ゆう のLT資料です。 タイトル: 海外進学→現地就職→転職帰国→転職→レイオフ

      海外進学→現地就職→転職帰国→転職→レイオフ
    • Databricks Customer Stories | Databricks

      Unified governance for all data, analytics and AI assets

        Databricks Customer Stories | Databricks
      • 「英語は新しいプログラミング言語、生成的AIは新しいコンパイラ」。SDK「English SDK for Apache Spark」とは何か | テクノエッジ TechnoEdge

        ITジャーナリスト/Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 Apache Sparkなどの開発で知られるデータブリックスは、同社が主催したイベント「DATA+AI Summit 2023 by Databricks」で、英語をApache Sparkの問い合わせ言語にできるSDK「English SDK for Apache Spark」を発表しました。 英語は新しいプログラミング言語であるDatabricks共同創業者兼チーフアーキテクト Reynold Xin氏。 英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラであり、Pythonは新しいバイトコードだ、と彼は話す。 これが何を意味するのか。多くの方々がChatGPTを使ってSparkの問い合わせコードを生成したことがあるだろ

          「英語は新しいプログラミング言語、生成的AIは新しいコンパイラ」。SDK「English SDK for Apache Spark」とは何か | テクノエッジ TechnoEdge
        • AWS Unveils Next Generation AWS-Designed Chips

          AWS Graviton4 is the most powerful and energy-efficient AWS processor to date for a broad range of cloud workloads AWS Trainium2 will power the highest performance compute on AWS for training foundation models faster and at a lower cost, while using less energy Anthropic, Databricks, Datadog, Epic, Honeycomb, and SAP among customers using new AWS-designed chips LAS VEGAS--(BUSINESS WIRE)-- At AWS

            AWS Unveils Next Generation AWS-Designed Chips
          • Google Colab + trl で LINE の japanese-large-lm のQLoRA ファインチューニングを試す|npaka

            「Google Colab」+「trl」で LINEの「japanese-large-lm」のQLoRA ファインチューニングを試したので、まとめました。 1. trl と ござるデータセット「trl」の「SFTTrainer」と、「ござるデータセット」(bbz662bbz/databricks-dolly-15k-ja-gozarinnemon) を使ってQLoRAファインチューニングに挑戦してみます。 「trl」は「artidoro/qlora」と比べて設定が多くて大変ですが、SFT後の「RLHF」や「DPO」などの追加学習も可能です。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -q accelerate==0.21.0 peft==0.4.0 bitsandbytes

              Google Colab + trl で LINE の japanese-large-lm のQLoRA ファインチューニングを試す|npaka
            • 株式会社ABEJAを退職します - Apitore blog

              はじめに 2020年5月17日をもって、株式会社ABEJAを退職しました。在籍期間は業務委託で入った期間を入れてちょうど1年でした。ABEJAではSoftware EngineerとしてABEJA Platformを担当し、MLOpsの新機能開発やユーザビリティ改善、およびPdMの真似事をやりました。 最終出社恒例のやつ pic.twitter.com/KtiP4DlhjH— Keigo Hattori (@keigohtr) May 16, 2020 関連記事 株式会社ABEJAに入社しました ABEJA PlatformのJupyter Notebookから機械学習Jobをたくさん投げる方法 ABEJA Platformで学習済みの機械学習モデルを管理する方法 LINE株式会社を退職します LINE株式会社に入社しました 富士ゼロックスを退職しました ABEJAでやったこと 在籍は1年

                株式会社ABEJAを退職します - Apitore blog
              • 「[増補改訂]ビッグデータを支える技術」を書きました - Qiita

                2017年に技術評論社から出版された「ビッグデータを支える技術」を増補改定し、2021年版として新たに出版されることになりました。 WEB+DB PRESS plusシリーズ [増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ https://gihyo.jp/book/2021/978-4-297-11952-2 改訂の背景 本書では、筆者がトレジャーデータ株式会社に在籍していたときの経験をもとに、「ビッグデータを扱うシステムがどのように構築されているか」という基礎的な概念を解説しています。今回の改訂版では、記述が古くなってしまった部分を手直ししたのに加えて、機械学習やコンテナ技術などの話題をいくつか盛り込みました。 本書の概要については次のページにまとめられています。 本書について ―改訂にあたって もともとは旧第6章のサンプルコードを書き直すくらいのつ

                  「[増補改訂]ビッグデータを支える技術」を書きました - Qiita
                • MLOps とは何か? | NVIDIA

                  機械学習オペレーション「MLOps」は、拡大を続ける種々のソフトウェア製品やクラウド サービスを活用して企業が AI 運用を成功させるためのベスト プラクティス MLOps と聞くと毛むくじゃらの一つ目モンスターの名前のように思われるかもしれませんが、実はエンタープライズ AI の成功を意味する頭字語です。 機械学習オペレーション (machine learning operations) の短縮表現である MLOps は、企業が AI 運用を成功させるのに使える一連のベスト プラクティスです。 MLOps は比較的新しい分野ですが、それは AI の商用利用自体がかなり新しいからであると言えます。 MLOps: エンタープライズ AI を主流に押し上げる AI のビッグバン が鳴り響いたのは 2012 年、ある研究者がディープラーニングを使って画像認識のコンテストで優勝したときでした。その

                    MLOps とは何か? | NVIDIA
                  • SRE / DevOps / Kubernetes Weekly Reportまとめ#20(6/14~6/19) - 運び屋 (A carrier(forwarder) changed his career to an engineer)

                    この記事は2020/6/14~6/19に発行された下記3つのWeekly Reportを読み、備忘録兼リンク集として残したものです。 DEVOPS WEEKLY ISSUE #494 June 14th, 2020 SRE Weekly Issue #223 June 14th, 2020 KubeWeekly #221 June 18th, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #494 June 14th, 2020 News A look at using Nomad for dynamic scheduling across 200+ edge locations, in particular for running local management tooling. A look at a r

                      SRE / DevOps / Kubernetes Weekly Reportまとめ#20(6/14~6/19) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
                    • [2023年7月5日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO

                      さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 デジタル庁のデータ分析基盤「sukuna」に関する記事 デジタル庁のデータ分析基盤である「sukuna」について、採用している技術やアーキテクチャが記載された記事が公開されていました。 記事では、基盤構築を行っている部署の業務やミッション、データ基盤に関する機能要件・非機能要件に関する情報がまとめられています。 Mo

                        [2023年7月5日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
                      • Fivetranとは?-機能/概要紹介- | DevelopersIO

                        今年2020年にパートナー契約を結んだ「Fivetran」は、データ統合を自動化することができるツールとなっています。 また、Fivetran社は今年、1億ドルの資金調達しユニコーン企業の仲間入りをしただけでなく、Snowflakeのパートナーオブザイヤーに選出されるなど、現在ユーザーを増やし市場を拡大している企業です。 今回は、Fivetranの概要についてご紹介していきたいと思います。 Fivetranとは Fivetranはデータ統合自動化サービス(データパイプラインサービス)となります。 様々なデータソース(アプリケーション/データベース/イベント/ファイル)からのデータ抽出し、データ同期先へのロードを自動化することができます。 また、変換/加工処理をデータ同期先であるデータウェアハウス上で行うことができることも主な特徴となります。このようなことから、FivetranはELTツール

                          Fivetranとは?-機能/概要紹介- | DevelopersIO
                        • Cookpad Lounge #4 SRE 座談会 AWS コスト最適化の取り組み

                          VSCodeでのDatabricks開発もお勧めしたい/I would also recommend Databricks development with VSCode.

                            Cookpad Lounge #4 SRE 座談会 AWS コスト最適化の取り組み
                          • dbtのカンファレンスイベント『Coalesce 2023』基調講演オンライン視聴レポート #dbtCoalesce #Coalesce23 | DevelopersIO

                            米国時間2023年10月16日〜19日、dbtのカンファレンスイベント『Coalesce 2023』が開催されました。 このイベントは米国(サンディエゴ)の他にも英国(ロンドン)、豪州(シドニー)、そしてオンラインでも展開されていました。オンラインでは無料(!)で数多くのセッションがオンデマンド配信の形で視聴出来るようになっていたので参加登録を行い、各種セッションを視聴していました。 当エントリではオンライン視聴可能なセッションから、米国(サンディエゴ)で発表された「基調講演(dbt Labs product spotlight & keynote)」の内容について、合わせて公開されていた公式ブログの内容も交えてレポートします。 目次 セッション概要 セッションレポート イントロトーク dbt Mesh dbtが直面・解決する『複雑さ』 - 開発者(Developer)目線 [Develo

                              dbtのカンファレンスイベント『Coalesce 2023』基調講演オンライン視聴レポート #dbtCoalesce #Coalesce23 | DevelopersIO
                            • Mosaic Research Hub

                              Unified governance for all data, analytics and AI assets

                                Mosaic Research Hub
                              • MLOps roadmap 2024

                                The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap

                                  MLOps roadmap 2024
                                • databricks/dolly-v2-12b · Hugging Face

                                  dolly-v2-12b Model Card Summary Databricks' dolly-v2-12b, an instruction-following large language model trained on the Databricks machine learning platform that is licensed for commercial use. Based on pythia-12b, Dolly is trained on ~15k instruction/response fine tuning records databricks-dolly-15k generated by Databricks employees in capability domains from the InstructGPT paper, including brain

                                    databricks/dolly-v2-12b · Hugging Face
                                  • 個人的dbt概要まとめ2023 – dbtで何が出来るのか、dbtを使うメリットなどを紹介 #dbt | DevelopersIO

                                    アライアンス統括部 サービスグループのしんやです。 クラスメソッドは「関連する(フルマネージドなクラウド)サービスを組み合わせることによって実現するデータ分析基盤=モダンデータスタック」のサービスをお客様のニーズに合わせて提供しています。 その中のサービスの1つである「dbt(Data Build Tool)」についてはDevelopersIOでは既に多くのdbt関連エントリが投稿されていますが、個人的には直接触ったことのない未知のツールでした。 dbtはこれから色々と触って試していこうと思っていますが、その前に「dbtとはどういうサービスなのか、使うことで何が嬉しくて何が出来るようになるのか」を既存ブログエントリや公式ドキュメントを踏まえて把握し、現時点での「dbt概要まとめ」的なエントリとして残しておこうと思います。 目次 先人の記録からdbtを知る 公式ドキュメントから「出来ること」

                                      個人的dbt概要まとめ2023 – dbtで何が出来るのか、dbtを使うメリットなどを紹介 #dbt | DevelopersIO
                                    • Databases in 2023: A Year in Review | OtterTune

                                      I am starting this new year the same way I ended the last: taking antibiotics because my biological daughter brought home a nasty sinus bug from Carnegie Mellon’s preschool. This was after my first wife betrayed me and gave me COVID. Nevertheless, it is time for my annual screed on last year’s major database happenings and trends since a lot has happened. My goal is to keep my trenchant opinions f

                                        Databases in 2023: A Year in Review | OtterTune
                                      • GKE で未来を築く | Google Cloud 公式ブログ

                                        ※この投稿は米国時間 2021 年 3 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 米国の詩人 Maya Angelou の名言に、「自分がどこから来たのかがわからなければ、今どこへ向かっているのかはわからない」というものがありますが、そのとおりだと思います。Build with Google Kubernetes Engine(Google Kubernetes Engine で構築する)のイベントがスタートし、GKE Autopilot がリリースされたばかりですが、ここで少し振り返ってこれまで GKE が実現してきたことをご紹介したいと思います。GKE はたった 6 年という短い時間で、最新のクラウドネイティブ アプリを実行するうえで最も広く利用されているサービスの一つとなりました。スタートアップ企業から Fortune 500 に名を連ねる企業

                                          GKE で未来を築く | Google Cloud 公式ブログ
                                        • vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention

                                          GitHub | Documentation | Paper LLMs promise to fundamentally change how we use AI across all industries. However, actually serving these models is challenging and can be surprisingly slow even on expensive hardware. Today we are excited to introduce vLLM, an open-source library for fast LLM inference and serving. vLLM utilizes PagedAttention, our new attention algorithm that effectively manages at

                                            vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
                                          • リモートと出社の比率どうする? ハイブリット型ワークの最適解とは | Coral Capital

                                            月間10万人が読んでいるCoral Insightsのニュースレターにご登録いただくと、Coral Capitalメンバーによる国内外のスタートアップ業界の最新動向に関するブログや、特別イベントの情報等について、定期的にお送りさせていただきます。ぜひ、ご登録ください! 本記事は豊田菜保子さんによる寄稿です。豊田さんは、楽天をはじめ、国内外の企業で人材育成やダイバーシティ推進を専門としてきました。現在は、スタートアップや起業家人材の支援プログラムを主に自治体と協力して企画・運営する傍ら、スタートアップやテック企業向けに「人」「チーム」「コミュニケーション」に注目した研修やアドバイザリーを提供しています。 豊田菜保子さんによる他の記事の一覧は、こちら。 あなたのスタートアップでは、【オフィス】と【リモート】を、どのように組み合わせて働いていますか? 昨年7月にCoral Capital出資先に

                                              リモートと出社の比率どうする? ハイブリット型ワークの最適解とは | Coral Capital
                                            • Databricks launches SQL Analytics | TechCrunch

                                              AI and data analytics company Databricks today announced the launch of SQL Analytics, a new service that makes it easier for data analysts to run their standard SQL queries directly on data lakes. And with that, enterprises can now easily connect their business intelligence tools like Tableau and Microsoft’s Power BI to these data repositories as well. SQL Analytics will be available in public pre

                                                Databricks launches SQL Analytics | TechCrunch
                                              • DatabricksでCustemer Managed VPCにClusterをプロビジョニングする | DevelopersIO

                                                ナカヤマです。 DatabricksというSaaSサービスでユーザーの所有するAWSアカウントにあるVPCにClusterをデプロイしてみました。 その流れを記録します。 Databricksとは? Databricksは、データサイエンティスト・データエンジニア・ビジネスアナリストのためのLakehouse Platformです。 Databricks - The Data and AI Company このサービスがどのような課題を解決するかについては、AWS Summit Online (2021) のプレゼンテーションを見て頂くのが早いと思いますので、ここでは割愛します。 PAR-25 データ分析におけるデータサイロ、機械学習モデル管理、BI の制限 − これらの課題を解決します! 資料 動画 Databricksは、並列分散処理を行うワーカーノードやドライバーノード、Delta

                                                  DatabricksでCustemer Managed VPCにClusterをプロビジョニングする | DevelopersIO
                                                • "the most popular OSS data projects"を眺めてみる(1位〜10位)

                                                  ※具体的なアンケートの質問は不明? この記事 ↑の上位20製品について、簡単に調べてみました。 私がよく知らない製品(Flyteとか)、みんな知っているだろう製品(Sparkとか)は記載薄めです。 なお、私の知識は 知っている Apache Airflow, Trino, Prefect, Apache Spark, Amundsen, Apache Flink, Apache Kafka,Apache Duid, pandas 名前だけ知っている dbt, Apache Pinot, Apache SuperSet, Great Expectations, Dask, Apache Arrow, Apache Gobblin 知らない Dagster, Flyte, RudderStack, Ray な感じです。 目次 dbt Apache Airflow Apache Superset

                                                    "the most popular OSS data projects"を眺めてみる(1位〜10位)
                                                  • RDSとFivetranをPrivateLink接続し、Databricksにincremental syncする - APC 技術ブログ

                                                    はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync(差分更新)する方法を解説します。 Fivetranとは、クラウドベースのELT(Extract, Load, Transform)ツールです。 各種データソースから、DWHやSaaS型のデータストアへのデータの取り込みを簡単かつ迅速に行うために開発されました。 また、AWS PrivateLinkとはAWS同士の仮想ネットワークであるVPCに対し、ネットワーク間のトラフィックをインターネットを経由せずにプライベート接続する方法です。 FivetranはVPNやPrivate Linkなどの閉域網接続をサポートしており、本記事ではPrivateLink接続の方で進め

                                                      RDSとFivetranをPrivateLink接続し、Databricksにincremental syncする - APC 技術ブログ
                                                    • ChatGPTがユーザーを“騙す”のはなぜ? 「プレッシャーに弱いから」説が登場

                                                      2023年11~12月にかけて、SNSであるうわさが流れた。OpenAIが提供する生成AI「ChatGPT」は「早めの休暇を取った」というのだ。ユーザーが投げかける質問に簡略化された回答を生成したり、一部のタスクを拒否したりしているといった報告が相次ぐ中、その理由を探る試みが続いている。 OpenAIも認めた“怠惰”説 ChatGPTは「冬休み」に入ったのか? ペンシルバニア大学ウォートンスクールのイーサン・モリック准教授は2023年11月28日(現地時間、以下同じ)、「ChatGPTが怠惰になったといううわさは、私が個人的に実施した検証によると、本当である可能性がある」と「X」(旧「Twitter」)に投稿した(注1)。 モリック准教授はXに一連の検証結果を投稿した。同教授によると、ChatGPTはユーザーに指示されたタスクの内容は理解しているものの、ユーザー自身がその作業を実行するよう

                                                        ChatGPTがユーザーを“騙す”のはなぜ? 「プレッシャーに弱いから」説が登場
                                                      • LLMOpsを推進!Azure Log Analyticsを活用したLLMの継続的な監視と改善 - AITC - ISID | AI トランスフォーメンションセンター コラム

                                                        こんにちは!AIソリューショングループの太田です。 このコラムでは、Azure Log Analyticsを使ったLLMOpsの実現方法について紹介します。 昨年から大規模言語モデル(LLM)を製品やサービスに組み込む企業が増えています。 しかし、LLMサービスの品質を維持するには、その運用にも注意を払う必要があります。 具体的には、LLMの出力の品質管理や、ユーザーからのフィードバックを元にしたプロンプトの最適化など、継続的な監視と改善が求められています。 これらの運用上の活動にAzure Log Analyticsが役立ちます。 LLMOps(LLM(Large Language Model)+ Ops(Operations))とは LLMOpsは製品に組み込まれたLLMの運用に必要なベストプラクティスの概念を指します。 例えば、LLMの運用ではLLMの出力の監視と評価とプロンプト管理

                                                          LLMOpsを推進!Azure Log Analyticsを活用したLLMの継続的な監視と改善 - AITC - ISID | AI トランスフォーメンションセンター コラム
                                                        • Equity 101 for Software Engineers at Big Tech and Startups

                                                          A growing number of startups and Big Tech companies offer equity - stocks, options, and others - as part of software engineering compensation. However, I've noticed few engineers understand what these mean. When I was a hiring manager at Uber in Amsterdam, engineers usually focused far more on the base salary, taking little interest in equity. Several people only realized much later - sometimes at

                                                            Equity 101 for Software Engineers at Big Tech and Startups
                                                          • 今さら聞けない自然言語処理(NLP) - Qiita

                                                            こちらのイベントで説明した内容の抜粋です。 自然言語処理(Natural Language Processing: NLP)とは 我々が日常的に使っている自然言語をコンピューターで処理する技術です。 そもそも、なぜ自然言語を処理する必要があるのでしょうか? 世界は自然言語で溢れていますが分析が困難です 2015年、HIMSS(医療情報管理システム協会)は、アメリカのヘルスケア業界において12億の医療ドキュメントが作成されたと推定しました。これ以降、毎年生成される医療テキストデータは増える一方です。電子フォーム、オンラインポータル、PDFレポート、メール、テキストメッセージ、チャットボット、これら全てが現在のヘルスケアコミュニケーションの中心となっていますが、あまりに量が多くて人間による解釈、計測は不可能となっています。 しかし、重要な洞察は自然言語のデータからもたらされます 患者の安全のモ

                                                              今さら聞けない自然言語処理(NLP) - Qiita
                                                            • Databases in 2021: A Year in Review | OtterTune

                                                              It was a wild year for the database industry, with newcomers overtaking the old guard, vendors fighting over benchmark numbers, and eye-popping funding rounds. We also had to say goodbye to some of our database friends through acquisitions, bankruptcies, or retractions. As the end of the year draws near, it’s worth reflecting and taking stock as we move into 2022. Here are some of the highlights a

                                                                Databases in 2021: A Year in Review | OtterTune
                                                              • RAGを使ったチャットボットの成功を見極める評価手法を解説

                                                                1. はじめに RAGとは? RAG (Retrieval Augmented Generative)は文章検索で関連文章を抽出してLLMにプロンプトとして渡す手法で、検索拡張生成ともいいます。 情報を外部のベクトルデータベースに保存しておき、ユーザーの質問あった際に、質問に関係しそうな文書データを検索して、その参考情報(Context)を追加したデータをもとにLLMが回答を生成する仕組みとなっています。 https://zenn.dev/pipon_tech_blog/articles/92ab7ee5abdc06 RAGはLLMに参考情報として文書データを渡すため、データの品質が悪い場合やそもそも情報がない場合には適切な回答が得られません。 精度が下がるにことに加えて、事実に基づかない情報を生成する幻覚(Hallucination)と呼ばれる現象を起こす可能性があります。 このため、R

                                                                  RAGを使ったチャットボットの成功を見極める評価手法を解説
                                                                • アンドリーセン・ホロウィッツ - Wikipedia

                                                                  アンドリーセン・ホロウィッツ(Andreessen Horowitzまたはa16z、正式名称AH Capital Management, LLC)は、2009年にマーク・アンドリーセンとベン・ホロウィッツによって設立されたベンチャーキャピタル会社。本社はカリフォルニア州メンロパーク。 投資先の主なステージはアーリーステージの新興企業と既存の成長企業[1]。主な投資領域はモバイル、ゲーム、ソーシャル、eコマース、教育、企業向けIT(クラウドコンピューティング、セキュリティ、SaaS)[2]。 設立とパートナー[編集] 2006年から2010年にかけて、アンドリーセンとホロウィッツはテクノロジー企業に積極的に投資を行い、個別または共同で、Twitterを含む45の新興企業に8,000万ドルを投資した[3]。この間、2人はスーパーエンジェル投資家として知られるようになった。 2009年7月6日、

                                                                  • [レポート] クラスメソッドxメソドロジック共催:イチから始めるデータ活用!『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO

                                                                    [レポート] クラスメソッドxメソドロジック共催:イチから始めるデータ活用!『データメッシュによるデータガバナンス編』を開催しました。 アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 先日2024年02月20日(火)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催!イチから始めるデータ活用!8週連続ウェビナー』の第1回開催回である『データメッシュによるデータガバナンス編』を開催しました。 当エントリではその内容についてレポート致します。 目次 イベント概要 イベントレポート データ活用支援サービスのご紹介 イチから学ぶデータメッシュによるデータガバナンス 全体質疑応答 まとめ イベント概要 第1回目となる今回取り扱うテーマは『データメッシュによるデータガバナンス』です。 イベントレポート データ活用

                                                                      [レポート] クラスメソッドxメソドロジック共催:イチから始めるデータ活用!『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO
                                                                    • [2024年4月10日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO

                                                                      さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催中 現地時間の2024年4月9日~11日に、Google Cloud Next '24が開催されています。 データ分析基盤に関連するところだと、Gemini in Looker、Gemini in BigQuery、Gemini in Lookerなどの発表が該当すると

                                                                        [2024年4月10日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
                                                                      • Databricks におけるデータエンジニアリング

                                                                        Databricksにおけるデータエンジニアリングについて説明します。

                                                                          Databricks におけるデータエンジニアリング
                                                                        • Microsoftのクラウドサービスに貢げる「最高金額」は一体いくらなのか?

                                                                          by Mike Mozart Amazon AWSやMicrosoft Azureといたクラウドサービスは、利用するインスタンスのマシンスペックやストレージの容量によって価格が異なります。MicrosoftのエンジニアであるNemanja Mijailovic氏が、Microsoft Azureを利用する際に請求される最高金額を検証しています。 How to burn the most money with a single click in Azure https://mijailovic.net/2020/03/28/azure-money-burning/ Mijailovic氏が検証を始めるきっかけとなったは、クラウドエコノミストのCorey Quinn氏による「リージョンをバーレーンに設定した、エンタープライズ向けマルチAZ Microsoft SQL Serverに対応している

                                                                            Microsoftのクラウドサービスに貢げる「最高金額」は一体いくらなのか?
                                                                          • ローコードでAPI作成~テスト~デプロイまでできる開発者プラットフォーム「Buildable」をさらっと紹介してみる

                                                                            ※2023/11/25追記 現在では Event という名にサービス名が変わっており、この記事の内容はかなり古くなっていそうです(後述追記も参照) ※2024/02/11追記 さらに IntegrationOS というサービス名に変わったっぽい?(後述追記も参照) Buildable とは? 公式サイトトップ Code assembly for the modern developer Stop wrestling with third-party API documentation, hacking together microservices and wasting time debugging deployments. Build robust web apps that scale with your business. ↓ 現代の開発者のためのコードアセンブリ サードパーティの

                                                                              ローコードでAPI作成~テスト~デプロイまでできる開発者プラットフォーム「Buildable」をさらっと紹介してみる
                                                                            • GitHub - vizzuhq/ipyvizzu: Build animated charts in Jupyter Notebook and similar environments with a simple Python syntax.

                                                                              ipyvizzu is an animated charting tool for Jupyter, Google Colab, Databricks, Kaggle and Deepnote notebooks among other platforms. ipyvizzu enables data scientists and analysts to utilize animation for storytelling with data using Python. It's built on the open-source JavaScript/C++ charting library Vizzu. There is a new extension of ipyvizzu, ipyvizzu-story with which the animated charts can be pr

                                                                                GitHub - vizzuhq/ipyvizzu: Build animated charts in Jupyter Notebook and similar environments with a simple Python syntax.
                                                                              • [2024年4月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO

                                                                                さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催されました 現地時間の2024年4月9日~11日に、Google Cloud Next '24が開催されました。 発表された機能は以下の公式ブログにまとまっております。 特にModern Data Stackに関連する所だとBigQueryが挙げられると思いますが、Bi

                                                                                  [2024年4月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
                                                                                • Azure status history | Microsoft Azure

                                                                                  Preliminary Post Incident Review (PIR) - Azure Front Door - Intermittent latency and timeouts in the UK Preliminary Post Incident Review (PIR) – Azure Front Door – Intermittent latency and timeouts in the UK This is our "Preliminary" PIR that we endeavor to publish within 3 days of incident mitigation, to share what we know so far. After our internal retrospective is completed (generally within 14