Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
Building top-tier enterprise-grade intelligence using LLMs has traditionally been prohibitively expensive and resource-hungry, and often costs tens to hundreds of millions of dollars. As researchers, we have grappled with the constraints of efficiently training and inferencing LLMs for years. Members of the Snowflake AI Research team pioneered systems such as ZeRO and DeepSpeed, PagedAttention / v
社内向けStreamlitのデプロイの現実解
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
Snowflake、「データクリーンルーム」をネイティブアプリ化して提供 個人情報保護とデータ分析を両立できる基盤に
Snowflakeは3月28日（現地時間）、これまでGUIがなかった「Snowflakeデータクリーンルーム」をアプリケーションとして提供し始めた。まずは米国のリージョンで展開する。時期は未定だが、日本でも提供する予定としている。 個人情報保護、データ分析、導入しやすさを両立 データクリーンルームとは、プライバシーに配慮しながらデータの分析や共有ができる基盤のこと。顧客データなどを個人が特定できない形で扱えるため、パートナー企業などと共同でデータ分析する場合に情報漏えいなどのリスクを抑えられる。 データにはSnowflake製品群が持つプライバシー機能やガバナンス機能が適用される。 Snowflakeはデータクリーンルーム事業を手掛けるSamoohaを2023年12月に買収し、同社のシステムをベースにSnowflakeデータクリーンルームを構築した。利用に伴うストレージやコンピュートにかか
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
カイロスロケットは、和歌山県にある専用の射場「スペースポート紀伊」から13日の午前11時1分に打ち上げられた。しかしリフトオフの約5秒後に空中で爆発。射場の敷地内に破片が降り注ぎ、一部で火災も発生した。 その後、行われた記者会見では、発射後に何らかの異常が発生し、ロケットの「飛行中断システム」が爆破したという見方を明らかにした。「リフトオフすると飛行経路や各部の正常／異常をコンピュータが判断する。逸脱する場合には落下しても安全な場所で中断する」仕組みだという。 結果としてミッションは完遂できなかった。しかし豊田社長は「スペースワンとしては“失敗”という言葉は使いません。全ては今後の挑戦の糧。会社の文化です」と話す。そして「2020年代半ばまでに年間20機の打ち上げ」という目標を変えるつもりは「全くない」としている。 スペースワンは研究機関ではなく、株主や顧客がいる営利企業だ。現在は投資フェ
「ELYZA LLM for JP」はELYZAが開発する日本語の大規模言語モデル（LLM）シリーズの総称です。今回のデモは2024年3月時点で最高性能のモデル「ELYZA-japanese-Llama-2-70b」を基盤としたもので、日本語による対話・タスクの実行においてグローバルプレイヤーが提供する海外製LLMに匹敵する性能を実現しています。ELYZAでは本モデルシリーズを、グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で提供してまいります。
大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools
公開日 2024/03/11更新日 2024/03/12大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変化があるのでしょうか。 本記事では、前回の第一弾でご紹介したChatworkさん、delyさん、GENDAさん、スターフェスティバルさんに引き続き、第二弾として大規模データを取り扱う5社に、データ基盤の設計思想やデータチームの方針にも触れながら、Snowflake導入の背景や効果を伺いました。 ■目次 ・株式会社Algoage ・株式会社GROWTH VERSE ・株式会社マイナビ ・ノバセル株式会社 ・株式会社セゾン情報システムズ 株式会社Alg
ITmedia NEWSにおける1週間の記事アクセス数を集計し、上位10記事を紹介する「ITmedia NEWS Weekly Top10」。今回は3月2～8日までの7日間について集計し、まとめた。 春に向けて寒暖差が激しすぎ、体調を崩している方も多いようです。東京では暖かくなって花粉が爆散している、と思ったら突然雪が降ったり。身体がついていきませんね……。 さて、先週のアクセストップは、突如発表された新型「MacBook Air」について。2画面の外部出力に対応したことなどが歓迎された一方、「先日買ったばかりなのに」など、嘆きの声も聞かれた。 2位は駐車中のTeslaの監視機能などを解説した記事だった。Teslaは「セントリーモード」と呼ばれる監視機能を標準搭載しており、人やクルマが接近するとヘッドライトが点滅し、周囲の映像を記録するという。Teslaを見かけるとついつい近づいてじっくり
【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita
前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 すでにSnowflakeに入っているデータと結合すればいいのではないかと言う考えに至りました。 Streamlitのform_submit_button関数が使えそうだったので、そちらを使っていきます！ 機能を実装する 早速機能を実装していきます！ 前準備 まずはStreamlitから更新をするテーブルを用意しておきます。 今回は従業員マスターというテーブルを以下のクエリで作成して、 このテーブルの中にINSERT文などで、いくつか適当にデータを入
パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた | DevelopersIO
パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた Snowpark MLのパイプラインごとModel Registryに登録することで、Snowflakeのテーブルのデータをそのまま利用しやすく、運用も格段に簡単になっています。 データアナリティクス事業本部 機械学習チームの鈴木です。 先日、Snowpark MLのModel Registryのパブリックプレビューが開始になりました。 この公開までの間、Snowpark MLでもいくつかの重要なアップデートがあり、それらが合わさってSnowflakeでのモデルのデプロイや管理がかなり使いやすくなったように思ったので、改めて触ってみました。 個人的には、 前処理も含めたパイプラインを管理することで、Snowflakeの特徴量用のマートテーブルを機械学習モ
組織におけるデータ利活用が急速に拡大する中、データ基盤への関心がますます強まっています。 本書では、現役のデータエンジニア２名が、クラウドデータ基盤サービスであるSnowflakeを用いてデータ基盤の構築方法を紹介します。 データ利活用のみならず、大規模なデータ処理や、機械学習におけるデータパイプライン構築などに興味のあるエンジニアの方へのガイドブックとなることを目指しています。 フロント・サーバー・インフラを触ってきたエンジニアの皆さん、次はデータやりましょう！！ 第1章：データ基盤の概観 データ基盤とはどういったもので、どのような技術で構成されるのかについて紹介します。 第2章：Snowflakeの基礎 クラウド型データウェアハウスサービスであるSnowflakeで出来ることと、特徴について紹介します。 第3章：Snowflakeの導入と操作 実際にSnowflakeのトライアルに登録
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた さがらです。 日本時間2024年3月5日の夜に、Mistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能となるSnowflake Cortex LLM Functionsがパブリックプレビューとなりました！ 2024年3月6日6時の時点ではまだリリースノートに記載もありませんが、下記のMistral AI社とのパートナーシップのプレスリリースと併せて機能がリリースされたのだと思います。（本記事内にMistral AI’s models are now available to customers in public preview as a part of Snow
ビッグデータ管理・分析サービスを手がける米スノーフレイクの最高経営責任者（ＣＥＯ）を退任したフランク・スルートマン氏は、ハイテク業界を代表するＣＥＯとして真っ先に頭に浮かぶ人物ではない。しかし、同氏はハイテク３社の経営トップを務めたことで、アップルのティム・クック、マイクロソフトのサティア・ナデラ両ＣＥＯを上回る富を手に入れた。 ブルームバーグ・ビリオネア・インデックスによると、スルートマン氏の純資産はスノーフレイクのＣＥＯを退任する時点で約37億ドル（約5600億円）。これは約20億ドルのクック氏と、2023年７月時点でまだビリオネアではなかったナデラ氏を上回る。 ハイテク業界で創業者以外の人物がこれほどの富を築くのは異例。スルートマン氏はスノーフレイクと、企業向け情報技術（ＩＴ）管理ソフトウエアを手がけるサービスナウを新規株式公開（ＩＰＯ）に導いたほか、2009年にはトップを務めていた
Snowflakeは2024年2月22日、「Snowflake Streamlit」を採用したNTTドコモにおける全社規模のデータ活用プロジェクトについての記者説明会を開催した。 ゲストスピーカーとしてNTTドコモ データプラットフォーム部 部長の鈴木敬氏が出席し、約9900万のdポイント会員データの活用を社内で積極化させていくうえでの課題と解決策、今後のさらなるデータ活用促進の方針などを語った。Streamlitを使って自社開発した、「画面をポチポチ選択していけば結果が出る」いくつかの簡易データ分析アプリも紹介した。
Snowflake & dbt Cloudハンズオン実践 #1: 『Snowflake環境準備』 #snowflakeDB #dbt | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 Snowflakeが展開しているサイト『Snowflake Quickstarts』では、Snowflake単体、またSnowflakeと他サービスとの連携について実戦形式で手を動かしながら学んでいけるコンテンツが多数公開されています。 その中の1つ『Accelerating Data Teams with Snowflake and dbt Cloud Hands On Lab(Snowflake と dbt Cloud ハンズオン ラボを使用してデータ チームを加速する)』は、dbt CloudとSnowflakeを連携させる形で、Snowflakeのデータを使ってdbt Cloudでデータ変換の処理を作り上げていく流れを学ぶことが出来る非常に参考になるコンテンツです。 当エントリ及び一連の
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた | DevelopersIO
ディメンショナルモデリングに入門しよう！Snowflakeとdbt Cloudで「Building a Kimball dimensional model with dbt」をやってみた さがらです。 ここ２年ほどの間にdbtが日本でも急速に拡大し、様々な情報が日本語の記事でも見かけられるようになってきました。 dbtを採用してある程度活用を進めていくと、「より効率よくガバナンスを持ってデータを管理するにはどうすればいいんだろうか」といったデータの管理方法に悩む場面が出てくると思います。 そんなときに色々調べていくと、データを効率よく管理する手法として「データモデリング」が必要だとわかり、ディメンショナルモデリングやData Vaultなどの手法に行き着くのではないでしょうか。 そしてこれらのデータモデリングの手法の内、ディメンショナルモデリングについてdbtを用いて実践された記事がありま
SnowflakeでAWS S3 Express One Zoneを組み合わせて、パフォーマンスと互換性を検証したので結果を共有する。 互換性テストが通らなくても、一部の機能は使用できるようだ。 結論 読み取り系のワークロードでは、最大16%ほどのクエリパフォーマンスの改善が見られた。 ただし、現時点では、スタンダードなS3バケットからExpress One Zoneへ移行する必要はない。 現時点では移行するメリットをデメリットが上回る。 まず、書き込み系の操作はエラーで実行できない。 また、LISTなどバケット全体のスキャンを行うクエリでは、最大20倍も遅くなった。 全体的にSnowflakeの内部のコードがExpress One Zoneを想定していないようでエラーが頻発した。 未サポートなので当然だが日常的な使用は厳しい。 SnowflakeでExpress One Zoneを活用し
1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 - CARTA TECH BLOG
当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4 - Speaker Deck。 私たちのチームでは、ビジネスに直接価値を提供しているdbtモデルの開発はプロ
この記事はSnowflakeアドベントカレンダー2023の19日目です。 はじめに 昨年、Snowflakeのパフォーマンスにおいて非常に重要な概念であるクラスタリングとプルーニングに関して、以下の記事を書きました。 なぜクラスタリングやプルーニングが大事なのかを説明させてもらったのですが……理屈はわかった！ではどうすれば？という、具体的なユースケースについて全く書けておらず、また別のブログにします、と宣言しておいて、1年間完全に放置してしまっていました。すみません。。 この記事では、上記の記事の続きとして、クラスタリング・プルーニングの概念を知ったうえで、具体的にパフォーマンスを向上させるにはどうすれば良いかのヒントとなるようなものを書きたいと思います。 具体的には、そうデータモデリングです！ データモデリング万能説 データモデリングがめちゃくちゃ大事だよ！ってことは、SnowVilla
このスライドは以下のイベントの登壇資料です。 SNOWFLAKE TECHNICAL ROUNDTABLE What’s NEW in Global Technologies 〜グローバルにおけるデータ変革のトレンドをご紹介〜
初めまして。 オンプレ業務SEからデータエンジニアへのキャリアチェンジ目指して奮闘中のアラフォーです。 クラウド知識ゼロだった私が、試行錯誤しながらSnowflakeの勉強を始めたので、 現在までに取り組んでみた教材を紹介したいと思います。 これからSnowflake始めてみたいという方の参考になれば・・・！ 取り組んだ教材（すべて無料） 取り組んだ順に並べます。 AWS Skill Builder: 「AWS Cloud Practitioner Essentials (Japanese) (Na) 日本語実写版」 Snowflake チュートリアル: 「Snowflakeを20分で紹介」 Udemy: 「ゼロから始める「Snowflake」最速入門コース」 Snowflake University: 「Level Up シリーズ (101～109)」 Snowflake Univers
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
Tableau Bridge で Snowflake に PrivateLink を使って接続してみた | DevelopersIO
Snowflake は SaaS 製品ですが、各クラウドサービスとのプライベート接続にも対応しており、AWS であれば AWS PrivateLink を利用できます。Tableau Cloud と組みあわせて使用する場合、プライベートネットワークからアクセスするために Tableau Bridge を使用できます。Tableau Bridge を使用したデータソースのパブリッシュまで試してみましたので、記事にしました。 前提環境 以下の環境と構成で検証しています。 Snowflake：Business Critical エディション ※PrivatLink の設定には Business Critical 以上のエディションが必要 Tableau Cloud Tableau Bridge：2023.2.3 Tableau Desktop：2023.2.3 AWS リージョン：ap-nort
GitHub - scratchdata/scratchdata: Scratch is a swiss army knife for big data.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
本記事の背景 本記事は、某所で密かに行われていた Snowflake DevOps 情報交換会 Season 1 最終回の議論用に共有した内容です。 本会は、 DevOps を中心に、また DevOps とは直接は関係ないテーマも含め、その時々において関心のあるテーマを取り扱っていましたが、今回は最終会ということで、本来のテーマである DevOps において、私個人が中心的テーマであると考える構成管理やデプロイの自動化について議論したいと思い、整理しました。 中心的テーマを再び取り上げようと考えたきっかけの 1 つが Snowflake Data Superhero の Tomas が LinkedIn で EXECUTE IMMEDIATE FROM という新しい構文について紹介しているのを発見したことです。これはステージ上の SQL ファイルを直接実行できるという機能です。 Tomas
estie データマネジメントグループのソフトウェアエンジニアの和田です。私については → 入社エントリ この記事の内容 さーて、今回の estie inside blog は estie、データドリブンになりたいってよ データの活用先を考えるブレスト会をやったらアイデアが沢山出たよ データ活用を実現していく仲間を募集中だよ という内容になっております！それでは本編どうぞ！ estie、Snowflake を導入しましたよ（再） 少し前にこのブログでも紹介したのですが、estie の新しいデータ基盤として Snowflake を導入しました。 estie、Snowflake を導入しましたよ - estie inside blog 上記の記事では、データマネジメントグループが管理しているデータパイプラインの課題をメインに紹介したのですが、Snowflake に対しては分析利用への期待も高ま
【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog
こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。 はじめに これまでのあらすじ：運用していく中でつらみがたまってきた弊社のデータ分析基盤。開発しづらいし、運用もつらいし、何よりこのまま運用を続ければ確実に停止してしてしまう。End of Service Life (EOSL) は目前に迫っています。移行するしかない状況です。 とはいっても、単純に移行するだけでは、現場のアナリストやエンジニア、社内ユーザー、そしてその先にあるクライアントのニーズに応え、事業価値に貢献することはできません。真の「価値」に貢献するためには「思
アドテクのビッグデータを制するSnowflakeの力 / data-cloud-world-tour-tokyo-2023
イベントページ https://www.snowflake.com/events/data-cloud-world-tour-tokyo/ セッション説明 このセッションでは、Snowflakeがどのようにして、アドテクで発生する多種多様なビッグデータの一元管理を可能にし、データの真の価値を引き出す方法について詳しく説明します。データサイロの解消から多様なワークロードへの対応、Snowflakeがどのように運用上の課題を解決可能にし、ビジネス価値を引き立てるのかを、具体的な事例と共に解説します。 このセッションを通じて、Snowflakeの優れた特性を理解し、ビッグデータをより効果的に活用するための新たな視野を開くことを目指します。
Streamlit 入門｜npaka
「Streamlit」の使いはじめ方をまとめました。 1. Streamlit「Streamlit」は、機械学習およびデータサイエンスのためのWebアプリケーションフレームを簡単に作成して共有できるPythonライブラリです。 2. HelloWorldの作成HelloWorldの作成手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 (2) パッケージのインストール。 $ pip install streamlit(3) helloworld.pyの作成。 ・helloworld.py import streamlit as st st.text("Hello World!")(4) helloworld.pyの実行。 $ streamlit run helloworld.pyブラウザが自動的に開いて、Webアプリケーションが表示されます。 3. 風船を飛ばすボタンの作成あ
Snowflakeのデータに対して探索的データ分析をしたい！SnowsightのチャートとAmazon SageMaker Studioの例 | DevelopersIO
Snowflakeのデータに対して探索的データ分析をしたい！SnowsightのチャートとAmazon SageMaker Studioの例 Snowflakeに格納したデータに対する探索的データ分析（EDA）ツールの例として、Snowsightのチャート（ダッシュボード・ワークシート）とAmazon SageMaker Studioのご紹介です。 データアナリティクス事業本部 機械学習チームの鈴木です。 Snowflakeに格納したデータを使って機械学習モデルを構築したい際に、最初のステップとして探索的データ分析（Exploratory data analysis、以降EDA）をどこでするとよいかを検討する機会がありました。 Snowflakeが公開している情報を確認しつつ、私がよく利用するSnowsightのチャートとAmazon SageMaker Studioの例をご紹介します。
Snowflakeが2022年に買収したStreamlitの存在感が強まっている。Google XのメンバーとPythonフレームワークとしてStreamlitを共同創業したのが、Amanda Kelly氏（現Snowflake Streamlitプロダクトディレクター）だ。Snowflakeが6月、米ラスベガスで開催したイベント「Snowflake Summit 2023」で、Kelly氏にSnowflakeとの統合やLLM向けの機能などについて聞いた。 解決したかったのはデータの可視化 ──Streamlitを2018年に共同創業していますね。どのような課題を感じ、解決に向けて創業されたのでしょうか。 シード資金を調達した2018年11月1日、Google Xで一緒だったメンバーと創業しました。2人目の娘が生まれた日なので正確に記憶しています。 当時、データエンジニアやデータサイエンテ
snowflake ミリしらから2週間で SnowPro Core Certification(COF-C02-JPN) を取った - Qiita
snowflake ミリしらから2週間で SnowPro Core Certification(COF-C02-JPN) を取った資格SnowflakeSnowPro ひょんなことから、snowflake を全く知らない状況から2週間程度で SnowPro Core Certification を取る必要が生じ、RTA じみた対策をしたのでその記録です。 以下、合格時のスコアレポート。 SnowPro Core Certification とは パブリッククラウドをベースに提供されるデータウェアハウス、データレイクサービス snowflake の認定資格。 snowflake の認定資格の中では最も基礎的な内容を問われるものであり、まずはここから取得を目指すもの。 昨年9月に新バージョンがリリースされ、COF-C02（日本語版は COF-C02-JPN）となった。 試験の概要は大まかに以下
Snowpark PythonのDataFramesでテーブルに格納したデータを操作してみた | DevelopersIO
データアナリティクス事業本部 機械学習チームの鈴木です。 Snowflakeのテーブルに格納したデータの操作を、Snowpark PythonのDataFramesで行う方法を試してみたのでまとめました。 この記事の内容 Snowpark PythonでSnowflakeのデータをクエリして処理する主な方法として、以下のガイドではDataFrameの使用が紹介されています。今回はこの操作の中で、既にテーブルに格納されたデータに対して使いそうなものを試してみます。 APIの使い方はPySparkによく似ており、以下のページでもSparkによるパイプラインのSnowparkへの移行が紹介されています。PySparkに馴染みがある方はAPIリファレンスを見つつすぐに使えると思います。 Snowpark PythonのAPIリファレンスは以下になります。ガイドに載っていなかった一部の例はAPIリフ
Snowpark Pythonを使ったクライアントアプリケーション用のローカル開発環境の準備をしてみた | DevelopersIO
Snowpark Pythonを使うクライアントアプリケーションのためのローカル開発環境を用意してみました。Python環境準備に加え、Snowflakeのユーザーの準備などいくつかポイントがあったのでご紹介します。 データアナリティクス事業本部 機械学習チームの鈴木です。 Snowpark Pythonを使うクライアントアプリケーション開発用に、ローカル環境で開発環境を用意したので、試した内容をご紹介します。 この記事の内容 以下のガイドを参考に、Snowpark Pythonのクライアントアプリケーションを開発するため、ローカル環境で開発環境を用意してみました。 標準的な内容を紹介されていますが、PythonバージョンやインストールするPythonライブラリも確認できたため、クライアントアプリケーションを実行するためのコンテナを準備するような際にも参考になると思います。また、クライアン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Snowflake Arctic - LLM for Enterprise AI
モダンなタスク管理を可能にするSnowflake Python API
9900万人の会員データからスピーディな価値創造を実現する――、Streamlitを導入したNTTドコモが挑む全社規模でのデータ活用
カイロスロケット爆発 痛手を負っても「失敗」といわず、目標も変えないスペースワンの事情
ELYZA LLM for JP (デモ版)
小学生が「2chのAA」や「スプー」を知っている理由
ゼロから始めるデータ基盤 - Snowflake実践ガイド
米ソフトウエア業界伝説の経営者、クック・ナデラ両氏を超える富豪に
NTTドコモ、Streamlit利用の“ポチポチ分析アプリ”開発で社内データ活用を促進 (1/3)
SnowflakeでAWS S3 Express One Zoneを使うとどれだけ速いのか
Snowflakeパフォーマンスのカギはやっぱりデータモデリング
BigQuery+RedShiftの経験から見るSnowflakeの真価
Snowflake初心者向け教育の実践比較 - Qiita
Snowflake で1万"列"データを扱う技術 - Qiita
Snowflake 向けの DevOps の取り組みと現状の課題についてまとめてみた
estie にデータを使って意思決定したいことが 62 個もある話 - estie inside blog
データを活用した生成AIを実現なのがSnowflakeだとCEO強調～KDDIがSnowflakeを用いて複数企業間データ利活用を実現する基盤の実現を目指す
Snowflakeに買収されたStreamlit、生成AIブームを前に創業者は何を思うか