並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 37 件 / 37件

新着順 人気順

apache spark python dockerの検索結果1 - 37 件 / 37件

  • JP Contents Hub

    AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い

      JP Contents Hub
    • NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース|ミック

      近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性(ACID)というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが(クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている)、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc

        NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース|ミック
      • 歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ- - NRIネットコムBlog

        小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「~ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載

          歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ- - NRIネットコムBlog
        • 【2022年】AWS全サービスまとめ | DevelopersIO

          こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの?」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ

            【2022年】AWS全サービスまとめ | DevelopersIO
          • 達人出版会

            探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う! オープンソースライセンス 可知豊 きつねさんでもわかるLLVM販売終了 柏木餅子, 風薬 かんたん合格ITパスポート過去問題集 令和8年度春期 間久保 恭子 [令和8年度]ITパスポート 超効率の教科書+よく出る問題集 ITすきま教室 渡辺さき [令和8年度]基本情報技術者 超効率の教科書+よく出る問題集 五十嵐 順子 ソフトウェア工学の基礎 32 阿萬 裕久, 天㟢 聡介 かんたん合格 ITパスポート教科書&必須問題 令和8年度 坂下 夕里, ラーニング編集部 データビジュアライゼーションのためのデ

              達人出版会
            • 【2024年】AWS全サービスまとめ | DevelopersIO

              こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの?」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ

                【2024年】AWS全サービスまとめ | DevelopersIO
              • GitHub - modelcontextprotocol/servers: Model Context Protocol Servers

                Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte

                  GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
                • awesome-scalability

                  The Patterns of Scalable, Reliable, and Performant Large-Scale Systems View the Project on GitHub View On GitHub An updated and organized reading list for illustrating the patterns of scalable, reliable, and performant large-scale systems. Concepts are explained in the articles of prominent engineers and credible references. Case studies are taken from battle-tested systems that serve millions to

                  • AWS Certified Machine Learning Engineer - Associate(MLA)の学習方法 - NRIネットコムBlog

                    小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Machine Learning Engineer - Associate(MLA)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Machine Learning Engineer - Associate(MLA)」とは 「AWS Certified Machine Learning Engineer - Associa

                      AWS Certified Machine Learning Engineer - Associate(MLA)の学習方法 - NRIネットコムBlog
                    • AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)の学習方法とマシンラーニング・ディープラーニングの基礎知識が学べる学習リソースの紹介 - NRIネットコムBlog

                      小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS 認定 機械学習 – 専門知識」とは 「AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)」は一言で言えばAWSクラウドを活用し

                        AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)の学習方法とマシンラーニング・ディープラーニングの基礎知識が学べる学習リソースの紹介 - NRIネットコムBlog
                      • You Want Modules, Not Microservices

                        Blog Home Archive Sections Some of my Favorites (Collections) Management Tips Speaker Tips Developer Relations Thoughts Interop Briefs Some of my Favorites (Individual posts) O/R-M is the Vietnam of Computer Science The Fallacies of Enterprise Computing SSCLI 2.0 Internals Recommended reading list Functional Java On Finding learning The Value of Failure Programming Promises; a Programmer's Hippocr

                        • Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT docomo Business Engineers' Blog

                          本記事ではDatabricksのDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-LLMのインポート Llama2 HF-7b-instruct モデルの変換 TensorRT-LLMの呼び出し まとめ 参考文献 はじめに こんにちは、NTTコミュニケーションズの露

                            Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT docomo Business Engineers' Blog
                          • 【2023年】AWS全サービスまとめ | DevelopersIO

                            こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの?」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、

                              【2023年】AWS全サービスまとめ | DevelopersIO
                            • Azure Updates (2021.05.26 Build day 1)

                              というわけでBuild関連のUpdateまとめです。 Microsoft Build 以下適当に。 Build全体 Microsoft Build Book of News … 基本これみたら大丈夫。 Microsoft ❤️ developers: Welcome to Build 2021 – The Official Microsoft Blog … Developer関連。 What’s new for Microsoft Edge at Microsoft Build 2021 … Edge関連。 Build cloud-native applications that run anywhere … App ServiceとかPaaS関連。 Harness the power of data and AI in your applications with Azure … Cos

                                Azure Updates (2021.05.26 Build day 1)
                              • ベンダーロックインを考える - Qiita

                                更新記録 2021/6/17 - 「Cloud 型ベンダーロックイン」「Cloud Native DB」について加筆 2021/6/16 - 「OSS」 について加筆 2021/6/14 - 「業界標準」について補足 はじめに IT企業 = ベンダーロックインの塊 プラットフォーマー = ベンダーロックインの塊 残念ですが、その視点の方は、多くいらっしゃいます。ソフトウェア自身が期待していたほど正しく動作しなかった、もっと言うと枯れていなかった時代には、それしか選択肢が無かったかもしれません。 IT業界は Dog Year だと言われて久しいわけですが、Cloud 全盛の今。ベンダーの儲けどころは大きく変わっています。ベンダーロックインは「囲い込み戦略」であり、その負の部分の方が大きい事をベンダーは知っています。 定義 ベンダーロックインの定義を Wikipedia から拾ってみます。 W

                                  ベンダーロックインを考える - Qiita
                                • 【2025年】AWS全サービスまとめ | DevelopersIO

                                  こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2025年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの?」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2024年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 250個 です。 まとめるにあたって、次のドキュメントや、弊社の多数のブログを参考にしました。 コンピューティング Amazon EC2 正式名称は Amaz

                                    【2025年】AWS全サービスまとめ | DevelopersIO
                                  • GA → Airbyte → Snowflake(Snowpark for Python) のELT(EL)パイプラインを作ってみた - ABEJA Tech Blog

                                    この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。 はじめに 各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Snowpark 今回の処理 結局Snowparkが使えると何がいいか 最後に はじめに こんにちは@Takayoshi_maです。今日はGoogle Analytics(UA) → Airbyte → Snowflake (Snowpark for Python)という流れでデータの抽出、加工を行います。 各々の技術について大雑把に紹介 Snowflake Snowflake社(ティッカーコード: SNOW)

                                      GA → Airbyte → Snowflake(Snowpark for Python) のELT(EL)パイプラインを作ってみた - ABEJA Tech Blog
                                    • 達人出版会

                                      探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う! オープンソースライセンス 可知豊 きつねさんでもわかるLLVM販売終了 柏木餅子, 風薬 半導体の酸化機構と酸化膜 公益社団法人 応用物理学会 半導体分野将来基金委員会 ステップアップ Pythonプログラミングの教室 池田 瑞穂 アプリケーション開発の基礎 飯尾 淳 ゼロからのTCP/IPプロトコルスタック自作入門 山本雅也 Kubernetesの教科書 Nigel Poulton(著), 窪田優(訳) 脅威ハンティング Nadhem AlFardan(著), 徳正保彦, 東結香, 田中啓介, 山重

                                        達人出版会
                                      • AWS Glueで複雑な処理を開発するときのTips | フューチャー技術ブログ

                                        はじめにこんにちは。TIGの藤田です。 Python連載 の8日目として、PySparkを使用したGlueジョブ開発のお話をします。 ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます! 特に複雑な処理は、やや割高な開発エンドポイントは使用せず、ローカル端末で、しっかり開発・テストを行いたいですよね。そのためのローカル開発Tipsをご紹介します。 内容 Glueジョブの開発と実行概要 Tip1: ローカル環境構築 Tip2: PySpark, SparkSQL開発 Tip3: 単体テスト(pytest) Tip4: データカタログどうする問題 Glueジョブの開発と実行概要ローカル開発の前に、AWS Glueでのジョブ実行方法を

                                          AWS Glueで複雑な処理を開発するときのTips | フューチャー技術ブログ
                                        • Forward Deployed Engineer: AI時代の新しいエンジニアリング職を深掘りする

                                          はじめに 最近、Palantir、OpenAI、Scale AIなどの先進的なテック企業で「Forward Deployed Engineer(FDE)」という職種名を目にする機会が増えています。日本ではまだ馴染みの薄いこの職種ですが、AIとエンタープライズソフトウェアの複雑化が進む現在、極めて重要な役割を担う職種として注目されています。 本記事では、FDEの実態について技術者の視点から詳しく解説し、この職種が持つ可能性とキャリアパスについて考察します。 Forward Deployed Engineerとは何か 定義と基本概念 Forward Deployed Engineer(前線配置エンジニア)は、顧客の現場に直接配置され、複雑なエンタープライズソフトウェアの実装から運用まで一貫して担当するエンジニアです。[1] 従来の「営業→プロフェッショナルサービス→SI」という分断されたアプロ

                                            Forward Deployed Engineer: AI時代の新しいエンジニアリング職を深掘りする
                                          • 詳解 データレイクハウスアーキテクチャ

                                            データレイクは膨大なデータを柔軟に扱える一方で、スキーマ管理の複雑さや性能の低下、ガバナンスの難しさなど多くの課題を抱えてきました。本書は、これらの問題を解決するデータレイクハウスアーキテクチャの全貌を解き明かします。オープンソースのDelta Lakeを軸に、ACIDトランザクション、タイムトラベル、スキーマ進化、データ品質管理といった重要機能をわかりやすく解説します。さらに、Apache Sparkとの統合、BIやAI/MLへの応用、運用上のベストプラクティスまで、実践的な知識を網羅しています。データエンジニア、アーキテクト、アナリストにとって必携であり、モダンなデータ基盤を設計・構築する上での指針となる1冊です。 2025年12月更新 ■P.103 「5.2.1」の段落の1行目 【誤】Smile File Problem 【正】Small File Problem ■P.104 「5

                                              詳解 データレイクハウスアーキテクチャ
                                            • Tech Solvency: The Story So Far: CVE-2021-44228 (Log4Shell log4j vulnerability).

                                              Log4Shell log4j vulnerability (CVE-2021-44228 / CVE-2021-45046) - cheat-sheet reference guide Last updated: $Date: 2022/02/08 23:26:16 $ UTC - best effort, validate all for your environment/model before use, unofficial sources may be wrong by @TychoTithonus (Royce Williams), standing on the shoulders of many giants Send updates or suggestions (please include category / context / public (or support

                                              • 達人出版会

                                                CDPのつくり方 GA4×BigQueryによる顧客データ基盤 構築・活用実践ガイド 小川 卓, 小畑 陽一, 柳井 隆道, 渡邊 侑紀 増補改訂版 ベイズ最適化 適応的実験計画の基礎と実践 今村 秀明, 松井 孝太 徹底攻略 LPIC レベル3 305 教科書&問題集[Version 3.0]対応 土橋 直樹 実践で学ぶコード改善の極意 Christian Clausen(著), 松田晃一(訳) 安全な暗号をどう実装するか Jean-Philippe Aumasson(著), Smoky(訳), IPUSIRON, 藤田亮… ストリーミング動画技術の教科書 仕組みと実装を完全網羅 伊藤 優汰 一人称研究のすすめ 知能研究の新しい潮流 人工知能学会, 諏訪 正樹, 堀 浩一 はじめての応用数学 ラプラス変換・フーリエ変換編 小坂 敏文, 吉本 定伸 はじめてのアルゴリズム 上原 隆平 はじ

                                                  達人出版会
                                                • Develop and test AWS Glue version 3.0 and 4.0 jobs locally using a Docker container | Amazon Web Services

                                                  AWS Big Data Blog Develop and test AWS Glue version 3.0 and 4.0 jobs locally using a Docker container Mar 2025: This post was written for AWS Glue 3.0 and 4.0. For AWS Glue 5.0, visit Develop and test AWS Glue 5.0 jobs locally using a Docker container. Apr 2023: This post was reviewed and updated with enhanced support for Glue 4.0 Streaming jobs. Jan 2023: This post was reviewed and updated with e

                                                    Develop and test AWS Glue version 3.0 and 4.0 jobs locally using a Docker container | Amazon Web Services
                                                  • Databricks記事のまとめページ(その1) - Qiita

                                                    Databricksイベント Databricksセミナー・ハンズオンまとめページ Databricks Data + AI Summit 2024バーチャルセッションのご紹介 Databricks年次イベント「DATA + AI WORLD TOUR JAPAN 2022」のご案内 DATA + AIサミット2022のご案内 Data + AIサミットで何が起こるのか:オープンソース、テクニカルキーノートなどなど! Data + AIサミット2021で発表されたDatabricksの新機能 Data + AIサミットで発表された重要ニューストップ10 Data & AI Summit 2022におけるDatabricksレイクハウスプラットフォーム発表の振り返り Data & AIサミットにおけるDatabricks SQLのハイライト JEDAI勉強会 第2回: エンドツーエンド・レコ

                                                      Databricks記事のまとめページ(その1) - Qiita
                                                    • Apache Airflow : 10 rules to make it work ( scale ) | Towards Data Science

                                                      Airflow is by default very permissive and without strict rules you are likely to create a chaotic code base that is impossible to scale and administrate. if you are not careful your shortcuts will cost you a lot afterwards Airflow permissive approach will let you schedule any custom code (jobs) but you will create a spaghetti stack if you do not follow very strict SEPARATION OF CONCERN design betw

                                                        Apache Airflow : 10 rules to make it work ( scale ) | Towards Data Science
                                                      • AWSのマネージドAirflow "MWAA" 所感

                                                        Google Cloud Composerのリリース(2018年7月19日GA)から遅れること2年数ヶ月、AWSは2020年11月24日に Managed Workflows for Apache Airflow (MWAA) をリリースした。 Introducing Amazon Managed Workflows for Apache Airflow (MWAA) それから1年、遅ればせながら自分でも軽く試してみた。AWSコンソールからAirflow UIに飛ぶのに違和感を覚えつつも1、種々のAWSサービスとの連携を考えると「むしろなんで今まで無かったんだろう」という気さえする。 概要 公式のデモ動画が分かりやすいので、まずはそれを見てみよう。 ポイントは次の通り。 DAGファイル(Pythonコード)は専用のS3バケットに置く OSSのAirflowに完全準拠 (事前に設定した上限値

                                                          AWSのマネージドAirflow "MWAA" 所感
                                                        • DataflowとBigQueryで始める大規模データ分析基盤実装入門 - TECH PLAY

                                                          DataflowとBigQueryで始める大規模データ分析基盤実装入門大量に蓄積されたデータを活用するためには、データ分析基盤の構築が必要になる。だが、専門知識を持つ人材やデータ分析にかける予算確保は容易くはない。そこで、電通国際情報サービス(ISID)の全社横断的な研究開発部門である、X(クロス)イノベーション本部ソフトウェアデザインセンターの佐藤太一氏が、自らの経験をもとにDataflowとBigQueryで大規模データ分析基盤を実装する方法を紹介。その際に重要となるコスト観も合わせて解説した。 データ分析基盤構築における考え方とシステムアーキテクチャ 佐藤 太一氏 株式会社電通国際情報サービス(ISID) Xイノベーション本部 ソフトウェアデザインセンター 今回登壇した佐藤太一氏が所属する電通国際情報サービス(以下、ISID)のXイノベーション本部は、全社横断的な研究開発部門。佐藤氏

                                                            DataflowとBigQueryで始める大規模データ分析基盤実装入門 - TECH PLAY
                                                          • データ基盤移行計画とPySpark(Spark Connect)の検証 - MicroAd Developers Blog

                                                            マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はデータ基盤移行とPySparkについての話になります。 目次 目次 データ基盤移行の概要 データ基盤移行後のバッチ処理 Spark Connectを導入する Spark Connectの問題点 まとめ 補足 データ基盤移行の概要 諸々の事情1により、データ基盤をHadoopから移行することになりました。 現在のデータ基盤でのETL/ELT処理はHadoopエコシステム(Hive、HDFSなど)を中心に構成されています。 ※Hadoopについてはこちらの記事が参考になります。 これらをKubernetes、PySpark、S3互換ストレージ(詳細未確定)を組み合わせたデータ基盤へ移行する計画です。 すぐにすべてを移行するのは難しく、完全移行までは新旧並行稼働がそれなりの期間続く予定です。 今回の記事では、PySparkを使用し

                                                              データ基盤移行計画とPySpark(Spark Connect)の検証 - MicroAd Developers Blog
                                                            • Containerizing Apache Hadoop Infrastructure at Uber

                                                              You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction As Uber’s business grew, we scaled our Apache Hadoop (referred to as ‘Hadoop’ in this article) deployment to 21000+ hosts in 5 years, to support the various analytical and machine learning use cases. We built a team with varied expertise to address the chal

                                                                Containerizing Apache Hadoop Infrastructure at Uber
                                                              • Argo Workflows - The workflow engine for Kubernetes

                                                                Home Home Getting Started User Guide Operator Manual Developer Guide Roadmap Blog ⧉ Slack ⧉ Twitter ⧉ LinkedIn ⧉ Home What is Argo Workflows?¶ Argo Workflows is an open source container-native workflow engine for orchestrating parallel jobs on Kubernetes. Argo Workflows is implemented as a Kubernetes CRD (Custom Resource Definition). Define workflows where each step is a container. Model multi-ste

                                                                • 達人出版会

                                                                  探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う! オープンソースライセンス 可知豊 きつねさんでもわかるLLVM販売終了 柏木餅子, 風薬 かんたん合格ITパスポート過去問題集 令和8年度春期 間久保 恭子 [令和8年度]ITパスポート 超効率の教科書+よく出る問題集 ITすきま教室 渡辺さき [令和8年度]基本情報技術者 超効率の教科書+よく出る問題集 五十嵐 順子 ソフトウェア工学の基礎 32 阿萬 裕久, 天㟢 聡介 かんたん合格 ITパスポート教科書&必須問題 令和8年度 坂下 夕里, ラーニング編集部 データビジュアライゼーションのためのデ

                                                                    達人出版会
                                                                  • Pythonを使ったAIモデルの構築に必要なスキルと手法 - Qiita

                                                                    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AI技術は今日の社会でますます重要な役割を果たしています。Pythonはその中心で、AIモデルを構築する際に必須となるスキルの多くにおいて主要な役割を果たします。この記事では、Pythonを使ってAIモデルを構築するために必要なスキルとそのスキルを身につけるための手法や技術について解説します。自分自身が独学でPythonを学び、業務で活用できるようになるまでの経歴について詳しく語った記事もありますので、ぜひこちらもご覧ください。 1. Pythonプログラミング AIモデルの構築にはPythonが主要な言語として使用されます。NumPy

                                                                      Pythonを使ったAIモデルの構築に必要なスキルと手法 - Qiita
                                                                    • A non-beginner Data Engineering Roadmap — 2025 Edition

                                                                      Me after years using python.Before starting this post, I want to acknowledge that soft and hard skills are equally important. Data people exist to deliver business value, or more broadly read facts from a pool of ever-growing data. But, even with a bunch of posts talking about soft skills, at the end of the day, we're being paid for the technical skills we have, and the ability we have to deliver

                                                                        A non-beginner Data Engineering Roadmap — 2025 Edition
                                                                      • Apache ZeppelinコンテナとPythonでデータを可視化してみた | DevelopersIO

                                                                        データアナリティクス事業本部の鈴木です。今回は、Apache Zeppelin(以下、Zeppelin)という、ウェブアプリケーションベースのノートブックを紹介します。 本記事の目的 AWSの開発環境において、Zeppelinは以下のような場面で利用されています。 インタラクティブな Glue scripts(pyspark)の開発環境 Amazon Kinesis Data Analytics Studio 私はJupyter Notebookに馴染みがあるものの、Zeppelinは使ったことがありませんでした。上記のような機能を使うために、まずは自分のPCでZeppelinを練習できないかと思い、試してみました。 今回は、Zeppelinの機能をフル活用するより、まずはPythonで一般的な操作を行い、UIの操作感に慣れることを目指しました。 具体的には、Zeppelinコンテナを自分

                                                                          Apache ZeppelinコンテナとPythonでデータを可視化してみた | DevelopersIO
                                                                        • 2020年度版 データ分析基盤での利用ツールの紹介(とハマりごと) - Qiita

                                                                          Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 先回、ログ集約の文章を書いてからログ集約のお仕事を多く頂くようになり、ログを積極的にビジネスに活かす分析基盤構築の機会に恵まれました。それに伴い、いろいろなところで分析基盤にどのような技術を取り入れているか伺う機会が多くなりました。 分析基盤で利用されるツールの種類は多岐に渡り、企業様や事業の性格でいろいろ使い分けが出てきます。それなのに今回はそのような分析基盤の全体感を包括的に説明してしまう無謀な挑戦をしながら、私がおよそメジャーどころの分析基盤ツールを構築した際の使用感(と苦労話)を紹介したいと思います。 全体図 今回の記

                                                                            2020年度版 データ分析基盤での利用ツールの紹介(とハマりごと) - Qiita
                                                                          • How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps | Amazon Web Services

                                                                            Artificial Intelligence How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores, i

                                                                              How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps | Amazon Web Services
                                                                            1