Dockerイメージ分析ツール「dive」を利用してDockerイメージを軽量化する - 🤖
はじめに Docker イメージサイズは小さければ小さいほど、Push と Pull の高速化につながり嬉しいです。 docker historyによってイメージレイヤーごとのサイズは分かりますが、どのレイヤーのどのファイルのサイズが大きいかは分かりません。 $ docker history maven:3-amazoncorretto-11 IMAGE CREATED CREATED BY SIZE COMMENT eb8a5bbcd061 12 days ago /bin/sh -c #(nop) CMD ["mvn"] 0B <missing> 12 days ago /bin/sh -c #(nop) ENTRYPOINT ["/usr/local/b… 0B <missing> 12 days ago /bin/sh -c #(nop) COPY file:2bbb488dd73
Dockerfileを書かずにBuildpacksで圧倒的に軽量なDockerイメージを作成する(539MB->245MB) - 🤖
はじめに 2018 年 10 月に Cloud Native Buildpacks は Cloud Native Computing Foundation (CNCF)に Sandbox として受け入れられました。 CNCF には Kubernetes, Prometheus, Envoy, Fluentd など有名プロジェクトも多く受け入れられています。 Buildpacks を使うことで、Dockerfile を書かなくても Docker イメージを作成できます。 また、作成されるイメージはかなり軽量でした。 buildpacks.io 試してみた 今回は、以下のリポジトリの Java アプリケーションの Docker イメージを作成します。 github.com インストール # Mac $ brew install buildpacks/tap/pack # Linux $ wge
はじめに初めまして、FinatextグループのK-ZONEチームでインターンをしている松永と申します． 現在インターンではバーチャル株投資ゲームの「トレダビ」の改善を行っています． トレダビを長く運用し続けてきた弊社ですが、長年の運用から技術的負債が溜まっていました． その中の一つに、トレダビのローカルの開発環境でゲーミフィケーションサーバ(トレダビにおいてゲーム的な要素を担当するサーバ)がDocker上で動いておらず、ローカルで開発を進める際に特定の画面の確認ができないという問題がありました． この問題をどのように解決したかについて紹介します． トレダビの開発環境についてトレダビはRuby on Rails + MySQL + Java(ゲーミフィケーションサーバ)で運用されており、AWSの開発環境では以下のような構成で動作しています． しかし、トレダビのローカルの開発環境ではゲーミフィ
こんにちは、メルペイソリューションチーム所属エンジニアの＠orfeonです。 この記事は Merpay Tech Openness Month 2021 5日目の記事です。 メルペイソリューションチームでは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 自分は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 この記事ではいろいろな場面で必要とされるものの、運用負荷などの問題から導入の敷居が高い検索機能を(条件付きで)簡易に提供するためのソリューションを紹介します。 基本的なアイデア 全文検索や位置検索など、検索はいろいろな場面で必要とされる機能です。しかしいざ検索サーバを立てて運用するとなると、データの整合性やモニタリングなど考えないといけないことも多く、利用に二
Java最新フレームワーク、Helidon、Micronaut、Quarkusをnative-imageまでまとめて試す - きしだのHatena
最近でてきたフレームワーク、Helidon、Micronaut、Quarkusのクイックスタート、Native-Imageをまとめて試しましょう。 準備 SDKMANインストール 今回はSDKMANで環境を作っていきます。 https://sdkman.io/ コマンドラインで次のコマンドを実行します。Windowsの場合はCygwinかWSLで。 $ curl -s "https://get.sdkman.io" | bash ターミナルを開きなおすか次のコマンドを実行するとSDKMANが有効になります。 $ source "$HOME/.sdkman/bin/sdkman-init.sh" JDKインストール 今回はnative-imageまで使うのでGraalVMを使っておきましょう。 $ sdk use java 19.1.0-grl native-imageの準備も行います。Cy
Philipp Hauer's Blog Engineering Management, Java Ecosystem, Kotlin, Sociology of Software Development Posted on Oct 14, 2019. Updated on Jun 12, 2022 Putting a fat jar into a Docker container is a waste of storage, bandwidth and time. Fortunately, we can leverage Docker’s image layering and registry caching to create incremental builds and very small artifacts. For instance, we could reduce the e
メディアドゥでは、エンジニア有志によって執筆された【Tech Do Book】という合同誌を発行しています。 本日はその中から、Tech Do Book vol.1 【1章 EPUB Generator をつくろう】を紹介します。 はじめに EPUB生成ツールの作り方を通じて、EPUBフォーマットの理解について深めましょう。 スコープ シンプルなテキストベースのEPUBファイル生成ツールの作り方をまとめます。対象とするEPUBのバージョンは3.0です。 なお、コミックのような画像コンテンツを含むEPUBファイルの生成はここでは取り扱いません。 でき上がるもの 書籍ID、出版社、タイトルや目次内容、本文などをPOSTすると、EPUBファイルとしてダウンロードできるようになります。 図：フォームイメージ 必要な知識 HTML基礎 XML基礎 Spring Bootの簡単な使い方 EPUBフォー
Log4j 2のバージョンアップのやりかた で "「Mavenリポジトリ」の指すもの" を軽く書きましたが、いい機会なのでもう少し書いておきます。 最新版は使える？ https://twitter.com/irof/status/1469139048954724354 こういうツイートをしまして。 見てる順番は Log4j 2のトップページ、MvnRepositoryのlog4j-core、GitHubのLog4j 2のタグ一覧、Central Repositoryのlog4j-apiディレクトリです。 ツイートの状態から「Log4j 2はリリース成功してからタグ作るで運用してるんだなぁ」とか、リリース成功したら自動でタグ作ってるわけでもないのかなぁとか思いました。私はタグをトリガーにリリースのパイプライン動かすのが好きです。リリース失敗したら消したくなるけど。 基本的に「最新版が使える」
[アップデート]AWS CodeBuild で Amazon EFS のサポートがされました！ | DevelopersIO
はじめに こんにちは、AWS事業本部のニシヤマです。はいマスキュラー。 AWS CodeBuildがAmazon EFSのサポートしました！ https://aws.amazon.com/jp/about-aws/whats-new/2020/02/aws-codebuild-adds-support-for-amazon-efs/ コメントでご指摘をいただき、アップデートの内容が間違っていたため修正いたしました。今回のAWS CodeBuildがAmazon EFSのサポートに関しては、CodeBuildのEFSマウントの際にbuildspec.ymlにmountコマンドの記述が不要になったアップデートになります 何が変わったのか？ 今までCodeBuildでEFSを利用する際は、buildspec.yml内でmountコマンドを定義する必要がありました。今回のアップデートによりbuil
![[アップデート]AWS CodeBuild で Amazon EFS のサポートがされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e192a9ab24dc404d02fb224bd42014be4cafa1e5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-efs.png)
IDEs AppCode CLion DataGrip DataSpell Fleet GoLand IntelliJ IDEA PhpStorm PyCharm RustRover Rider RubyMine WebStorm Plugins & Services Big Data Tools Code With Me Quality Assurance JetBrains Platform Scala Toolbox App Writerside JetBrains AI Team Tools Datalore Space TeamCity Upsource YouTrack Hub Qodana .NET & Visual Studio .NET Tools ReSharper C++ Languages & Frameworks Kotlin Ktor MPS Amper Edu
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
AWS DevOps Blog Test Reports with AWS CodeBuild AWS CodeBuild announced the launch of a new feature in CodeBuild called Reports. This feature allows you to view the reports generated by functional or integration tests. The reports can be in the JUnit XML or Cucumber JSON format. You can view metrics such as Pass Rate %, Test Run Duration, and number of Passed versus Failed/Error test cases in one
Visual Studio Code + Docker + Remote DevelopmentでTomcat上のWebアプリを超簡単にデバッグ | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ こんにちは、Visual Studio Codeを愛してやまないサイオステクノロジー技術部 武井(Twitter:@noriyukitakei)です。今回は、Tomcat上のWebアプリケーションをVisual St
AWS SaaS Boostを触ってみる #1 VSCode Remote Containersでデプロイまで | DevelopersIO
AWS は最近 aws-saas-boost という開発者が既存のアプリケーションを SaaS に移行するためのサポートをするツールをオープンソースとしてリリースしました。 AWS SaaS Boost がオープンソースとしてリリースされました このツールを使うことで、例えば既存の Ruby On Rails のようなモノリスアプリケーションをコンテナ化し ECR リポジトリに登録するだけで、SaaS のベストプラクティス（テナント分離や課金、モニタリングなど）の機能を AWS 上に構築することができます。実際に触ってみないとさっぱりなので、サンプルのアプリケーションを作成して、そのアプリケーションを SaaS 化してみようと思います。記事が長くなりそうなので、いくつかに分けて投稿します。この記事では AWS SaaS Boost 自体のデプロイまでを行いたいと思います。 何回かに分けて投
CodeQL
CodeQL Discover vulnerabilities across a codebase with CodeQL, our industry-leading semantic code analysis engine. CodeQL lets you query code as though it were data. Write a query to find all variants of a vulnerability, eradicating it forever. Then share your query to help others do the same. CodeQL is free for research and open source. UnsafeDeserialization.ql import TaintTracking::Global<Unsafe
AWS Cloud Development Kit v2 開発者プレビューのお知らせ | Amazon Web Services
Amazon Web Services ブログ AWS Cloud Development Kit v2 開発者プレビューのお知らせ AWS Cloud Development Kit (AWS CDK) v2が開発者プレビューとして、TypeScript、Python、Java、C#、Go言語で利用できるようになりました。AWS CDKは、使い慣れたプログラミング言語を使ってクラウドアプリケーションのリソースをモデル化し、プロビジョニングするためのオープンソースのソフトウェア開発フレームワークです。AWS CDKを使用すると、インフラストラクチャをコードとして定義し、AWS CloudFormationを通じてプロビジョニングすることができます。AWS CDKは、実績のあるデフォルト値で事前に設定された高レベルなコンポーネントを提供しているため、専門家でなくてもクラウドアプリケーションを
TornadoVM: GPUとFPGAでJavaを高速化する
このようなコンピューティングにおける新しい異種デバイスの中には、マルチコアCPU、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などがあります。多様性はすばらしいことですが、これら新しいデバイスを効率的にプログラムする方法が必要です。 その最たるものとして挙げられるのが、ヘテロジニアス(異種)プログラミング言語の代表格である、CUDAとOpenCLの２つです。しかしこれらの言語では、APIに低レベルな機能が現れているため、専門家でないユーザが使うには非常に難しいものになっています。その例として、OpenCL 3.0標準の中から次の一節を引用してご紹介しましょう。 OpenCLが対象とするのは、ポータブルかつ効率的なコードの記述を望む専門的プログラマです。[...] 従ってOpenCLでは、低レベルのハードウ
はじめに Javaのエンジニアであれば何だかんだでMavenリポジトリを使うことは非常に多いと思います。Gradleであっても使いますしね。 OSSなどはセントラルリポジトリから落とすとして自作のライブラリの管理をどうしていますか？ ローカルだけで開発していればmvn installで事足りますが、CI/CDを行っていたりチームや組織でライブラリを共有している場合はそうもいきません。 という分けで今回はMavenで作成したライブラリを公開するための方法に関してまとめました。ちなみに2020年8月時点でのおすすめはGCSをリポジトリにする方法です。 Maven Central Repositoryに登録 OSSのリポジトリサーバを立てる GitHub Pagesを使う GitHub Packages + Actions を使う S3/GCS/Azure Blobにリポジトリを構築する GCP
AWS LambdaとServerless Advent Calendar 2020 12/8分の記事です。 COVID-19の影響で、オンライン開催となったAWS re:Invent 2020。 初日のキーノートで、AWS Lambdaがコンテナをサポートするという発表がありました。 New for AWS Lambda – Container Image Support なんかやってみたいなーと思って、昔Javaをやっていたので、 Java用のコンテナイメージ使って、Lambda関数を作ってみました。 どんなコンテナイメージあるの？ コンテナイメージ(Base Image)にはどんなのがあるのかと、 DockerHubをみると、以下のものがあるようですね。 amazon/aws-lambda-nodejs amazon/aws-lambda-python amazon/aws-lamb
Mozilla Hubs を VirtualBox でホストしてみた｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
Mozilla Hubs を VirtualBox でホストしてみた みなさんメタバース盛り上がってますか！インフラエンジニアの nobuh です Facebook も社名を Meta に変更するなど、メタバースが次世代のネットの主役になりえる？可能性があるということで、その動向には目を離せないところです。 すでに実現、実装されているメタバースや VR のプロダクトやサービスもいろいろありますが、今回は Mozilla 社がオープンソースで公開している Mozilla Hubs に注目し、そのサーバーを自分の手元の VirtualBox で動かすことに挑戦してみました！ Mozilla Hubs とは Mozilla 社の作ったブラウザでアクセス可能な VR の空間共有サービスで、簡単に要約すると３つの形態があります。 hubs.mozilla.com : Mozilla 社が運営してくれ
Helidon SEの関数スタイルを、WebServerインターフェースを使ってHelidon Webサーバを起動するという、ごく単純な例を使って見ていきましょう。 WebServer.create( Routing.builder() .get("/greet", (req, res) -> res.send("Hello World!")) .build()) .start(); この例を出発点に、ダウンロード用サーバアプリケーションの一部として、本当のstartServer()メソッドを段階的に開発する中で、Helidon SEの3つのコアコンポーネントを探っていきたいと思います。 webサーバコンポーネント NodeJSや他のJavaフレームワークにヒントを得たHelidonのWebサーバコンポーネントは、Netty上で動作する非同期かつリアクティブなAPIです。WebServer
Tekton と Argo CD を使用した AWS でのクラウドネイティブな CI/CD | Amazon Web Services
Amazon Web Services ブログ Tekton と Argo CD を使用した AWS でのクラウドネイティブな CI/CD この記事は Cloud Native CI/CD with Tekton and ArgoCD on AWS (記事公開日: 2022 年 1 月 25 日) を翻訳したものです。 イントロダクション Kubernetes などのコンテナオーケストレーターの普及と採用が進み、その上にますます多くのクラウドネイティブアプリケーションが構築されています。ビジネスアプリケーションに加えて、企業は CI/CD システムなどのインフラストラクチャー関連のコンポーネントも移行しています。 しかし、それらのシステムはそのような最新のプラットフォームに対応できるでしょうか？答えはシステム次第です。明らかに、既存の CI/CD システムのほとんどは、Kubernetes
GitHub - cisagov/log4j-scanner: log4j-scanner is a project derived from other members of the open-source community by CISA to help organizations identify potentially vulnerable web services affected by the log4j vulnerabilities.
Configure your own DNS Server - Preferred) - Add DNS records to your domain. (example.com) A record with a value of your IP address (test.example.com -> ) NS record (ns1.example.com) with a value of the test.example.com as chosen above. Host a DNS server to log DNS requests made to your domain. Install the requirement modules -> pip3 install -r requirements.txt Modify the dns/ddnsserver.py script
<これまでのあらすじ> API開発を終えたサラリマンエンジニアであるタロウは、しめやかにテストを開始した。しかし、そこに待ち受けたのはジェーソン(訳注: JSONのことだと思われる)の複雑怪奇極まりない組み合わせだった。納期を守らないエンジニアは実際シツレイにあたりセプクものだ。このままではジリー・プアー（訳注:徐々に不利）であるタロウの前に恩師であるカラテ・マスターが現れる。 TL;DR APIのユニットテスト、E2Eテストには Karateが便利。 使い方はクセがあるけど、使えば使うほどよく馴染んでくる。 <>で囲まれたタイトル内は茶番なので無視していいよ。 この記事は ただの集団 Advent Calendar 2020 - Adventarの18日目の記事です。 <インストラクション・ワン> 「ここに1つのAPIがある」「おヌシはこのAPIのテストを全て終わらせなければならん。おヌ
Updates on Class Initialization in GraalVM Native Image Generation
tl;dr: Since GraalVM 19.0, application classes in native images are by default initialized at run time and no longer at image build time. Class initialization behavior can be configured using the options --initialize-at-build-time=... and --initialize-at-run-time=..., which take comma-separated lists of class names, package names, and package prefixes. To debug and understand class initialization
これまでモノリシックなシステム開発をしてきた会社やチームがKubernetesやその上でのマイクロサービスの開発に取り組むにはいくつか壁があると思います。その壁はどのようにサービス分割するかや会社・チームの体制といった話から、環境の準備やアプリケーションアーキテクチャのような話まで多岐に渡ります。これからKubernetesやマイクロサービスに踏み出したくても手探りではリスクが大きく感じられ、一歩が踏み出せずこれまで通りのやり方で開発を続けられている方も多いのではないかと思います。 しかしビジネスの変化が激しい昨今、これまで以上に素早いリリースや継続的な変更を求められるケースも増えてきており、サーバレスやコンテナの活用が有効な案件が増えてきていることもまた事実です。 そこで本連載ではKubernetesやマイクロサービスを活用するにあたりどんな準備を進めておけばいいか整理します。第1回目は
これは、なにをしたくて書いたもの？ Spring Cloud Gatewayという、API Gatewayを構築できるライブラリがあるらしい けっこう面白そうな機能を持っている雰囲気なので、1度触っておこうかと というわけで、Spring Cloud Gatewayをお試しということで、遊んでみましたというエントリです。 Spring Cloud Gateway？ オフィシャルサイトに This project provides a library for building an API Gateway on top of Spring MVC. Spring Cloud Gateway とあるように、Spring Web MVCでAPI Gatewayを作るためのライブラリのようです。 主要な機能としては Spring Framework 5およびReactor、Spring Boot
Application InsightsとAzure Container InstancesとSeleniumでWebシナリオ監視 | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ Webシナリオ監視とは？一般的に監視というと、PingやTCPポート監視、プロセス監視、CPUやネットワーク送受信量などのメトリックを利用した監視などがありますが、Webシナリオ監視(一般的な名称かどうかは不明ですが
Embulk v0.11.0, v1.0に向けたMavenプラグインのCI環境構築とMavenプラグインの導入方法 (2021/5/28版) - joker1007’s diary
現在、Embulkは次の安定版であるv0.11.0に向けた開発版としてv0.10がリリースされています。 メンテナであるdmikurubeさんのアナウンスに依ると、0.11.0以降はJRubyがデフォルトでembulkに組込まれなくなるため、プラグインは基本的にJavaで作ることが推奨される様になります。 また、JRubyがデフォルトで入らなくなるため、基本となるプラグインの配布プラットフォームはMavenリポジトリになる予定です。 JavaのプラグインのAPIもいくつか変更されており、新しいバージョンに対応するためには多少の修正が必要になります。 基本的な開発ガイドについては、以下の記事を参考にすると良いでしょう。 zenn.dev zenn.dev ある程度embulkのプラグイン開発に慣れていれば、上記の記事で実装とビルドまでは何とかなるんですが、当分の間0.9系が生き続けることは間
Proxy環境で VS Code Remote Development + Java開発をさせてくれ - Qiita
こん**は。 突然ですが、VS Code で しかも実行環境はコンテナで Java、開発したいですよね。 でも邪魔してくるやつが居ますよね。そう Proxy です。 社内Proxyの場合企業ごとに状況が異なると思いますが、うまくいった例としてすこしでもあなた様の参考になれば……。 モチベーション Proxy 環境下で Docker を利用した VS Code の Remote Development をしたい！ いろんなレイヤからプロキシの設定を求められる…… プロキシに悩める人に、少しでもヒントとなれば！ 動作確認環境（ホスト） OS Windows 10 Docker Docker for Windows VS Code 1.46.0 前提 VS Code と Docker for Windows がインストールされていること Docker for Windows のプロキシ設定は既に
サーバレスコンピューティングサービスであるAWS Lambdaを使って開発する際に、一つ一つの小さな関数を関連する機能でまとめて、１プロジェクトとして開発する際のであれば、CircleCI のダイナミックコンフィグを使い、追加・修正された関数だけを自動でビルド、テスト、デプロイすることができます。 SAMを使ったLambda関数の開発とは？ AWS Lambdaを使って開発する際に、AWS Serverless Application Model(AWS SAM) というフレームワークを使って、開発効率を高めることができます。AWS SAMを使うことで、Node.jsやPython, Ruby, Go, Java, .NETに対応したコンパイラ言語やスクリプト言語を使って、サーバレスの実装やビルド、デプロイを簡単に行うことができます。 例えば、Javaを使って、sam-java-appとい
Red Hat で Solution Architect として Quarkus を担当している伊藤ちひろです。 この記事は、Quarkus.ioのブログ記事、Supersonic Subatomic GraphQL の翻訳記事です。 MicroProfile GraphQL は、リリースされたばかりの Quarkus のバージョン 1.5.0 に含まれています。 GraphQL とは？ 「 GraphQL は、API 用のオープンソースのデータクエリおよび操作言語です。また、既存のデータを使ってクエリを実行するためのランタイムです。GraphQL は、クライアントから文字列を解釈ます。そして、あらかじめ定義された方法で、わかりやすく、予測可能な方法でデータを返します。GraphQL は REST の代わりとなるものではありますが、必ずしもRESTを置き換えるものではありません。」 完全な
はじめに 2022年あけましておめでとうございます。 昨年末 (2021年12月) に ASF Incubator プロジェクトを卒業しトップレベルプロジェクトとなった ETLツール Apache Hop で遊んでみたので記事としてまとめました。 この年末年始に初めて触ったプロダクトなので、内容に誤りがある可能性があります。お気軽にご指摘ください 🙇♂️ Apache Hop とは何か？ ちゃんとした説明は 公式のドキュメント にすべて詳細に書かれています。 ここでは自分の解釈も入れつつ Apache Hop を紹介してみます。 概要と特徴 Apache Hop は ETL (Extract/Transform/Load) の開発ツール・実行エンジンです。データオーケストレーションツールとも呼ばれます。もともとPentahoの一部として開発されていた Kettle というプロジェクトか
概要フューチャーアドベントカレンダーの6日目のエントリーです。 昨日はyut0nさんによる「GoogleカレンダーのイベントをHangouts Chatに通知するbotを作った話」でした。 当記事では、AWS Glue をローカル環境で単体テストするための環境構築方法についてまとめました。 手順 環境構築 pytest の環境構築 conftest.py の設定 テスト対象の作成 テスト実行 実行環境 Amazon Linux 2 AMI 2.0.20190618 x86_64 HVM gp2 Docker 18.06.1-ce docker-compose version 1.24.0 1. 環境構築docker compose を利用します。 GlueのDockerfileは、 こちらの記事(AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました | F
[レポート](ANT222) Analytics with Amazon Athena (フェデレーテッドクエリ ワークショップ) #reinvent | DevelopersIO
[レポート](ANT222) Analytics with Amazon Athena (フェデレーテッドクエリ ワークショップ) #reinvent 本記事はAWS re:Invent 2019のワークショップ「Analytics with Amazon Athena」のレポートです。セッション概要には、Amazon Athenaによるデータ分析ハンズオンのように書かれていますが、実際の内容は、Amazon Athenaの新しいフェデレーテッドクエリによる複数データソースの検索を実践するハンズオンです。 ※ 本セッションの内容はプレビューを体験するワークショップのため、予告なく変更されることが予想されますが、ご了承ください。 ワークショップの内容は、GitHubで公開されている内容ですが、実際に私がワークショップで指定した具体例に基づき解説していますので、皆さんも簡単にワークショップを体
 Analytics with Amazon Athena (フェデレーテッドクエリ ワークショップ) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
1 . データダウンロード URLのリスト $ lynx -listonly -dump "https://dumps.wikimedia.org/jawiki/latest/" | grep 'gz$\|z$\|bz2$' | grep -v history | cut -c 7- | tee jawiki.download.lst https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-abstract.xml.gz https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-abstract1.xml.gz https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-abstract2.xml.gz https://dumps
Maven and Gradle support for Java in Visual Studio Code
Version 1.88 is now available! Read about the new features and fixes from March. Java build tools in VS Code This document is an overview of how to work with your Java build tools in Visual Studio Code. It covers the Maven for Java and Gradle for Java extensions as well as other tools. If you run into any issues when using the features below, you can contact us by entering an issue. Maven Maven is
Field Notes: Optimize your Java application for AWS Lambda with Quarkus | Amazon Web Services
AWS Architecture Blog Field Notes: Optimize your Java application for AWS Lambda with Quarkus This blog post is a continuation of an existing article about optimizing your Java application for Amazon ECS with Quarkus. In this blog post, we examine the benefits of Quarkus in the context of AWS Lambda. Quarkus is a framework that uses the Open Java Development Kit (OpenJDK) with GraalVM and over 50
概要 社内プロキシ下での開発にはCntlmを使うといいよという話。 注意事項 この記事の内容を導入する場合、自己責任でお願いします。 コレ的な設定は会社のセキュリティ的にグレーになるパターンが多いと思われるので、セキュリティ担当部署に導入して良いか相談してみるのが良いでしょう。 対象とする読者 社内プロキシ下での開発に苦しんだことのある開発者。 パスワードが変わったからアプリとかCLIツールの設定を全部変えないとダメじゃん！ curl で社内のAPI叩くときはプロキシ通したくないのに社外のときは通さないとダメとかやってられん！ この言語のパッケージマネージャーのプロキシ設定ってあるのか？また調べないとダメなんか・・・ などなど。 社内プロキシとは？ 会社によってはインターネットに出るときに通さねばならないプロキシ。 多くの場合PCでログインするときと同じユーザ名・パスワードを設定する必要が
MavenリポジトリにないローカルjarをPom.xmlに書く方法 | ホームページ制作のサカエン Developer's Blog
MavenセントラリポジトリにないローカルjarファイルをPom.xmlに書く方法のです。 以前、「Mavenプロジェクトにローカルjarファイルを追加する方法」で紹介した system スコープを使った方法では、mvn install するとWARNINGが発生して jar ファイルが含まれないということがわかりました。 Mavenプロジェクトにローカルjarファイルを追加する方法2021-12-31Mavenプロジェクトにローカルjarファイルを追加する方法です。自前で用意したライブラリや、Mavenリポジトリから提供されていないサードパーティJarなど、pom.xml上に指定できない場合どのようにすればよいか。ここではEclipseのMavenプラグインを使って、Mavenプロジェクトにローカルjarファイルを追加する設定方法を紹介しています。www.saka-en.com 具体的に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レガシーシステムをDocker環境へ移行させた話
お手軽な検索API構築 | メルカリエンジニアリング
Don't Put Fat Jars in Docker Images
EPUB Generatorをつくろう - Tech Do | メディアドゥの技術ブログ
Javaで「ライブラリの最新版がある」と言うときの基礎知識 - 日々常々
IntelliJ IDEA リモート開発環境の自動構築を試してみよう | Post Blog
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
Test Reports with AWS CodeBuild | Amazon Web Services
2020年のMavenリポジトリの作り方 - Qiita
AWS LambdaのコンテナサポートをJavaで試してみた。 - Qiita
Project Helidon入門 - Oracleの軽量フレームワークによるマイクロサービス開発
APIのE2Eは `カラテ` を使うべし。古事記にもそう書いてある。 - はじめに。
Kubernetes活用への道のり 第1回 IaC編 | オブジェクトの広場
Spring Cloud Gatewayで遊ぶ - CLOVER🍀
複数のAWS Lambda関数を１プロジェクトで開発ーコンフィグの分割と変更部分のみの実行
Supersonic Subatomic GraphQL - 赤帽エンジニアブログ
ASF Incubatorを卒業したApache Hopで遊んでみる
AWS Glueの単体テスト環境の構築手順 | フューチャー技術ブログ
wikipedia ダンプデータをデータベースにインポートする手順 | IT notes
社内プロキシ下でもCntlmを使って快適に開発する - なっく日報