この記事は、 NTT Communications Advent Calendar 2022 7日目の記事です。 はじめに こんにちは、イノベーションセンター所属の志村と申します。 「Metemcyber」プロジェクトで脅威インテリジェンスに関する内製開発や、「NA4Sec」プロジェクトで攻撃インフラの解明・撲滅に関する技術開発を担当しています。 今回は「開発に使える脆弱性スキャンツール」をテーマに、GitHub Dependabot, Trivy, Grypeといったツールの紹介をさせていただきます。 脆弱性の原因とSCAによるスキャン 現在のソフトウェア開発は、多くのOSSを含む外部のソフトウェアに依存しています。Python、Go、npm など多くの言語は、様々なソフトウェアをパッケージとして利用できるエコシステムを提供しており、この仕組みを利用してOSSなどのコンポーネントをソフト
「Log4j 2に脆弱性があるらしい、バージョンアップしたら治るらしい。」 本日話題のこのテーマで軽く書いておきます。 未完です。 未完公開の言い訳。更新した内容は最後に書いてます。大きな間違いは（今のとこ）ないので、よかった。 2021-12-20追記: 2.17.0 出てますのでコピペしてそのままにせず適宜読み替えてくださいね。 とにかくバージョンを上げよう ……リリースできるかは別の話として。 バージョンを上げられないことには話になりません。ということでとにかくあげましょう。 Log4j 2のようなログライブラリは多くのプロダクトで使用されています。 意識する／しないに関わらず、ログライブラリは何かしら関連があると思うべきでしょう。 使用しているかの調べ方 常時依存ライブラリリストを出力するなどして管理しているのであればそれを見ればいいだけの話ですが、そうでなければ、 mvn dep
JCenter が2021年5月1日にシャットダウンすることになったので Android アプリエンジニア観点でメモをまとめた - BattleProgrammerShibata
シャットダウンが延期されました 読み取り専用として存続します JCenter のシャットダウンについては2022年2月1日へ延期になりました。 https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ UPDATE: To better support the community in this migration, JFrog has extended the JCenter new package versions submission deadline through March 31st 2021. To clarify, the JCenter repository will keep serving packages for 12 months until February
Initial Publication Date: 2021/12/10 7:20 PM PDT All updates to this issue have moved here. AWS is aware of the recently disclosed security issue relating to the open-source Apache “Log4j2" utility (CVE-2021-44228). We are actively monitoring this issue, and are working on addressing it for any AWS services which either use Log4j2 or provide it to customers as part of their service. We strongly en
プラグイン型バルク・データ・ローダーの Embulk をメンテナンスしている @dmikurube です。 今後の Embulk のロードマップについて、一年ほど前に、記事を (英語ですが) 出したり、ミートアップで話したりしていました。その内容は、開発版 (非安定版) として Embulk v0.10 でしばらく大改造を行い、そこから次期安定版の v0.11 を経て v1.0 を出しますよ、というものでした。 Embulk v0.10 series, which is a milestone to v1.0 More detailed plan of Embulk v0.10, v0.11, and v1 -- Meetup! Java plugins to catch up with Embulk v0.10 from v0.9 それから一年経ち、その v0.11.0 のリリースがいよ
Kubernetes で運用する JVM アプリケーションの OutOfMemoryError に備える - Uzabase for Engineers
こんにちは。SPEEDA 開発チームの old_horizon です。 JVM アプリケーションの運用について回るのが、OutOfMemoryError (以下 OOM) への対処です。 しかし実際に発生した際に、適切なオペレーションを行うのは意外と難しいのではないでしょうか。 特に本番環境では、まず再起動して復旧を急ぐことも多いかと思います。しかし、ただそれを繰り返すばかりでは原因がいつまでも特定できません。 今回は Kubernetes で運用する JVM アプリケーションに対して、ダウンタイムを抑えつつ調査に役立つ情報を自動的に収集する仕組みを構築してみたいと思います。 環境構築 OOM 発生時に、自動的にヒープダンプを取得しコンテナを再起動する java コマンドのオプション指定 補足 ヒープダンプ出力先のボリュームをマウント readinessProbe によるヘルスチェック レ
Log4j 2のバージョンアップのやりかた で "「Mavenリポジトリ」の指すもの" を軽く書きましたが、いい機会なのでもう少し書いておきます。 最新版は使える？ https://twitter.com/irof/status/1469139048954724354 こういうツイートをしまして。 見てる順番は Log4j 2のトップページ、MvnRepositoryのlog4j-core、GitHubのLog4j 2のタグ一覧、Central Repositoryのlog4j-apiディレクトリです。 ツイートの状態から「Log4j 2はリリース成功してからタグ作るで運用してるんだなぁ」とか、リリース成功したら自動でタグ作ってるわけでもないのかなぁとか思いました。私はタグをトリガーにリリースのパイプライン動かすのが好きです。リリース失敗したら消したくなるけど。 基本的に「最新版が使える」
JANコード とは13桁の商品識別番号であり、一般に流通している商品にはバーコードスキャナで読み取れるように JANコードとともに JANシンボル というバーコードシンボルがパッケージに表示されています。JANコードを利用すれば、システムと商品を連携できます。本稿では、JAN(EAN-13)コードやQRコードなどの各種バーコードを生成できる Java のライブラリ ZXing でJANコードを生成／読み取りする方法について解説します。 こんな人におすすめ JANコードを読み取って商品検索に使いたい 店舗独自のインストアマーキングを印刷したい バーコードバトラーを作りたい ZXingとは ZXing（ゼブラクロッシング）は、Javaで実装されたオープンソースのマルチフォーマット1次元・2次元コード画像処理ライブラリであり、.NETやC++など様々な言語の移植やバインディングが展開されています
![[Java] ZXingを使ってJANコードの生成／読み取りを行う - デベルマン](https://cdn-ak-scissors.b.st-hatena.com/image/square/21dc324ebf9cdbd021a229ac643c58bfbd813541/height=288;version=1;width=512/https%3A%2F%2Fdevelman.net%2Fwp-content%2Fuploads%2F2019%2F09%2Fread-and-write-jancode-with-zxing-java-1.png)
URLやSNSのIDなど、さまざな情報を共有できる手段として QRコード は浸透してきました。人間にはそのQRコードに格納された情報を理解することは困難ですが、生成や読み取りを行うプログラムは簡単にできるようになりました。本稿では、ITFバーコードやQRコードなどの各種バーコードを生成できる Java のライブラリ ZXing でQRコードを生成／読み取りする方法について解説します。 こんな人におすすめ QRコードから情報を読み出したい QRコードによって情報共有を行うアプリを作りたい キャッシュレス決済ごっこに使いたい ZXingとは ZXing（ゼブラクロッシング）は、Javaで実装されたオープンソースのマルチフォーマット1次元・2次元コード画像処理ライブラリであり、.NETやC++など様々な言語の移植やバインディングが展開されています。 ２次元コードについては以下がサポートされていま
![[Java] ZXingを使ってQRコードの生成／読み取りを行う - デベルマン](https://cdn-ak-scissors.b.st-hatena.com/image/square/70b5bb6ccc5acb93275362df34e51e93efdcd618/height=288;version=1;width=512/https%3A%2F%2Fdevelman.net%2Fwp-content%2Fuploads%2F2019%2F09%2Fread-and-write-qrcode-with-zxing-java-1.png)
AndroidアプリのJCenter閉鎖の影響調査と暫定対応 | MoT Lab (GO Inc. Engineering Blog)
こんにちは。 車載システム第二グループの空中です。Twitter等では @soranakk で活動しているのでそちらの方がわかるかもしれません。 普段はタクシー車両に搭載された専用端末上で動作するAndroidアプリ開発をしています。 さて、唐突ですがJCenterが閉鎖されます。 https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ 概要についてはこちらの記事が参考になると思います。 https://bps-tomoya.hateblo.jp/entry/2021/02/04/184317 Androidアプリ開発ではほぼほぼ100%ぐらいのアプリがJCenterを参照しているのでJCenterからMavenCentralに移行して大丈夫かどうかを調べる必要があります。 これの影響
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
前回の記事では、ZXingを使ってQRコードを生成する方法を解説しました。 https://develman.net/read-and-write-qrcode-with-zxing-java/ 本稿では、二次元コードを生成できる Java のライブラリ ZXing を使って、Aztec コードを生成／読み取りする方法について解説します。 こんな人におすすめ AmazonGoに採用されてからAztecに注目している QRコード以外の二次元コードに興味があり、自分で生成したい Aztecとは Aztec は、中央のファインダーコードがアステカ文明のピラミッドを上から見た形と似ていることを名前の由来するマトリクス型コードであり、非常に高い情報化密度を持っていることが特長です。航空券などの旅行書類や自動車の登録書類に使われています。2018年1月22日にアメリカ・シアトルにオープンしたAmazo
![[Java] ZXingを使ってAztecコードの生成／読み取りを行う - デベルマン](https://cdn-ak-scissors.b.st-hatena.com/image/square/927fb4ea147eef8c28245b2615daed49cfeb6eb2/height=288;version=1;width=512/https%3A%2F%2Fdevelman.net%2Fwp-content%2Fuploads%2F2019%2F10%2Fread-and-write-aztec-with-zxing-java.png)
前回の記事では、ZXingを使ってQRコードを生成する方法を解説しました。 https://develman.net/read-and-write-qrcode-with-zxing-java/ 本稿では、二次元コードを生成できる Java のライブラリ ZXing を使って、PDF417 バーコードを生成／読み取りする方法について解説します。 こんな人におすすめ EDIデータの管理・運営にバーコードの読み書きが必要である QRコード以外の二次元コードに興味があり、自分で生成したい PDF417とは PDF417はスタック型の二次元コードです。縦横のデザインが容易に変更できること、優れたエラー訂正機能を持っていることなどから、多方面から高く評価・採用されました。とくに、国際標準物流ラベル(ISO 15394/JIS X 0515)において、EDIデータの標準シンボルとして採用されています。
![[Java] ZXingを使ってPDF417バーコードの生成／読み取りを行う - デベルマン](https://cdn-ak-scissors.b.st-hatena.com/image/square/eca1522206a7eecb3f44adac564837699ba4f6ef/height=288;version=1;width=512/https%3A%2F%2Fdevelman.net%2Fwp-content%2Fuploads%2F2019%2F10%2Fread-and-write-pdf417-with-zxing-java.png)
DependabotでAndroidのライブラリが検知できない場合の対処法 - Pepabo Tech Portal
minne事業部プロダクト開発チームのtepiです。DependabotでAndroidのライブラリが検知できない場合の対処方法についてご紹介したいと思います。 Dependabotとは 事象 デバッグ 理由 対処法 対処法後 まとめ Dependabotとは DependabotはGitHub上で動く自動でライブラリのアップデートを検知できるツールです。 ペパボではGitHub Enterpriseを使って開発を行っており、社内的にはDependabotが推奨されているため、先日公開された記事にも記載の通りRenovateからDependabotに移行しました。 事象 上記の通り移行を行ったのですが、全くPRが作成されないライブラリがいくつもあり、 最初はライブラリがきちんとアップデートされているかつそこまで更新頻度が多くないのかと気にしていなかったのですが、 ある時調べたところ全くアッ
AWSが公開したインターフェイス定義言語(IDL)Smithyのドキュメントを通し読みしてみた | DevelopersIO
CX事業本部の阿部です。 今日はAWSが公開したSmithyというインターフェイス定義言語(IDL)のドキュメントを大筋さらってみたのでまとめてみます。 本当は「使ってみた」というタイトルにしたかったのですが、後述する理由もあり断念、一旦まとめの形にしています。 Smithyとは Smithy SmithyとはAmazonとAWS内で10年以上広く使われてきたインターフェイス定義言語です。 名前の由来は鍛冶場のことらしいです。アラン・スミシーのことかと思ったら、綴り違うんですね。 AWS環境だけで動作するものではなく、他のサービスにも対応します。そのために一般的なプロトコルに対するトレイトやツールなどが準備されています。 Smithyは大きな組織がAPIを通じてコラボレーションするために、以下の4つの特徴を持っています。 Protocol-agnostic(不可知論的プロトコル) サービス
Service End for Bintray, JCenter, GoCenter, and ChartCenter | JFrog の対応をする。 まずは 【追記：2022年2月1日へ延期】JCenter が2021年5月1日にシャットダウンすることになったので Android アプリエンジニア観点でメモをまとめた - BattleProgrammerShibata でだいたいの状況を把握しよう。 影響があるかどうかの確認手順 八木さんのツイート を参考に確認方法をまとめる build.gradle の repositories で下記を削除する jcenter() maven { url "http://dl.bintray.com... build.gradle の repositories に mavenCentral が無ければ追加する ./gradlew --refresh-
Spring Boot and Cloud Native Buildpacks Hands-on Lab
以下のソフトウェアをインストールしてください。 Java 11 docker pack curl jq この資料は次のバージョンで動作確認しています。 $ java -version openjdk version "11.0.10" 2021-01-19 LTS OpenJDK Runtime Environment (build 11.0.10+9-LTS) OpenJDK 64-Bit Server VM (build 11.0.10+9-LTS, mixed mode) $ docker version Client: Docker Engine - Community Cloud integration: 1.0.9 Version: 20.10.5 API version: 1.41 Go version: go1.13.15 Git commit: 55c4c88 Built
お気に入りのScalaライブラリ・ツールをだらだら紹介する - FLINTERS Engineer's Blog
この記事は Scala Advent Calendar 2019 の6日目です。 こんにちは。最近はPYXISのデータ基盤チームでSREっぽいことしている 門脇(@blac_k_ey)です。 TETRIS99の次はポケモンに進捗を奪われる日々を送っています。 締め切りギリギリまで ポケモンで忙しかった 「これ書きたい!」というテーマが思いつかなかったので、個人的に最近のScala開発でお世話になっているライブラリやツールなどを紹介していこうと思います。 詳細はあまり書かず、「ここが好き!」ぐらいのお気持ち表明ぐらいの文章でしかないので、ゆるく暖かい気持ちで読んでくれたら幸いです。 Ammonite リッチなScalaREPL、Scalaスクリプト。 自分のScala生活が豊かになっている大きな要因のひとつ。 Magic Importsを使って、ライブラリをちょっと試したいときにササッと使え
gatringを使って負荷テストをしよう！
この記事は「eureka Advent Calendar 2019」20日目の記事です。昨日の記事は Daichi Haradaによる EC2 Image Builder + ansible + awscli を用いたゴールデンAMIの更新/反映自動化の検討でした。 こんにちはこんにちは、猫がより平和に暮らせる世界を作りたい @marnieです。 ここ最近はデータベースやウェブサーバーなどなどの負荷・性能をコードを改善したり、DB側をいじいじしたり、cache入れたりなどなど 性能改善をする日々を過ごしています。 Pairsの性能改善と猫の関連性について、首をかしげたかもしれませんね。 Pairsの安定稼働は巡り巡って、人の役に立ち、猫達の平和に繋がるはずなので問題ありません。 信じましょう。 さて、性能改善を行うためにミドルウェアやOSなどの実行環境を入れ替えてみた,etc…などなどを行
ざっくりまとめ Coursierの setup コマンドを使うとJDKとScala開発に必要なツールをまとめてインストールできるよ。 最近追加された install コマンド get-coursier.io Coursier といえば sbt v1.3.0 で取り込まれた高速でライブラリ依存を取得するためのOSSとして有名ですが、このCoursierにはCLIが提供されており、ライブラリ依存のグラフを出力したり、アプリケーションの起動スクリプトを用意するコマンドが提供されています。 最近の Coursier v2.0.0-RC のアップデートで install コマンドが追加されました。 Announcement: The install command of coursier is not experimental anymore, and is ready for prime time
Quarkus Sample – OpenID Connect でセキュアなエンドポイントを構築する | DevelopersIO
はじめに 個人的に CloudNative なアプリケーションフレームワーク Quarkus のいろいろなモジュールを試しています。その中から今回は OpenID Connect クライアントモジュールを利用してみます。 QUARKUS - USING OPENID CONNECT TO PROTECT WEB APPLICATIONS USING AUTHORIZATION CODE FLOW 例では KeyCloak を利用していましたが、今回は Auth0 を利用しました。 事前準備 Quarkus ブランクプロジェクトの作成 Quarkus の最低限のブランクプロジェクトを作成します。追加の依存は何も指定しません。 Quarkus - Start coding with code.quarkus.io pom.xml の中は以下の通り。 <dependencies> <depend
オフライン環境構築 目次へ 概要 はじめに オフライン環境でフロントエンド及びバックエンド（java）開発用のリポジトリを構築する手順を示す。 リポジトリマネージャの選定 オフラインリポジトリを構成するツール（以降、リポジトリマネージャ）として著名なものはSonatype Nexus、Apache Archiva、JFrog Artifactoryの3つがある。 Google トレンドで「Apache Archiva, sonatype nexus, jfrog artifactory - すべての国、過去 12 か月間」の 人気度の動向 を見る - https://t.co/3bb4CxYQZR — kannkyo (@kannkyoshi) 2018年2月18日 以下の比較を見ると、このうちOSS版でフロントエンド開発に対応しているものはNexus3だけであることがわかる。 アーティフ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 トラブルシューティング AWS CodeBuild このトピックの情報を使用して、問題を特定、診断、対処します。 CodeBuild ビルドのログ記録とモニタリングを行って問題のトラブルシューティングを行う方法については、「」を参照してくださいログ記録とモニタリング。 Apache Maven が間違ったリポジトリのアーティファクトを参照している 問題： AWS CodeBuildが提供する Java ビルド環境で Maven を使用する場合、Maven は https://repo1.maven.org/maven2 の安全な中央 Maven リポジトリからビルドとプラグインの依存関係を取得します。これは、ビルドプロジェクトの pom.xml ファイルが別の場所を
【デジスマチーム ブログリレー6日目】 こんにちは、デジスマチームに所属している大和です。 タイトルに含まれるOpenAPIという文字から、ChatGPTやGPT-4で話題のOpenAIと見間違えた方もいらっしゃるかもしれませんが、今回はREST APIのスキーマ定義に使用されるOpenAPIの話をします。 私が所属するデジスマチームではデジスマ診療というサービスを開発しており、マイクロサービスアーキテクチャでOpenAPIを利用して開発しています。 なお、システムのアーキテクチャについては以下の記事が詳しいです。 www.m3tech.blog 今回はどのような構成でOpenAPIを利用し、スキーマ駆動開発を行っているかについて例を用いて紹介します。 ねらい スキーマ定義ファイルの構成 APIサーバの定義 共通化されたファイルの定義 イベント駆動用の定義 クライアントコード生成 Swag
前回の記事では、ZXingを使ってQRコードを生成する方法を解説しました。 https://develman.net/read-and-write-qrcode-with-zxing-java/ 本稿では、二次元コードを生成できる Java のライブラリ ZXing を使って、DataMatrix コードを生成／読み取りする方法について解説します。 こんな人におすすめ DataMatrixコードを製品管理に利用したい QRコード以外の二次元コードに興味がある DataMatrixとは Embed from Getty Images 白黒のセルを正方形または長方形に配置したマトリクス型２次元コードで、情報密度が非常に高く、誤り訂正率も高いことから、アメリカでは部品のマーキングに使用されています。日本国内ではあまり目にしませんが、海外の工業製品では珍しくありません。 DataMatrixには、
![[Java] ZXingを使ってDataMatrixコードの生成／読み取りを行う - デベルマン](https://cdn-ak-scissors.b.st-hatena.com/image/square/d25d4a472e70aab69c1908b14e0d4244efb43a3f/height=288;version=1;width=512/https%3A%2F%2Fdevelman.net%2Fwp-content%2Fuploads%2F2019%2F10%2Fread-and-write-datamatrix-with-zxing-java.png)
2020/1/15 から Maven の Central Repository が HTTPS になってハマったよ！ - Qiita
2020/1/15 から Maven の Central Repository が HTTPS になってハマったよ！MavenHTTPSpom.xml501 Central 501 HTTPS Required https://support.sonatype.com/hc/en-us/articles/360041287334-Central-501-HTTPS-Required The Central Repository is Moving to HTTPS https://blog.sonatype.com/central-repository-moving-to-https Central Repository に以下の設定をしている方は https://~ に変更必要みたいです。 http://repo1.maven.org/maven2/ → https://repo1.ma
この記事は Scala Advent Calendar 2022 の7日目が空いていたので、あとから投稿した記事です。アディショナルタイムみたいなものです。タイトルは釣りです（一応33倍速いという根拠はあとのほうに…） ときに2015年、Google のエンジニアらが Maven Central のミラーを公開しました（以下かんたんのため Google ミラーと呼びます）。Google ミラーの目的は、Maven Central 上にある Java や Scala のライブラリなどを、Google のインフラのパワーで高速にダウンロードできるようにすることで、開発者体験を向上するためでした。その後の数年で多少書き方に変化あったようですが、簡素なトップページで Maven でのグローバルな設定方法が掲載されています。 さて、Scala で主流のビルドシステム sbt のグローバルな設定方法に
コンポーネント型Java WebフレームーワークZKをSpring Bootと一緒に試すメモ - きしだのHatena
ZKという、コンポーネント型のWebフレームワークがあって、ちょっと面白そうなので試してみた。 https://www.zkoss.org/ コンポーネント型なのでJSFが近い。 とりあえず始め方がここにいろいろある。 https://www.zkoss.org/wiki/ZK_Installation_Guide プロジェクト作成 まあ、結局Spring Bootと一緒に使うことになるだろうから、Spring Bootで始めるやつを見る。 https://www.zkoss.org/wiki/ZK_Installation_Guide/Quick_Start/Create_and_Run_Your_First_ZK_Application_with_Spring_Boot まずSprig Bootのプロジェクトを作る。 https://start.spring.io/ Dependenc
こんにちは。Android アプリエンジニアをしているぽんです。 SHOWROOM の Android アプリでは Renovate を導入してライブラリの管理をしやすくしています。 Renovate の導入自体はすごく簡単なんですが、それまでにやっておきたいこと等で幾つかの作業を経たので紹介しようと思います。 導入手順を考える build.gradle を Groovy から KTS に移行する Version Catalog を導入する Renovate を導入する 1. 導入手順を考えるRenovate は Gradle File Support があるため、実際には一般的な Android のビルド環境であればそのまま Renovate を導入して動かすことはできます。 しかし、せっかくビルドツール周りを弄るのであれば、ついでに今後のことも考えて変更を加えておきたいです。 現在の
はじめに JavaのコーディングをVS Codeでしていて、Dependencyの解決で見事にハマりました。 備忘録として（たぶん、またハマると思うんで）、調査の過程を記します。 それは、興が乗った私がGitHubからクローンしたSpring Bootのサンプルコードを魔改造しようとして、調子に乗ってpom.xmlを書き換えた後に発生しました。 「追加したdependencyがVSCodeに反映されない…だと？」 そこから、調査がはじまったのです。 調査 VS Codeに導入しているJava関係の拡張機能はJava Extension Packのみですので、もしJava Extension Packの問題であれば世間様（※Google）に聞けばわかるはずです。 ところが、世間様（※Stack Overflow）のご意見を伺っても、pom.xmlを更新したら「更新を反映しますか？」的な確認ダ
概要 PDFを生成するJasperReports LibraryはSpring Bootから使う事も出来る。 Spring Bootが依存しているSpring Web MVCには、JasperReportsでPDFを返すJasperReportsPdfViewクラスが用意されている。 ただし、JasperReportsPdfViewの中で使われているJasperReportsUtilsクラスは含まれていないので、build.gradleに追加する必要がある。 また、JasperReports Library自体も追加する必要がある。 build.gradle： ～ repositories { mavenCentral() maven { url 'http://jasperreports.sourceforge.net/maven2/' } } dependencies { compil
Test data quality at scale with Deequ | Amazon Web Services
AWS Big Data Blog Test data quality at scale with Deequ March 2023: You can now use AWS Glue Data Quality to measure and manage the quality of your data. AWS Glue Data Quality is built on DeeQu and it offers a simplified user experience for customers who want to this open-source package. Refer to the blog and documentation for additional details. You generally write unit tests for your code, but d
A normal Maven build will be executed, with the one important change that if the user doesn't have the necessary version of Maven specified in .mvn/wrapper/maven-wrapper.properties it will be downloaded for the user first, installed and then used. Subsequent uses of mvnw/mvnw.cmd use the previously downloaded, specific version as needed. Supported Systems The wrapper should work on various operati
SwaggerCodegenとは This is the Swagger Codegen project, which allows generation of API client libraries (SDK generation), server stubs and documentation automatically given an OpenAPI Spec. Currently, the following languages/frameworks are supported: SwaggerCodegenはOpenAPIの仕様に沿ったファイルを変換し，APIのクライアントやスタブサーバー，ドキュメントを自動生成するプロダクトです． 今回は，このSwaggerCodegenの使い方や拡張の仕方，実用への課題などを書きたいと思います． SwaggerCodegenの難しさ 圧倒
はじめに sonatype で JIRAアカウント作成 New Project の issue 登録 GnuPG の導入 GnuPG による鍵の生成 公開鍵を鍵サーバへ登録 秘密鍵をエクスポート Gradle プラグインの導入 build.gradle の設定 リポジトリへの公開 まとめ はじめに Maven Central Repository へライブラリを登録する手順です。 意外と古い情報しか見当たらなく、少し面倒な作業なのでこちらで紹介します。 大きくは、以下の流れになります。 sonatype の JIRA で issue を通してリポジトリ作成を依頼 GnuPG で jar を署名できる環境を作成 Gradle プラグインでリポジトリへ登録 Repository Manager で Maven Central Repository へリリース 順に見ていきましょう。 sonat
Spark NLPでTransformerモデルをスケールする - GMOインターネットグループ グループ研究開発本部
こんにちは、T.Y.です。並列分散処理のフレームワークであるSpark上で自然言語処理（Natural Language Processing, NLP）の様々なタスクを行いたい、特に、BERTやGPTなどのTransformerモデルの学習や推論を試したいという動機のもとでSpark NLPについて調べた内容をこちらのブログで解説します。環境構築の過程でSparkからGPUを使用するための手順や、SparkとGPUを利用する他の機械学習フレームワークについても紹介したいと思います。 目次 Summary クラスタ構成 Spark Rapids XGBoost4j-Spark-GPU Spark NLP ChatGPTとテストしてみる Fine-tuningについて Sample Model Spark NLP Displayによる可視化 Synapse ML 最後に 1. Summary
はじめに データベースの準備 SchemaSpy の準備 SchemaSpy の起動 SchemaSpy のドキュメント Redmine のデータベースドキュメント まとめ はじめに SchemaSpy は、既存のデータベースからデータベースのドキュメントをHTMLで出力するJava製のツールです。 ここでは SchemaSpy の使い方について簡単に紹介します。 データベースの準備 何でもいいのですが、ここでは Spring petclinic を例にしてデータベースドキュメントを生成してみます。 リポジトリから git clone します。 $ git clone https://github.com/spring-projects/spring-petclinic.git $ cd spring-petclinic Docker で MySql を起動します。 $ docker ru
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
開発に使える脆弱性スキャンツール - NTT Communications Engineers' Blog
Log4j 2のバージョンアップのやりかた - 日々常々
Apache Log4j2 Security Bulletin (CVE-2021-44228)
Embulk v0.11 / v1.0 に向けて: プラグイン開発者の皆様へ
Javaで「ライブラリの最新版がある」と言うときの基礎知識 - 日々常々
[Java] ZXingを使ってJANコードの生成／読み取りを行う - デベルマン
[Java] ZXingを使ってQRコードの生成／読み取りを行う - デベルマン
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
[Java] ZXingを使ってAztecコードの生成／読み取りを行う - デベルマン
[Java] ZXingを使ってPDF417バーコードの生成／読み取りを行う - デベルマン
jcenter, bintray 廃止で自分のAndroidアプリに対応したことのメモ - Qiita
Coursier を使って最速でScalaの開発環境を整える - ぶらっ記ぃ
オフライン環境構築 Nexus Repository3編 - Qiita
トラブルシューティング AWS CodeBuild - AWS CodeBuild
デジスマチームでのOpenAPI活用方法の紹介 - エムスリーテックブログ
[Java] ZXingを使ってDataMatrixコードの生成／読み取りを行う - デベルマン
Google パワーで sbt でのダウンロードが33倍速くなる！？
Renovateを導入するためにあれこれした話｜SHOWROOM Blog
【備忘録】VS CodeでJavaのビルドツール変更にハマった話 - Qiita
Spring Boot JasperReportsメモ(Hishidama's Spring Boot JasperReports Library Memo)
Apache Maven Wrapper – Maven Wrapper
実用SwaggerCodegen - Qiita
Maven Central Repository への公開手順(Gradle版) - A Memorandum
SchemaSpy で既存データベースから綺麗なデータベースドキュメント生成 - A Memorandum