Ruby on Railsを使った開発をしていると「システムのER図が欲しい」といったお願いされることがあります。 Railsを使っているのであれば、rails-erd というRubyGemを使うことで簡単にER図を出力できます。 rails-erdで出力されるER図はEntityもAttributeも全て英語です。 提出先がエンジニアである場合や、普段からモデル名を使ったコミュニケーションをしている場合であればこのままでもなんとかなるかもしれません。 一方、相手がビジネスサイドのメンバーである場合や、普段はモデルを日本語変換してコミュニケーションしている相手の場合はこのER図をそのまま出しても困惑されてしまいます。 そこで、今回はなんとかしてEntity・Attributeを日本語化できないか検討しました。結論とそこに至った過程をメモしておきます。 結論 結論としては、rails-erd

if defined? RubyVM::YJIT.enable Rails.application.config.after_initialize do RubyVM::YJIT.enable end end 運用中に何かの理由で無効にしたくなったら、コメントアウトするかファイルごと削除します。 この方法は、最新のRuby on Railsに取り込まれているそのままです。 YJITとは Rubyを高速に実行する機能です。Ruby 3.3 から Ruby on Rails に適用するのも実用的になったそうです。次の記事で詳しく説明されています。 Ruby 3.3 YJITのメモリ管理とRJIT 〜すべてが新しくなった2つのJITを使いこなす | gihyo.jp RubyはJust-In-Time（JIT）コンパイラという機能を備えており、これを有効化すると実行時に機械語を生成して様々な最適

日々いろいろなWebサイトの制作や修正を対応していく中で、修正したページとは関係ない（と思っていた）ページで表示が崩れてしまったことってありませんか？ 私はたびたび経験があります。 毎回目視で全ページをチェックすれば防げるのかもしれませんが、それは現実的ではありません。 自動で全ページをチェックしてくれて不具合があれば教えてくれる、そんな便利なツールがあればと何度も思いました。 どうやら現代の技術でそれは作れるみたいです。ビジュアルリグレッションテストというらしいです。 ビジュアルリグレッションテストとは ざっくりいうと「見た目の比較」をするテストのことです。 変更前のWebサイトのスクリーンショットを用意しておき、変更後のスクリーンショットを撮り比較することで、どこが変わったか差分を表示し確認することができます。 どうやって使うの ビジュアルリグレッションテストを導入するための方法はいく

前提条件 Mac book Nuxt .. v3.0.0-rc.6 Playwright, @playwright/test .. v1.25.1 yarn .. v1.22.17 Nuxt の構成 SSR モード Server Api あり (./server/api) ./server/api 内で、バックエンドから取ってきたデータを ViewModel に変換してブラウザに返すような構成 1. MockServer 化 まず、統一した実行結果がほしいので、ViewModel を返却する Server Api をモックサーバ化してみる Serve Api は nitro で動いているので、 nuxt.config.ts を以下のように書き換えるとうまくいった。 hooks: { 'nitro:config': (config: NitroConfig) => { // nitro の

Ateam Group U-30 Advent Calendar 2022の1日目は 株式会社エイチームライフデザインの@oekazumaが担当します。 はじめに Svelte、SvelteKitのプロジェクトにおいて、コンポーネントテストを書きたい場合、どのようなテストランナーを使ってどう書けばいいかを解説していきます。 SvelteKitが用意してくれているプロジェクト作成のCLIではPlaywrightとVitestがデフォルトで追加できるようになっていますのでこれらのテストランナーを使ったコンポーネントテストを紹介します。 今回、作ったサンプルはこのリポジトリで確認できます。 SvelteKitとは SvelteをベースとしたハイパフォーマンスなWebアプリを作るためのフレームワークです。 ReactでいうNext.js、VueでいうNuxt.jsような立ち位置だと認識していただけ

はじめに E2EテストツールとしてgaugeとPlaywrightをそれぞれ触ってみました。 gaugeとPlaywrightはそれぞれ、ざっくり以下だと理解しています。 gauge 自動テストをMarkdownで自然言語で記述できるようにするツール 類似ツールはCucumberなど（らしい。。まだ使ったことない） Playwright ブラウザ操作を自動化するツール 類似ツールはSelenium、Puppeteer、Cypressなど ただ、gaugeはTAIKOというブラウザ操作自動化ツールが一緒に付いてきたり、Playwrightは@playwright/testというテスティングフレームワークがあったりで、微妙にカバーしている部分が重なっているので、最初よくわかっていないうちは特に紛らわしく感じました。 gaugeをブラウザ操作自動化ツールと組み合わせて使用するケースとして、TAI

この記事はニフクラ 等を提供している、富士通クラウドテクノロジーズ Advent Calendar 2022 の7日目の記事です。 前日は@heriet さんの trivy+conftestで柔軟にライセンスポリシーをチェックする でした。 ライセンスポリシーのチェックをより容易に、汎用的にできるというのは魅力的で私自身すごく勉強になりました。 はじめに 初めまして！ 私は富士通クラウドテクノロジーズ2年目の社員で、基幹システムの運用・開発をしております。 今回は実際に私が部署で管理しているWEBアプリのE2EテストをPlaywightとGitlab CI/CDで自動化した経験から、自動化までの簡単な流れを書こうと思います。 E2Eテストとは E2E（エンドツーエンド）テストは、User Interface Testとも呼ばれております。 WEBアプリにおいて、ユーザの想定される操作に対し

はじめに はじめまして、河村康治です。HITOTSUアドベントカレンダーの18日目を担当します！！ 普段はバックエンドを主に担当しているのですが、テスト基盤構築に力をいれて行こうと思い、今回のアドベントカレンダーではフロントのテストに関して記載して行こうと思います！！！ 今回は、Gauge×Playwrightを活用したE2Eテストの記事を書いて行きます！！ちなみに、今回はPlaywrightの事は深く触れていないので、興味のある方はリンクを確認ください。 Gaugeとは？？ Webシステムの自動テストライブラリです。JS、C#、Java、Python、Rubyでテストコードが記載し、ブラウザ操作を自動でする事でテストの自動化に役立っております。最大の特徴はテストケースをMarkDown形式で記載でき、検証の目的やPointをコードと一緒に記載する事ができるため、保守開発がしやすい事です。

この記事は、ソフトウェアテスト Advent Calendar 2022の11日目の記事となります。 前日11日の記事は、@gremito さんによる「Appium on Azure Pipelines」でした。本日の記事もアプリの自動操作関連です。 概要 ChromeやWebKitを自動操作できるPlaywrightはもう皆さんご存知ですよね？ PlaywrightにはAndroidを自動操作する機能が実は備わっていて、AndroidネイティブアプリケーションもChromeブラウザも自動操作することができます。 ただ、これまではPCに直接ADB接続されているAndroidデバイスしか自動操作することができませんでした。 ところが、割と最近リリースされたv1.28では launchServer （ADB接続したAndroidデバイスをWebSocket経由で自動操作する機能）が追加されまし

要約 DevOps や SRE を実践する人向けに、Playwright による E2E テストを Artillery の負荷掛けシナリオとして利用する手法についてハンズオンを交えて紹介します。 課題としては、Playwright で自動生成したスクリプトを手直ししないと難しいパターンがあることを挙げています。 その他、Tips もあります。 はじめに NSSOL Advent Calendar 2022 の 13 日目にも投稿しました、とうふです。 先の記事で軽く説明した通り、私がいま参画している案件では E2E テスト用のスクリプトを流用したパフォーマンステスト を行なっています。 本記事では、Playwright で作成した E2E テストスクリプトを使って負荷掛けを行うことでパフォーマンステストを実施する手法について紹介します。 前提知識 Playwright とは Playwri

今年8月にリリースされたPlaywrightのVSCode拡張を今更ながら深堀りして触ってみました。 本記事では、VSCode上でPlaywrightを使ったテストの生成・実行・デバッグ・結果確認を一通り実行する方法を紹介します。 PlaywrightないしEnd-to-End(E2E)テスト自動化がだいたいどんなものかを知りたい人に見てもらえれば嬉しいです。 はじめに Playwrightとは Microsoftが開発しているE2Eテスト自動化ライブラリです。 この分野ではSeleniumやCypressといったライブラリが先行していましたが、近年ではビッグテックならではの開発力を背景にPlaywrightが急速にシェアを拡大しているように思います。 事実これらを使い比べてみてもPlaywrightが圧倒的に使いやすく、これからE2Eテスト自動化に取り組んでみたい方にはまず最初にオススメ

API Mockingという機能がPlaywright 1.29でリリースされました。 ブラウザでアクセスしたページが、裏でJSON APIを（Ajaxだったりfetch APIだったりで)叩く際に、そのコンテンツを差し替える、というもの。 公式ドキュメントにある以下のサンプル def handle(route): response = route.fetch() json = response.json() json["message"]["big_red_dog"] = [] # Fullfill using the original response, while patching the response body # with the given JSON object. route.fulfill(response=response, json=json) page.route

概要 Lambda関数は通常Amazon Linux上で動作していますが、Playwrightは公式ではDebianとUbuntuしかサポートしていません（参考）。 そのため、Lambda Runtime Interface Client(RIC)を使ってDebian上のNode.jsのベースイメージを元にPlaywrightをインストールすることでLambda上で動作させました。 ローカルで動作確認したいためAWS Serverless Application Model(AWS SAM)で構築しています。 ソース類は以下にまとめています。 https://github.com/octop162/playwright-lambda SAM準備 sam init で初期化しtemplate.yamlを生成しました。 メモリ使用量を1024MB, タイムアウトを最大の900秒に設定しています

フロントエンドのテストをしよう Webのフロントエンドの自動化を進めようか。という話をしていて、 「そもそもテストってなんだ？」 「フロントエンドに特有のテストってなんだ？」 「〇〇ってツール流行ってるらしいってどうよ？」 みたいなことを話をしていました。そうしたときに、やっぱり知識足らねぇなぁ。と思ったので、2,3日でゴリゴリと内容をまとめてみる作業をしてみました。 あんまりこういう書き方はしないんですが、私自身散発的な思考で、フロントエンドのテストを調べることをしたので、そのような語り口で書いてみようと思います。 以下の内容は、あくまで例なので、別にこういう仕事があったわけではないです。 とりあえず投げられた要求・仕様 とりあえずなんか仕事が振ってきた。パラパラと要求を聞いてみると、こんな感じだった。 承認のダイアログが欲しい メッセージのフォントはOswald メッセージは変更できる

E2E テストの決定版！ テスト開発の効率が爆上がりする Playwright (TypeScript版)フロントエンドVisualStudioCodeE2EテストCypressPlaywright E2E テストスイート Playwright はマイクロソフトが提供しているだけあって Visual Studio Code と高いレベルで統合されています。 E2E テストをステップ実行することができ、変数の値を参照（インスペクト）できます。もちろん、ブラウザーの様子も同時に確認できます。 現在テストがどこを実行中なのかがテストコードにリアルアイムに強調表示されるので、どこで意図せずに止まっているかがすぐに分かります。この機能は追うのが難しい非同期処理にも対応しているので非常に助かります。 テストを動かさなくてもコードにマウスを合わせるだけで、対応する GUI 部品がどこにあるかがすぐに分か

はじめに E2Eテストのテスティングフレームワークとして、Playwrightを2023年に入ってから実務に導入しています。 Locator周りのヘルパー関数から、Auto-wait、トレース、並行処理にuiモード、至れり尽せりのPlaywrightは、Visual Comparison、すなわちスクリーンショットの比較もout-of-the-boxでできます。 ...できますが、実際にやってみると、豊富な機能の森に迷って、簡単なことで意外に手こずることもあります。 先日、本番環境とステージング環境1で修正の戻りがないか、すなわちVisual Regressionテストを行おうとしました。 実装したい手順は、 1. ステージング環境にアクセス 2. ステージング環境のスクリーンショット 3. 本番環境にアクセス 4. 本番環境のスクリーンショット 5. アサーション

Rails, RSpec でブラウザテストというと System Spec, Feature Spec などが挙げられます。バックエンド、フロンテエンド両方を End-to-End でテストするには便利ですが、複雑さ故に、たまに落ちるテストになってしまったり、落ちたときのデバッグが大変という難しさがあります。 Qiita でも主要な機能 (エディタ、記事ページなど) をテストするのに使っているのですが、CI で時折よくわからない理由で落ち、 更に何故落ちたかの再現や調査が難しい というのが結構つらいポイントでした 今回 Qiita で RSpec で利用するブラウザ自動化ツールを Selenium から Playwright を使うように置き換えたら、かなりデバッグが行いやすくなりました 移行自体も Cabybara 用の Driver を使うことで、大きく書き換えることなく移行することが

概要 この記事は テスト自動化の成功事例を語ろう by T-DASH Advent Calendar 2023 の18日目の記事です。 この記事では、ハンズオン形式でplaywrightを利用したE2Eテストを実装する方法について紹介します。 実装したソースコードは以下のリポジトリにありますので、ご興味ある方はご覧ください。 想定する読者 この記事は以下のような方を想定しています。 playwrightを触ってみたい方 E2Eテストを実装したい方 ハンズオンを行うにあたって事前に準備しておくもの このハンズオンを行うにあたって以下のものを事前に準備しておいてください。 Node.js のインストール https://nodejs.org/en/download/package-manager/ GitHubアカウントの作成 https://github.com/ GitHubリポジトリの作

はじめに この記事では個人的に前々から気になっていたブラウザ自動操作ツールのPlaywrightを触って、簡単なツールを作成してみたという内容です。 調べながら作成したので、ところどころ非推奨な書き方などあるかもしれませんが、甘い目で見てください、、 Playwrightとは PlaywrightとはWebブラウザの操作を自動化することができるライブラリです。E2Eフレームワークと言ってテストの自動化で使用されるみたいです。(私は実務では使用したことがありません。) ボタンの押下やフォームへの入力、画面キャプチャの生成など様々なことを自動で行えます。 Webブラウザの操作自動化といえばSeleniumが思いつきますが、他にもあるんですね。勉強不足。 JavaScriptやPythonなど様々な言語に対応しており、調べるとJavaScriptで書いている記事が多かったのですが、一応自分がJa

はじめに (今更ですが) Playwright Component Testの存在を最近知りました。 PlaywrigthはE2Eテストライブラリで、NodeJS上でchromium, firefox, webkitのようなブラウザ・レンダリングエンジンでのWebアプリケーションの操作を自動化してくれます。 個人だとAngularをメインで触っていることもあり、Headless Browserの実行はPuppeteer、E2EテストはCypress、のような印象を持っていましたが、React・Vue・SvelteのプロダクトではPlaywrightが採用されるケースを多く見ます。 上記のブログのように、Page(一画面)に対してテストコードを書いて実行する...というのが基本的な使い方ですが、experimentalでComponent Test Runnerも提供されています。 コンポー

背景 業務で自動テストにCypressを使っているのですが、最近ではCypressとPlaywrightを比較し、Playwrightのほうが優秀っぽく記載される記事や、CypressからPlaywrightに移行しました！、という記事を見かけることが多くなったような気がします。ちなみに以下はGoogleトレンドでCypress（青）とPlaywright（赤）を比較したものです。2023年6月くらいからcypressをPlaywrightが上回っており、少しずつ差が開いてきています。 そのためPlaywrightへの移行を検討する趣旨でいろいろ触ってみたのですが、たぶん単純なスペック（機能・性能）を比較するとPlaywrightが上回っていると感じました。しかしCypressの弱みよりも強みのほうが私にとっては重要であり、Cypressを使い続けたいと感じました。 Cypressの弱み（

スクレイピングにseleniumを使用していましたが、playwrightがかなり直感的で使いやすかったことから活用を始めました。また、実行環境をlambdaにすることで他のアプリケーションから利用しやすくすることもできるため、その方法をまとめておきます。 開発環境 Windows10 Home 22H2 Python 3.10.4 playwright 1.42.0 1.playwrightを利用した機能を実装する ローカルで普通に実装します。ブラウザオブジェクトを作る際には次のオプションを指定しておきます。今回は図書館のHPにアクセスして貸出状況を取得するスクレイパーを実装しています。 browser = playwright.chromium.launch( args=[ "--disable-gpu", "--single-process", ], ) 2.lambdaから利用する

0. 忙しい人向けの結論 劇的にすごいかというとそうでもない感じがする。やりたいことによるかもしれないが、典型的な数理最適化の問題はあいまいな指示では解決できない。 OpenIntepreterは有料のGPT4、無料のLlamaが使える。 無料のLlamaは モデルを様々なサイズ(4GB程度~40GB) から選ぶことができる。 GPUだけではなく、llama.cppでCPUでも処理可能だが遅い（回答が返ってくるまでに2-3分） Llamaでは無限ループが発生することも。 精度はイマイチで難しい。 GPT4は早い。 問題もそれらしく設定/解こうとするが最後まで到達しない。 GPT4は数回 試したら$7(1000円)くらい使った。 日本のお小遣いサラリーマンにはつらい 1. Open Interpreterとは 2023年9月何かとすごいというCode Interpreterの発展OSS版「C

はじめに Quartoを使ってみたらPythonでのデータ分析レポート作成がとても便利だったので紹介します。 想定読者: Pythonでデータ分析をしている方、これから始めようとしている方。(Pythonおよびマークダウンを書いたことがあると想定します) なおR Markdown+RStudioと非常に似ていますが、R/RStudioをインストールしなくても使える点が便利です。 Quartoとは 公式サイト解説(抜粋・翻訳) QuartoはPandocを使って科学技術ドキュメントを生成するオープンソースのシステムです MarkdownまたはJupyter notebookからドキュメントを生成できます Python, R, Juliaに対応 HTML, PDF, MS Word, ePubで出力可能 Jupyterlabによるレポート作成(HTML出力)よりも優れている点 ソースコードが短

はじめに 本記事は、Power Pointが苦手な一人の大学院生がquartoと出会い、Document・発表スライド作りの楽しさを取り戻していく物語です。(本当は単に、公式Documentを読みながら、quartoに関するTipsや文法を備忘録を兼ねてまとめていく記事です。) Markdownで発表スライドを作りたい... 僕は大学での講義や研究活動における発表機会の際、Power Pointを使用して発表資料を作成していました。これは特にこだわりがあるのではなく、周りの人が全員Power Pointを使っており、それが当たり前だったからです。 最初のうちは何も気にせずPower Pointでスライドを作成していたのですが、研究活動でスクリプトをたくさん書くようになると、だんだんPower PointのGUIによる資料作成が非常に退屈で苦痛に感じてきました。 ただこのことはほぼ間違いなく

これは Ruby アドベントカレンダー 2022 の23日目の記事です。 Quarto とは何か？ Quarto は、Pandoc 上に構築されたオープンソースの主に科学技術分野での利用を想定した出版システムです。 Quarto は下記の特徴を持つ、と https://quarto.org/ は主張しています。 Python、R、Julia、および Observable を使用して動的なコンテンツを作る。 ドキュメントをプレーンテキストのマークダウン、または Jupyter ノートブックでもって執筆する。 高品質の記事、レポート、プレゼンテーション、Web サイト、ブログ、書籍を HTML、PDF、MS Word、ePub などで公開する。 数式、引用、相互参照、図パネル、吹き出し、高度なレイアウトなどを含む、科学に関するマークダウンを用いて執筆する。 2 番目のリスト項目内の「マークダウ

記事を書いたモチベ R studioなどを使ってコードを実行しているとき、この内容をどこかにいい感じにまとめてほかの人に共有したいなーって思ったことありますよね？ Rmdファイルはhtmlやpdfに変換できますがそのファイルたちを共有する方法がなかなか難しいです。 webサイトとして公開できれば見やすい＆壊されないのではというところから始めました。 対象 複数の章(Rmdファイル)に分かれるようなナレッジを1つのサイトとして共有したい Rmdでの実行結果(tableやグラフ)もサイトに掲載したい mac/windowsユーザー R studioを使用可能 手法比較 早速ですが、この記事で紹介する3つの手法について下記にまとめます。 個人的にはquartoを使うのがおしゃれ、かつカスタマイズ性が高いです。 方法 利点 欠点

筆者は学生時代を最後に論文という文章を作成する環境とサヨナラしていました。しかし、幸運な巡り合わせにより、再び論文を書く機会を得ました。折角得られた機会を活かして学生時代論文やレポート作成で愛用していたTeX(LaTeX)を再び使ってみようと決意しました。学生時代はTeXStudioというOSSのエディターを利用していました。しかし、最近Visual Studio Code(以下VSCode)の進化が著しく、VSCodeで快適に執筆が出来る。。。物は試しと構築してみた所、予想以上に快適な環境が完成しました。今後も改良を続けて行くつもりですが、まずは構築方法を備忘録として残しておこうと思います。 環境情報 WSL2上のUbuntuとMacで環境構築を実行しました。 Linux Ubuntu 22.04 @ WSL2 Visual Studio Code 1.76.1 TeX Live 202

こんにちは．さんげん（@Sangen_u）です．今回は Quarto を導入し，これを使ってレポートを書く方法を解説していきます． はじめに-なぜ Quarto を使うのか Quarto とは何か 公式サイトには Quarto® is an open-source scientific and technical publishing system built on Pandoc とあります．Rmarkdown を使ったことがある人は Rmarkdown を Python，Julia，R で使えるように拡張したものであると理解すればわかりやすいでしょう（Quarto とは何か，ということについての説明は参考文献1も参考になります．今回は環境構築および設定の説明が長くなりそうなのでこの辺の説明は簡潔にしておきます）． Quarto を使うモチベーション さて，今回私が Quarto を導入す

Quartoを使いたい理由 マークダウンで数学ノートを書くときに \newcommand が使いたい。 定理などを四角で囲みたい。 インストールした環境 Windows11 WSL2 (Ubuntu-20.04) VSCode Linuxにインストール (例) 参考: バージョン 1.2.335 (複数バージョンを入れられる方法でやっていますが、単一バージョンのみを入れるような別の方法があります) export QUARTO_VERSION="1.2.335" sudo mkdir -p /opt/quarto/${QUARTO_VERSION} sudo curl -o quarto.tar.gz -L \ "https://github.com/quarto-dev/quarto-cli/releases/download/v${QUARTO_VERSION}/quarto-${QUA

VSCodeに下記のような設定を追加すると、クリップボードの画像をそのままMarkdownへペーストできるようになります（2023年4月時点）。 // settings.json { "markdown.experimental.copyFiles.destination": { "**/*": "images/" }, "editor.experimental.pasteActions.enabled": true, }

はじめに Qiita株式会社でエンジニアをしている @wataru86 です。 Qiita株式会社は RubyKaigi 2023 に Platinum Sponsor として協賛・ブース出展しています！ 僕もそのメンバーとして、現地で参加していました。本記事では、2日目の @ono-max さんによるセッション「Introduction of new features for VS Code debugging」で発表された debug.gem v1.8 の機能の概要と、実際に使う方法について簡単に説明します。 また、発表時のスライドは以下に公開されていました。 debug.gem debug.gem は Ruby3.1 からデフォルトでRubyに同梱されている gem です。ソースコードは以下リポジトリにあります。 debug.gem 自体は以前から存在していますが、 先日公開された

はじめに この記事はミロゴス Advent Calendar 2023 13日目の投稿です。 Pythonの開発環境はどのようにされていますか？ 私はPythonをLambdaのランタイムによく使用し、Poetryでバージョン管理しながらVS Codeで開発しています。 VS Codeでの警告から、開発環境の設定を見直したので、それについて書いていこうと思います。 見直しの背景 複数人で開発する際には、LinterやFormatterを統一し、書き方を合わせていく必要があります。しかし、メンバー間で一行に対する文字数などに設定の差異があったり、設定をミスしてうまく機能しなかったことがありました。 設定を合わせるために、プロジェクトのレポジトリに.vscode/settings.jsonやextensions.jsonを配置し、共有していました。settings.jsonにはpython.l

時代はAIじゃ！ 私は普段コーディングをするときにGitHub Copilotを多用しています。中にはAIツールをコーディングに導入することに抵抗がある人も多いかもしれませんが、うまく付き合えば彼女よりも強力な存在になること間違いありません 今回はコード補完だけじゃないGitHub Copilotの便利機能を紹介します。 心得 GitHub Copilotを使う時の個人的な心得を書いておきます。 一、部分部分に留めること 一、生成されたコードを理解すること ここで一つ徳川家康の名言を。「及ばざるは過ぎたるより勝れり」 コード補完 導入で言ったことを忘れたかのような章題ですが、一番はやはりコード補完です。 Twitterのバズり例でよくある「〇〇のコードを生成して」ってChatGPTに投げて100行ぐらいばばーっと帰ってくるのをコピペして使うのは、見た目のインパクトはすごいですがあまりやるべ

初めましての方は初めまして．そうでない方はいつもありがとうございます． 私事ではありますが，卒論提出が近づいてきており，そろそろ書き始めなければ間に合わない時期になってきました．今回は，それに関連した記事になっています． さて，私の所属する研究室では，$\LaTeX$での執筆が必須条件になっており，また，Overleafでの執筆が推奨されています． ところが，Overleafの無料版を利用していると以下の点が気になりました．（有料版を利用すれば問題ないのは百も承知なのですが，何ぶん苦学生なので，ご容赦いただければ･･････） 連続して長時間の編集をしているとコンパイルに制限がかかる（最近になって制限が厳しくなったとか） コンパイルが遅い（変更を確認するのに時間がかかる） コンパイル実行時にOverleaf以外の回線が途切れる（私の環境だけでしょうか？） また，可能なら以下の機能も欲しい…

背景 latexdiff-vcコマンドで生成された差分texファイルは、以下の画像のように差分箇所で日本語の改行ができません。 原因は、その差分texファイルが線を引くパッケージにulemを使用しており、このulemが日本語の改行に対応していないからです。 これの対処法として、latexdiffコマンドでは -t CFONTオプションを付けることで線を消して色だけを変える機能がありますが、latexdiff-vcコマンドにはそのオプションはありません。(manコマンド調べ) あと、以下の画像はlatexdiffコマンドの-t CFONTで生成したものですが、なんかフォントサイズバグってるし、初見だとどっちが変更前でどっちが変更後か感覚的にわかりづらいです。 どうにかして日本語の差分箇所を線付きで改行させたい。。 結論 latexdiff-vcの差分texファイルのプリアンブルで使用されてい

Ruffとは Rustで書かれたPython向けのLinter兼Formatterです。LinterとFormatterについては以下の記事に分かりやすくまとめられていたため、ぜひご確認ください。 メリット Ruffには以下のようなメリットがあります。 動作が高速 Rust製ということもあり、従来の静的コード解析ツールと比べてかなり高速です。 ツールを一つにまとめられる 従来はLinterにFlake8、FormatterにBlack、Import sortingにisortというように、目的に合わせて別のツールを導入しなければなりませんでした。Ruffはこれらの役割をすべて担うため、他のツールを導入する必要がありません。 導入と使用 VSCodeを用いてRuffを導入し、簡単なPythonコードを書いてみましょう。 1. 拡張機能のインストール VSCodeの拡張機能が公式から提供されて

アプリケーションを実装する際、環境変数の扱いって微妙に面倒ですよね？ Pythonで実装する際、pydanticというライブラリを使うと、デフォルト値をセットしたり、int型にキャストしたり、 .env から値を読み込むなどの処理を簡単に実装することができます。今回の記事ではそれらのサンプルコードを紹介します。 ちなみに、pydanticは環境変数を読み込むだけのライブラリでは無く、型アノテーションを利用してクラスを定義できるライブラリで、他にも例えばjson形式のデータをクラスにキャスト・バリデーションすることができます。他の機能についてまとまって読みたい方は、次の記事を読んでください。 Pydantic 入門

はじめに この記事は 2020 年の RevComm アドベントカレンダー 18 日目の記事です。 17 日目は @enotesupa さんの 「SOQLでSELECT * FROM SOME-TABLEっぽいことする」 でした。 @zomaphone と申します。普段は NLP 系を仕事を主にしておりますが、音声認識周辺の整備とかもしています。 今回は既存のシステムに対して pytest-mock と pydantic を活用してどのようにして短時間で総合テストのテストコード作成したかについて紹介します。 コードが修正しにくい、テストコード書く時間がないという人にとっては意味のある記事かもしれません。 やりたかったこと revcomm で開発している解析システムは音声データを入力し、他のシステムと通信をしながら処理をし、最後に解析結果を POST (送信) するというような構成となってお

概要 @dataclassを用いると型アノテーションが強制化されますが、この型自体に強制力はありません1。 例えば、下記のように違う型を入れた場合でも動作してしまいます。 from dataclasses import dataclass @dataclass class User: name: str age: int def main(): user_info = User(20, "Hoge") print(user_info) # User(name=20, age='Hoge') print(type(user_info.name)) # <class 'int'> print(type(user_info.age)) # <class 'str'> if __name__ == "__main__": main() なぜ強制力がないかというと、この型アノテーションは型のヒントで

概要 堅牢な型(Strict Type)が現時点で5つしかなく、結局__post_init__などでバリデーションを行う必要があるのは面倒と感じていましたが、なんとpydanticでは型を自分で作ることが出来ます！ ただの型の作成であれば、下記のQiita記事やドキュメントを参照すれば作ることが出来ます。 今回はこれの堅牢な型バージョンです。 型の作成方法 めちゃくちゃ簡単です。 作成する型のクラスを定義する __get_validators__を定義して、次で作成するvalidate関数を呼び出す validateを定義する関数を作成し、エラーパターンを記述する 簡単な例を紹介すると、0以外の数値を受け取るNotZeroNumber型を定義してみます。 from pydantic.dataclasses import dataclass class NotZeroNumber(int):

はじめに 最近ポッドキャスト聴く時間が少し減ってしまったんだけど、久しぶりに Talk Python to Me を聴いたらPydanticの話題でした（エピソードのリンクはこちら）。作者のSamuel Colvinさんが秋に予定しているメジャーバージョンアップの話をし始めたのですが、冒頭で「コアをRustで実装して17倍速くなる」と言っていて、リンク張られていたドキュメントを読みました。この記事はそこで語られていた内容を中心にPydantic v2についてご紹介します。 Pydanticとは v2の話の前に、そもそもPydanticとは何かについて簡単に触れておきます。PydanticはPythonの型ヒント情報を使ってデータバリデーション（データの妥当性検証）を行うライブラリです。予めデータの構造を定義しておいて、入力されたデータがその構造に合っているかを調べてくれます。 例えば、id

SQLModel はPythonコードから SQL databases と会話するためのライブラリです。ここでは FastAPI での使われ方を見ていきますが、FastAPIとは独立したものとして設計されています。 SQLModelはFastAPI の作者が自ら作成しており、SQLAlchemy と Pydantic の両方との互換性を保っています。Pydantic はデータ検証のためのPythonライブラリです。Pythonのtype hintが使われます。ですからPydanticクラスはAPIの入り口であるパスオペレーション関数で使われることが一般的です。 過去記事「FastAPI と SQL Databases(SQLAlchemy)」でFastAPIで SQLAlchemy を使ってSQL Databaseを扱う方法を述べましたが、SQLAlchemy と Pydantic の2重

はじめに Pythonは動的な型付けであるため，変数の型が保証されていない。型ヒントによる宣言やmypyによるチェックは可能だが実行時の制限はない。 そこで，pydanticによる型に堅牢な書き方を記録する。 TL;DR pydanticを使用すると簡単に型検証が行える pydantic.BaseModelの継承と型ヒント 型の宣言はtypingなどによる型ヒントで行う pydanticとは 下記は公式ドキュメントによる説明です。 Data validation and settings management using Python type annotations. pydantic enforces type hints at runtime, and provides user friendly errors when data is invalid. Define how dat

はじめに pythonは動的な型推論を行うがpydanticを使用することで型検証が可能である。しかし，作成時は型検証を行うが再代入時には型検証が行われない。この挙動を変更するにはBaseConfigを使用する。 TL;DR pydantic.BaseConfigによる動作の詳細設定が可能 validate_assignment: 再代入時の型検証 allow_mutation, frozen: イミュータブル化 extra: 宣言以外のデータが入力された場合の設定 上記以外の設定項目は公式ドキュメントを参照 クラスの設定 pydantic.BaseConfig BaseConfigには下記2つの記述方法がある。ここでは1つ目の記述で統一する。 # パターン1 class User_1(pydantic.BaseModel): id: int name: str class Config:

from config import settings def main(): print(f"NAME: {settings.NAME}") print(f"EMAIL: {settings.EMAIL}") print(f"BACKEND_URL: {settings.BACKEND_URL}") if __name__ == "__main__": main() from typing import List from pydantic import BaseSettings, EmailStr, HttpUrl, validator class Settings(BaseSettings): NAME: str = "My name" EMAIL: EmailStr = "email@dummy.com" BACKEND_ACCEPTION_URL_LIST: List = [ "

[FastAPI] ニッチなところを突く！Pydantic-i18nでPydanticのバリデーションメッセージを英語から日本語へ変換！！ この記事を読んでできること Pydanticのバリデーションメッセージを英語から日本語に変換して返すことができる 概要 i18nとは Pydantic-i18nとは 実装 記述しないこと FastAPIについて Pydanticとは Pydanticの実装 使用技術 fastapi==0.78.0 pydantic==1.9.1 pydantic-i18n==0.2.3 i18nとは i18n（Internationalization（国際化対応）の略称）とは、文化や地域、言語によって異なるターゲットオーディエンスに合わせて容易にローカライズできる製品、アプリケーション、または文書内容の設計と開発のこと 今回の実装ではPydanticのデフォルト設定の

from pydantic import BaseSettings class VariableSettings(BaseSettings): """ 環境変数を取得する設定クラス """ DEBUG: bool TEST: str AAA: str = "BBB" settings = VariableSettings() print(settings.DEBUG) # True print(settings.TEST) # hoge print(settings.AAA) # BBB

作ったもの こんな感じにpydanticからArgumentParserを自動で生成するライブラリを作りました。 https://github.com/elda27/pydantic_argparse_builder from argparse import ArgumentParser from pydantic import BaseModel, Field from pydantic_argparse_builder import build_parser class Config(BaseModel): string: str = Field(description="string parameter") integer: int = Field(description="integer parameter") parser = ArgumentParser() build_par

この記事について 入力ライブラリのPydanticで、（クラス定義を通さずに）関数で値をチェックする方法を紹介します 検証環境のバージョン Python 3.10 pydantic 1.10.7 pydanticって何？ 入力をチェックするPythonのライブラリです # ユーザー情報クラスを定義する class UserInfo(BaseModel): user_name: str password: str # もし入力パラメータが{"user_name": "文字列", "password": "文字列"}の形式でなければ例外を投げる UserInfo.parse_raw(input) BaseModelを継承したクラスの型ヒントから、値を入力チェックすることができます。 この記事で実現したいこと、実現すること 実現したいこと JSONのような入力チェックなら標準の使い方そのままでい

はじめに この記事では、JSON形式でスキーマを定義して、PyDanticのクラスを作成する方法を2つ紹介します。 型名と引数を書いたJSONをPyDanticのクラスに変換する JSONSchema形式で書いたJSONをPyDanticのクラスに変換する どういうメリットと、どういうメリットがあるの？ JSONで定義するメリットとしては、定義をアプリの外部に置くことができるので、 利用者の数が変わる昼と夜で閾値を変えたい クラウド側に定義ファイルを置きたい といった要望があった時に対応できることが考えられます。 デメリットとしては、IDEから定義が全く見えないせいで自動補完が効かず、ツールとしての恩恵を受けにくいことです。 型名と引数を書いたJSONをPyDanticのクラスに変換する この方法では、スキーマには、 型の名前(キー名: type, str型) Fieldクラスに渡す引数(

【FastAPI】Pydanticを使ってバリデーション：none is not an allowed valueエラーの解決方法PythonmodeltypingFastAPIpydantic 概要 FastAPIではPydanticというライブラリがあり、データのバリデーションを簡単に行うことができます。今回は、そのPydanticを利用している実装中にnone is not an allowed valueというエラーに遭遇したのでその解決方法を紹介します。 レスポンスが成功するサンプルコード from typing import Any, Optional, Union from pydantic import BaseModel class ResultResponse(BaseModel): request_id: Optional[str] = None status: in

概要 先日、PydanticV2に対応したFastAPI 0.100.0が正式にリリースされました。 PydanticV2は大部分をRustで書き直したことで高速化を実現している他 使い勝手向上のためにAPIが多少変更になっているので、移行作業が必要になる場合があります。 本記事では、V1->V2への移行のポイントについて紹介します。 速度向上について Rust化による速度向上も重要なポイントです。 参考までに、私がPydantic部分のみで試した際は、5~6倍高速化されていました。 以下のクラウドカメラのSafie社のブログで、FastAPIで使用した場合の速度向上について実験されています。 参考リポジトリ FastAPI 0.100.0に対応したFastAPIのサンプルリポジトリを公開しています。 他にもパッケージ管理のRyeやLinterのRuff、SQLAlchemy v2などの最

背景 toml 形式のファイル シミュレーションコードの入力部として、toml 形式の入力ファイルを考えている。特に、可変長個のリストを受け渡し可能にして、柔軟なシミュレーションを行うことを想定している。たとえば、以下のような構成である。 [[floor]] name = "groundfloor" floor_type = "middle" ceilingheight = 2.8 [[floor.room]] area = 18.0 windows = [0, 1, 2, 3] [[floor.room]] area = 20.0 windows = [4, 5] [[floor]] name = "firstfloor" floor_type = "middle" ceilingheight = 2.4 [[floor.room]] area = 35.0 windows = [6,

なかなかMCMCが理解できなかった自分がベイズ統計の本や人から教えてもらってはじめて理解できた表現をまとめている自分用メモ。ベイズ統計の基本は色々良い本やサイトがあるので最低限に止めてます。初心者なので間違えにお気づきでしたら指摘頂けると助かります。 ベイズ統計学とは ベイズの定理というたった一つの公式から大抵の理論が導かれる P(θ)=事前確率、P(θ|D)=事後確率、P(D)=正規化定数(右辺の確率総和を1にしてくれる)、P(D|θ)=尤度 母数は確率変数（=分布を持っている）で、モデリングが必要 伝統的な統計学では母平均は確定している前提で特定の値が含まれる確率を考えたりしていたが、ベイズでは母平均が分布しているという考えを持つ 点数の分布がN(50,10)の試験で80点以上の人は何人いるか？ MCMC（マルコフモンテカルロ連鎖法）とは ある確率分布から乱数を取り出すことにより、汎用

はじめに 本記事は簡単な線形回帰モデルのベイズ推定に関するものである。具体的にはギブス・サンプリングを用いてマルコフ連鎖モンテカルロ法(通称：MCMC)をpythonで実装を行なった。pythonでのMCMCの実行は、pymcというモジュールによるものが有名であるが、今回は敢えてpymcを用いずにnumpyとscipyのみで実装を試みた。この記事を書くにあたって古澄さんの『ベイズ計算統計学』（朝倉書店）を大いに参考にした。 理論 実装の前に簡単ではあるが理論を振り返る。推定したい線形回帰モデルは y_i=\boldsymbol{x}_{i}'\boldsymbol{\beta}+u_i, \ \ u_i\sim N(0,\sigma^2)　\ \ (i=1,\cdots,n) と表される（$y_i$は非説明変数、$\boldsymbol{x}$はk×1の説明変数ベクトルで、$u_i$は平均

はじめに 「ハミルトニアンモンテカルロ法」は、モデルのパラメータを推定する手法であり、 マルコフ連鎖モンテカルロ法（MCMC法）の一種である。 確率的プログラミング言語のStanやPyMCで実装されており、誰でも容易に使うことができる。 様々なパラメータの推定手法 このようなモデルのパラメータを推定する方法に、「EMアルゴリズム」がある。 EMアルゴリズムは、Jensenの不等式を用いて、周辺化対数尤度を下限で近似する。 $ log\ p(x{\mid}{\theta}) \geq E_{z {\sim} q(z)} [log\ p(x, z {\mid}\theta)] $ そして、右辺を最大化することで、左辺の周辺化対数尤度に近づけていく。 しかし、モデル$p(x, z {\mid}\theta)$ が複雑だと、それ自体の解析的な計算ができないため、 EMアルゴリズムを適用することがで

本記事では Rust で MCMC 法 (特に Metropolis 法) を実装し, イテレータとして使えるようにします. MCMC 法とは $n$ 次元空間 $\mathbb{R}^n$ 上の任意の確率分布 $p: \mathbb{R}^n \to \mathbb{R}$ が与えられたとします. Markov 連鎖モンテカルロ法 (MCMC 法) はこの確率分布 $p$ に従ってサンプル列 $\{ x_n \}_{n \in \mathbb{N}}$ を数値的に得るアルゴリズム (のクラス) を指す名称です. 基本的にはモンテカルロ法の一種ですが, サンプル列を Markov 連鎖として生成することでこの名称がつきました. MCMC 法の特徴 MCMC 法は性質のよくわからない確率分布からのサンプル列を得ることで, 平均や分散, 最頻値, 相関係数といった興味ある量を数値的に求めるため

Sleep Offset と Wake Offset が表示されると同時に、lengthカラムに睡眠時間も１時間単位で表示されます。 解析開始！まずは可視化する それではこのデータを使って分析していきます。 Scatterplotを使って就寝データを可視化 データを見ると、深夜0:00あたりからAsleepの軸が濃い青色に変化し始めていき、Awakeもどんどん淡い青色に変化していきます。逆に端っこの23:00ではフルAwakeで、午前3:30はさすがに寝ちゃっています。ちなみにグラフには表示していませんが平均的な就寝時間は12:50〜1:00です。大学生です。 Scatterplotを使って起床データを可視化 逆に起床時間はどうでしょう。6:00はほぼまだAsleepでAwakeになる気配はまったくないですが、8:00になると濃くなりはじめます。そういえば今年の夏休みは長期インターンをして

はじめに RとStanではじめる ベイズ統計モデリングによるデータ分析入門を読みました。わかりやすく、詰まることなく読みすすめることができました。おすすめです。 さらに理解を深めるために、本の内容をなぞって試したいと思います。こちらの書籍ではRとstanを使用していますが、ここではPythonとPystanを使います。 この投稿の大まかな内容は次の通りです。 1. ベイズの定理 2. MCMC法 3. Pystanの使い方 4. 単回帰モデル 単回帰モデルという単純なモデルを通して、ベイズ推定の流れとPystanの使い方を学びます。 0. モジュール ここで予め必要になるモジュールをインポートしておきます。 import numpy as np import matplotlib.pyplot as plt import pystan import arviz plt.rcParams["

はじめに 色々な観測データを集めた結果、その観測値の背後にあるであろう確率分布を、モデルに当てはめて推定してみたいという欲求が出てくることがあります。各種の統計量の計算やシミュレーション計算に便利ですからね。確率分布のモデルとして、正規分布、指数分布、２項分布、ベータ分布等ありますが、今回、ガンマ分布を対象として、MCMC法（Markov Chain Monte Carlo method）をその原理から"素朴に"実装しつつ、どのくらいフィッティングできるかを試してみたいと思います。なお、MCMCを実行する優れたツールとして、WinBUGSやPyMC3などがありますので、敢えて自分で作る必要はないでしょう。とはいえ、自分で作ることで色々見えてくるものもあり、理解が進むメリットはあるのかなと思います。 ガンマ分布とは？ ガンマ分布とは、形状パラメータ$k$、尺度パラメータ$q$の２つのパラメー

1. Overview "Sample Adaptive MCMC$^{[1]}$"という新しいMCMCをNIPS2019のProseedingで見つけたので実験してみた。Numpyroには既に実装済み。興味を持たれた方は是非論文を見てください。 MCMC法では提案分布の調整が重要だが、本手法はサンプル値に基づいてパラメトリック提案分布（正規分布等）のパラメータ（平均、共分散行列）を適応的に調整する手法である。また、有効サンプルサイズを稼ぎやすい手法である。 [1] Michael Zhu, Sample Adaptive MCMC (https://papers.nips.cc/paper/9107-sample-adaptive-mcmc) 2. Algorithm アルゴリズムの概要は、$N$個のサンプル値から平均$μ$と共分散行列$Σ$を計算し、この平均$μ$と共分散行列$Σ$をパ

Summary JavaScript(TypeScript) で MCMC ・メトロポリス・ヘイスティング法を実装して解説してみる記事です。 概ね こちらの記事 の JavaScript 実装版です。 この節の内容を実感するために一番良い方法は、どんな計算機言語でもいいから、 ここで述べたことを白紙から実装してみることである。 という訳で実際にやってみました。 手元でアニメーションで動いてくれるものが出来て理解が深まりました 😉👌 作ったもの まずは 成果物 をご覧ください。 最初の50回を Burn-in 期間として、棄却含め250回までのサンプリングを散布図にプロットしています。 薄い灰色でプロットされているのは Burn-in 期間です。受容されたサンプルは青い丸印で、棄却されたサンプルは赤いバツ印でプロットしています。 画面の下半分には、受容されたサンプルだけ使ってトレースライ

p({\bf x}_t|{\bf y}_{1:T})=p({\bf x}_t|{\bf y}_{1:T})\int\frac{p({\bf x}_{t+1}|{\bf x}_t)}{p({\bf x}_{t+1}|{\bf y}_{1:t})}p({\bf x}_{t+1}|{\bf y}_{1:T})d{\bf x}_{t+1} いずれの分布を計算するにも積分計算を乗り越えなければならない。カルマンフィルタはすべての確率変数が正規分布に従うと仮定することによって積分を行列計算に落とし込み解析的に分布を求める、という手法であった。一方マルコフ連鎖モンテカルロ法(MCMC)は、求めたい分布からのサンプルを直接得て分布を推定する方法である。 MCMCをフィルタリングに用いると各時点でのフィルタ分布からの乱数を毎回発生させる必要があり、現実的ではない。MCMCは逐次的なアプローチよりも平滑化に導

Pythonによるマルコフ連鎖モンテカルロシミュレーション モデル関数のパラメータの最適解の推定方法は、モデルとサンプルの残差を最小にするようにモデルパラメーターを決定する最小二乗法や、ある確率分布からサンプルを生み出すと考えられる尤もらしさ(尤度関数)を最大化するようにモデルパラメーターを決定する最尤法などあるが、今回はマルコフ連鎖モンテカルロ法(MCMC : Markov chain Monte Carlo methods)によるサンプリング手法を用いて、サンプルとモデルの差により得られる尤度関数を最適化することにより、局所最適解を探索する回帰分析の手法を紹介する。 MCMC法(Markov chain Monte Carlo methods)とは MCMCは多次元の確率密度関数を事前分布として持つ標準集団に、詳細つり合い条件が成り立つことを仮定してマルコフ連鎖を繰り返すことで、サンプ

0. 概要 マルコフ連鎖モンテカルロ法(MCMC)は確率分布のサンプリングを行うアルゴリズムの総称である。主に推定したい事象の分布（不確実性など：　どれくらいの確度で推定できているのか）を知りたいときに用いる。今回はこのMCMC法の中でも最も有名なMH（メトロポリス・ヘイスティングス法）に入門する。 最終的には得られたデータ点$x$から、その$x$を発生させている確率密度関数（$\mu$）を推定する。 簡単に、「パラメータ（例えば、平均値や分散値）を正規分布等でサンプリング」→「そのパラメータを元にある関数（分布）を構成する」→「ある関数にデータ$x$を重ねて、その関数がデータ$x$を表現できているか評価する」→「表現できていそうなら、そのパラメータを採用して、最初に戻る」ということをしている。 以下を参考にした。 http://watanabe-www.math.dis.titech.a

マルコフ連鎖モンテカルロ法(MCMC)と焼きなまし法はともにヒューリスティックの分野でよくつかわれる手法だと思います． この記事では焼きなまし法を少し理論的な面から見たい人のために， MCMC の枠組みから焼きなまし法を説明することを目標とします． MCMC の基本 MCMC の目標とするところは与えられた確率分布 $p(z)$ からその分布に従ったデータの列 $z ^ {(i)}$ をサンプリングすることです．MCMCのアルゴリズムを上手に設計すれば高次元の分布からも効率的にサンプリング可能なことが知られています． 例えばマラソンでは観測結果 $X$ とそれを生成したパラメータ $\theta$ があった場合，その事後分布 $p(\theta | X) \propto p(\theta) p(X | \theta)$ から $\theta$ を MCMC でサンプリングすることで $\t

まえがき 本記事は「日本語プログラミング言語「プロデル」 Advent Calendar 2021」18日目の記事です． 17日目は @jpl_produire さん，19日目は @sanei_media さんです． プロデルは日本語プログラミング言語の中でも特に自然な日本語に近い表現ができる言語です． 本記事ではプロデルで乱数サンプリングアルゴリズムを実装し，コードからアルゴリズムを伝えたいという試みです． ※コンピューター上で（擬似）乱数を得るためのアルゴリズム（線形合同法やメルセンヌ・ツイスタなど）の内容については扱わず，組み込み機能として一様乱数が得られるものとします． プロデルでは引数なしの乱数を求める手順で一様乱数が得られます1． なお，Qiita上ではプロデルのシンタックスハイライトが効かないためスクリーンショットを貼り付けています．ソードのテキストなどは GitHub に掲

こんにちは。スキルアップAI編集部です。 機械学習の手法の中には、物理学の知識と非常に密接に関わっているものが多くあります。 今回はマルコフ連鎖モンテカルロ (Markov Chain Monte Carlo; MCMC) 法の1つである、ハミルトニアンモンテカルロ (Hamiltonian Monte Carlo; HMC) 法について触れていきます。MCMC法は、パラメータの事後分布を推定する方法として、機械学習の様々な場面で利用されます。 HMC法は、物理学で発展した概念をMCMC法に応用した重要な手法です。 本記事では、HMC法と物理学の関連性について、厳密性は無視して直感的な説明を試みます。 <目次> 1.マルコフ連鎖モンテカルロ (MCMC) 法とは 2.ハミルトニアンとは 3.ハミルトニアンモンテカルロ (HMC) 法について 4.HMC 法と物理学の関連性 5.まとめ 6.

今までに執筆した「ガウス過程 from Scratch」と「ガウス過程 from Scratch MCMCと勾配法によるハイパーパラメータ最適化」、「ガウス過程 from Scratch コレスキー分解による高速化」では、　ガウス過程(Gaussian Process) をゼロから実装しハイパーパラメータの最適化や計算の高速化を行いました。 通常のガウス過程では、関数 $\mathbf{f}$ と出力 $\mathbf{y}$　の関係 $P(\mathbf{y}|\mathbf{f})$ がガウス分布 $\mathbb{N}(\mathbf{f},\sigma^2\mathbf{I})$ に従うという前提のもと、出力を計算していました。 今回の記事では、尤度 $P(\mathbf{y}|\mathbf{f})$ がコーシー分布に従う場合を考え、データに予期しない外れ値が含まれていてもうまく

線形回帰の解がスパースである(0が多い)ことが事前にわかっているとき、 ベイズ線形回帰(Bayesian Linear Regression) において重みの事前分布に対して、 馬蹄分布(Horseshoe Distribution) を用いるのが一般的です。 正規分布などを事前分布に用いたベイズ線形回帰と比べて、馬蹄分布を事前分布に用いたベイズ線形回帰では、事後分布からのサンプリングには比較的複雑なコードが必要になります。 この記事では、 マルコフ連鎖モンテカルロ法(Markov chain Monte Calro method) のアルゴリズムの一つである　ギブスサンプリング(Gibbs Sampling) を用いた、最も基本的な馬蹄事後分布からのサンプリング方法を紹介します。 ベイズ線形回帰とスパース性 次のような線形回帰モデルにおいて、

1. 人口動態のベイズ推定ー国連モデル 一般的に、人口動態推定は、合計特殊出生率（TFR）の評価、及び平均寿命の評価の2つの評価に分けられる。なお、人口動態推定は人口動態転換モデルを用いて記述されており、一般的に、人口動態転換モデルは4段階から構成される。第一段階では、出生率・死亡率ともに高レベルにある状況が想定されており、第二段階では、出生率は高レベルにあるが、死亡率が急速に減少する過程が想定されている。第三段階では、出生率が減少、死亡率は徐々に減少する過程を想定している。また、第四段階では、出生率・死亡率ともに低レベルにある状況が想定されている。 国連では、現在、階層ベイズモデルを用いて人口動態推定を行なっており、ここでは国連モデルに基づいた評価を実行する。 1.1　TFRのベイズ推定 国連モデルでは、まず、人口動態転換モデルの第二段階におけるTFRの推移は二重ロジスティック関数をドリ

概要 ゼロからできるMCMC (花田政範・松浦壮)で紹介されていたMCMCのオーバーラップ問題への対処法を実際に実装して試してみた記事になっています. MCMCについて分かりやすくまとまっており非常に良い本だったので, MCMCに入門したい方は購入をお勧めします. (MCMCの各手法のコードは著者のGitHubで公開されています) オーバーラップ問題への対処については実装がなかったので, 今回実際に試してみました. オーバーラップ問題 本と同様、2変数のメトロポリス法で試してみたいと思います. def metropolis_2var(action, x_init=0, y_init=0, x_step=0.5, y_step=0.5, iter=100000): """ 2変数のメトロポリス法 Arges: action:　作用関数 x_init: xの初期値 y_init: yの初期値

概要 ベイズモデルを構築し，MCMCを用いてパラメータの推定ができるPythonライブラリとしてPyMCが有名です． PyMCのMCMCでは，デフォルトでNo-U-Turn Sampler (NUTS) [Matthew D. Homan, 2014]が利用されます． import pymc3 as pm # 分布の定義 with pm.Model() as model: mu = pm.Normal('mu', mu=0, sigma=1) pm.Normal('theta', mu=mu, sigma=1) # MCMCでサンプリング with model: trace = pm.sample(random_seed=0) NUTSはハミルトニアンモンテカルロ (HMC)をベースにした手法で，人手によるパラメータの調整が必要ない優れたアルゴリズムです． TensorFlow Proba

インベンスルービン本の25章に記載されている，ベイズ的な操作変数法のPythonでの実装を簡単に解説します．使っているパッケージは基本的にはNumpyのみです． 問題設定やモデル，記法の詳細は本を参照してください．コードはGitHubに載せています． データセットは長島先生のツイートを参考にhttps://mollyaredtana.wixsite.com/sta108 から取得しました． ※本に記載されている結果が一部再現できていないのですが，松浦先生のStanを使った再現とは結果がほぼあっているため，おそらく教科書に載っている結果が一部間違っているのではないかと考えています． 【目次】 実装の詳細 遵守タイプのサンプリング パラメータのサンプリング 因果効果の推定 サンプリング結果（更新予定） 雑感 1. 実装の詳細 遵守タイプとパラメータを（ブロック）ギブスサンプリング法によりサンプ

ポアソン混合モデル　その5：ポアソン混合モデルによる学習、EMアルゴリズムの適用<実装編-1：やっと推論>EMアルゴリズムベイズ推定ポアソン分布ポアソン混合モデル混合分布 今回は、EMアルゴリズムを使ってポアソン混合モデルによる学習を行うことにする。実装編です。 理論編はこちら。 ポアソン混合モデル　その3：ポアソン混合モデルによる学習・推論、EMアルゴリズムの適用<理論編> 一応、手順をまとめておく。 ０－０．データを準備する。 ０－１．πとλを初期化する。 １．E-Stepを実行する。 $$ γ(s_{n,k}) = \frac{π_k Poi(x_n|λ_k)}{\sum_{k=1}^{K} π_k Poi(x_n|λ_k)} $$ ２ー１．M-Stepで $ λ^* $ を求める。 $$ λ^*_k = \frac{\sum_{n=1}^{N} γ(s_{n,k}) x_n}{\s

この記事はJuliaLang Advent Calendar 2022 15日目の記事です。 誤差伝播って面倒だよね 実験の測定値に誤差はつきものです。その測定値から別の物理量を計算する際にも、誤差を適切に伝播させる必要があります。今回は測定値を誤差付きで管理し、線形誤差伝播を自動で行うパッケージMeasurements.jlを紹介したいと思います1。適宜公式ドキュメントを参照してください。 簡単な使い方 julia> using Measurements julia> x = 1 ± 0.1 1.0 ± 0.1 julia> typeof(x) Measurement{Float64} julia> y = measurement(2 ± 0.1) 2.0 ± 0.1 測定値±誤差やmeasurements(val, [err])などで宣言できます2。errは標準偏差(および標準偏差だと

julia> a = [1,2,3] 3-element Vector{Int64}: 1 2 3

今回はこれの実装方法を説明します。 自作の型に対する演算 ステータスのアクセスに対して、配列のアクセスのようにインデックスでアクセスしたい場合、以下のようにして定義すれば可能になります。これはBaseの関数getindex, setindex!に対して多重ディスパッチさせている感じです。 function Base.getindex(st::Status_6, i::Int) if i == 1 return st.hp elseif i == 2 return st.mp elseif i == 3 return st.atk elseif i == 4 return st.dfs else error("access denied.") end end function Base.setindex!(st::Status_6, val::Real, i::Int) if i == 1

結論 サイズの小さい、かつ固定長の線形代数の計算はStaticArrays.jlを使おう 実験 公式ドキュメントのPerformance Tipsには、計算結果をPre-allocateする工夫として、次の例が掲載されています。 function xinc(x) return [x, x+1, x+2] end; function loopinc() y = 0 for i = 1:10^7 ret = xinc(i) y += ret[2] end return y end; function xinc!(ret::AbstractVector{T}, x::T) where T ret[1] = x ret[2] = x+1 ret[3] = x+2 nothing end; function loopinc_prealloc() ret = Vector{Int}(undef, 3)

Juliaは本来的にobject-orientedではない(資料1) object-orientedなコーディングをしたいときに使えるJulia特有のツール・概念がある Juliaはmultiple dispatch(wikipedia)というパラダイムに属する言語である(資料1,資料2) mutable struct という構文を使うと、一般的なOOP言語のクラスや構造体と似たような振る舞いを出来る。中に定義されるものは全てdataであり、関数も登録できるが、メソッドという概念は無いらしい。 単に連想配列を使いたいだけなら、「名前付きタプル」を使えばx = (name="Tom",age=21,job="engineer"); x.name #->Tomのように出来る。 典型的なOOP言語と似たような書き方をする方法もあるにはあり、色々な人が個別に研究している(資料3, 資料4)

概要 ベイズ推論入門として, 須山ベイズ1のうち, 下記をJulia(Turing.jl)で実装してみた. Chapter3　ベイズ推論による学習と予測 3.2 離散確率分布の学習と予測 3.2.1 ベルヌーイ分布の学習と予測 3.3 1次元ガウス分布の学習と予測 3.3.1 平均が未知の場合 3.3.2 精度が未知の場合 3.3.3 平均・精度が未知の場合 なお、実装は学習までで, 予測はやってない. (いや予測の実装がめんどかったんですよ） 実装は本に記載の解析解と, Turing.jlを用いた実装の両方行ってみた. 使用したもの Julia v1.9.2 Distributions v0.25.99 StatsPlots v0.15.6 SpecialFunctions v2.3.0 Turing v0.28.1 ベルヌーイ分布の学習 観測値$X=\{ x_1, x_2 , \dot

OpenAPI Generator で Deno クライアントの生成が可能になりました。 私が PR を作成し無事？マージされました。 使い方についてご紹介したいと思います。 openapi-generator-cli のダウンロード まずは、openapi-generator-cli をダウンロードします。 せっかくなので？ deno コマンドでダウンロードしてみます。 $ deno eval 'fetch("https://repo1.maven.org/maven2/org/openapitools/openapi-generator-cli/5.0.1/openapi-generator-cli-5.0.1.jar").then(r=>r.arrayBuffer()).then(b=>Deno.writeFile("openapi-generator-cli.jar",new Ui

TL; DR API定義をSwagger Editorで作成する（Open API 3.0） API定義からGolangのサーバコードのスケルトンを作成する コードを実装し展開する 注意 初心者のメモです。まだ途中までしか作成してません API定義をSwagger Editorで作成する（Open API 3.0） みんなSwaggerなるものを使っている。 仕様ドキュメントと実装が違うなどということはソフトウェア開発ではたびたび経験しているから、ぜひとも避けたい。 聞くに、Swagger Editor というヴィジュアライズしてくれる便利なものもあるらしく、これは便利である 作成した定義は、[File] > [Save as YAML] で ダウンロードできる。 どうもSwaggerがデファクトらしいが、標準化されたOpen APIという書き方があるのなら、個人的にはデファクトといえどそ

しばらく書いてなかったけどメモ程度に dreddとは dreddはopenapi(swagger)やAPI Blueprintの定義を読み込んでテストを実行してくれる便利なツールです。 例えば localhost:8080 でAPIサーバを動かして のようにすればschema.yamlに定義されたAPIの定義に従ってリクエストを送り、レスポンスが仕様に従っているかテストしてくれます。 が、ログインしてtokenを貰ってそのtokenでアクセスするというようなAPIはそのままではテストできません。 hooksという仕組みを使うと、レスポンスからtokenを取得して以後はそれを使う、といった動作が可能になります。 dredd hooks ドキュメントにある通り、hooksは様々な言語で書くことができますが、とりあえずdreddと同じnode.jsでやってみます。 （なぜかと言うと、docker

概要 スキーマレスなFirestoreにPythonの自作ORM(fsglue)で型を定義して、OpenAPIとかTypescriptと組み合わせたら、柔軟だけど型のある快適な開発環境を作れたので、簡単にまとめてみた 背景 趣味でローコードな業務アプリのプラットフォームBizglueの開発をしていて、そこの裏側的なお話です。サービスの開発動機とかについては、noteの方に書いているのでご興味もっていただけた方はこちらもどうぞ。 最終的に今の構成になるまでのざっくりとした流れ サーバサイドは長く使っていたPythonを使いたい サーバ管理したくないし、お金もかけれないので無料枠のあるAppEngineを使おう AppEngineといえばDatastoreだけど、新しいFirestoreの方が便利そうだしそっち使おう Datastoreならndbがあるけど、FirestoreはORMないのか…

この記事はGo 4 Advent Calendar 2020 2日目の記事です。 この記事について OpenAPIのyamlファイルから、APIサーバーやクライアントコードを生成するopen-generatorというツールが存在します。 今回は、これを用いてGoのAPIサーバー/クライアントのコードを自動生成させ、それに手を加えて実際に使えるようにするまでの過程を紹介します。 使用する環境・バージョン go version go1.14 darwin/amd64 openapi 3.0.1 openapi-generator 4.3.1 OpenAPIとは？ OpenAPIとは、REST APIを記述するためのフォーマット規格です。決められた記法でAPI仕様を記述すると、その内容をSwagger UIというきれいな形式にして確認することができるようになります。 "Swagger"というのは

はじめに グロースエクスパートナーズ Advent Calendar 2020 3日目。 yitoです。 API開発をしている中で、テストするのに毎回クライアントツールにリクエストを用意してAPIを呼び出すのが手間でした。 それを、コマンド一発で、API仕様書に定義した全てのAPIをテストできるようにしたので、その方法を紹介します。 概要 OpenAPIドキュメントをAPIクライアントツールで利用可能なJSONに変換し、それをCLIライブラリで実行します。 これを実現する、以下について順番に説明していきます。 Postmanについて OpenAPI 3.0 to Postman Collection v2.1.0 Converter Postman Collection SDK newman Postmanについて APIリクエストのクライアントツールにPostmanがあります。 Post

導入前の課題 Web サービスの開発でフロントとバックエンドを並行してすすめてるけど、まだ API が実装できてなくてフロントの開発に困ったことはありませんか？ 以前、API 定義は決まったがバックエンドの開発が 1-2 週間遅れそうとわかり、フロントの開発を先んじで行いたという状況になったので、その際に行った解決策をまとめてみました。 結論はタイトルにある通り「OpenAPI のスキーマ定義ファイル(以下 OpenAPI 定義ファイル)があるなら、Prism という OpenAPI 定義ファイルをもとに API モックサーバをたてられるツールが便利」です。 状況 ざっくり以下の様な状況でした フロントエンドとバックエンドを分けて、別リポジトリで開発 フロントは Nuxt、TypeScript の SPA クライアントライブラリは Axios を利用 API の仕様は OpenAPI に準

openapi-generatorのadditional-propertiesを指定して生成されるコードをカスタマイズしようRubyOpenAPI openapi-generatorはOpenAPIの定義ファイルから、API ClientやServer stubsなどを自動生成してくれる便利なものです。対応言語も豊富なので、これからAPI Clientを作ろうと考えている方は、これを用いて自動生成することをおすすめします。

はじめに READYFORのエンジニアリング部に所属している熊谷です。 この記事はREADYFOR Advent Calendar 2020の8日目の記事です。 概要 スキーマー駆動開発でOpenAPI（旧Swagger）を導入し始めたところなのですが、その中で、OpenAPIの運用管理について色々調査・検討していたので、記事として共有させていただきます。 対象読者 以下の方々を対象としています API開発でOpenAPI導入を検討している方。 既にOpenAPIの導入済みの方。 背景 ( 課題感 ) スキーマー駆動開発でOpenAPI（旧Swagger）を採用している企業は多いかと思いますが、OpenAPI導入において最初に感じた課題感として、陥りそうな状況の一つとして、最初に運用方針を決めないまま、多数のメンバーが一つのopenapi.yamlにスキーマー定義を追加・更新していった場合

本記事は CBcloud Advent Calendar 2020 の8日目の記事です。 TL;DR 書くこと：OpenAPI Generatorの紹介と実例 書かないこと： TypeScript + Axios以外の環境での実践方法 記事内で登場するライブラリの細かな紹介 モチベーション ドキュメントが無いことが只々ツラいからどうにかしたい WebAPIの戻り値をフロント側で愚直に型定義するのをやめたい バックエンド・フロントそれぞれの都合だけでAPIの仕様を決めない未来を作りたい ドメインモデルを検討する上では双方歩み寄れる筈 OpenAPI Gereratorとは？ そもそものOpenAPIは何かというと、OpenAPI SpecificationというREST APIのドキュメントなどを記述する形式のことを指します。 宣言的なDSLを使ってAPIのスキーマを定義できます。 で、Op

こちらは、TypeScript Advent Calendar 2020 14日目の記事になります！ はじめに 最近、個人での開発にてTypeScriptを選定することが多くなり、その中で NestJS を使ってバックエンドのAPIを構築する機会があったのですが、 フロントエンド（Nuxt.jsで作ったSPA）との通信について、割といい感じに作れた気がしたので、備忘録として残したいと思います✍️ どんなものを作るか Webアプリのフロントエンドとバックエンド間での通信として、以下のことを実現したいという気持ちがありました リクエスト/レスポンスに型付け したい💪 フロント/バックエンド双方のTSで、InterfaceなりClassなりに値が詰められたDTOを扱いたい バックエンド側で定義した型をフロント側でも使いたい I/Fの更新をフロント側からいい感じに取り込みたい フロントのコード上

OpenAPI でドキュメントを書くメリット OpenAPI でドキュメントを書くメリットは、大きく分けて二つの観点があると思います 短期的な開発リードタイム短縮 FE 開発 OpenAPI から API モックを作成して、API の実装を待つことなく実装ができる 例: Prism OpenAPI から API Client と I/F・Entity の型定義を自動生成することで、その実装の工数を省略+型安全な開発をすることができる 例: openapi-generator/typescript-axios BE開発 OpenAPIからController(一部)、バリデーションロジック、Request・Responseの型定義を生成できる 個人的にNest.js用のgeneratorが開発されていて楽しみです。 自動生成に対応している言語/フレームワーク一覧 - ada-server -

はじめに API仕様書いていますか？ この記事を読まれる人は、何かしらAPI仕様やOpenAPI/Swaggerに関わりがあったり、API仕様の認可の仕組みにOAuth2やOpenID Connect(OIDC)を利用することを検討していたりすると思います。 この記事では、OAuth2やOIDCの認可の仕組みを取り入れて、OpenAPI 3.0で定義されている securitySchemes と security フィールドをどう使って書いていけばいいか説明します。 OpenAPI/Swaggerや、OAuth2、OpenID Connectの各仕様や解説はそれぞれの大元のサイトやRFC、また先達の素晴らしい解説が多くありますので、そちらを参照して貰うとしては、OpenAPI 3.0のSecurity Scheme Objectのリンクを載せておきます。基本的にリンク先に示した箇所周辺のこ

Stoplight + GitHub/CircleCI + Slack で OpenAPI Documentation 管理CircleCIOpenAPImoxci First OpenAPI で仕様書いてて，GitHub に Push したら，CD 的なことしたいなーSlack に投げてほしいなーと思うじゃないすか． 今回はその方法について試したのでざっくり書いていきます． 雑な図を描くとこんな感じです． 実際の sample も置いておきます． Slack 連携については，ほぼ moxci の紹介です．便利やったんや・・ Local 環境の構築， Stoplight Studio の導入や CircleCI の導入には今回は触れません． Stoplight によるサンプル API の作成 Stoplight でははじめやすいようにサンプル作成機能があるので，今回はそちらでビルド対象 A

OpenAPI（Swagger）のAPI開発Docker環境を整備した（yaml分割編集、SwaggerUI表示、モックサーバー、静的HTML出力）JavaScript初心者swaggerフロントエンドOpenAPI はじめに OpenAPI（Swagger)でのAPI開発をプロジェクトで導入する際、 OpenAPIのyamlの書き方を覚えることよりも、 チーム開発するための最善の環境（ツール）選定に苦労したりします。 WEB上のSwaggerEditorを利用することや、 SwaggerHubというサービスを利用するという手もありますが、 いろいろとネックとなるところがあります。1　2 各自のローカルPCで各種ツールを利用できるような環境を作ってしまうのが便利かなと思い、 一式のツールをまとめたDocker環境を整備しました。 環境概要 完成品の環境コードはこちらに公開しています。 ht

OpenAPI (Swagger) 形式のyamlからrequestBody/responsesのサンプルJSONを出力するNode.jsJSONYAMLswaggerOpenAPI はじめに ユニットテストとかを書くためにAPIのリクエストとレスポンスがJSON形式で欲しいとなったときに、今まではOpenAPIドキュメントをReDocで表示してそこに載っているサンプルをコピー＆JSON形式で保存し直すみたいなことをしていました。 ただしこの方法は、APIの数が増えてきてかつ変更もちょくちょくあるような場合だと結構面倒な作業ですし、CIにも組み込みにくいです。 わざわざこの画面を経由しないでもOpenAPIドキュメントのyamlからこのrequestBody/responsesだけを直接JSONで吐き出す方法は何か無いものかと色々調べてみたのですが、元のOpenAPIドキュメントをyaml

OpenAPIとは OpenAPI(旧 Swagger)というREST API用のインターフェイス定義方法をご存知でしょうか? OpenAPIに沿った定義ファイルを、Stoplight等を用いて書くと、openapi-generator-cli等のジェネレータを使うことで、Go/Python-Flaskなどのサーバーのテンプレート、Go/Python/TypeScript等のクライアントライブラリ、モックサーバー、ドキュメント等をある程度自動で生成させることができます。 ジェネレータを使うことで、一度定義ファイルを用意すれば、サーバー側、クライアント側で1から全部書かずに 自動生成したモデルを利用して割と迅速に実装を進めることができる、らしいです。 今回やろうとしたこと 相当時間をかけてOpenAPIのドキュメントを書いたので、可能な限り自動生成ベースでAPIサーバーを実装したい。 前バー

先日axiosをpluginでラッピングする記事を書きましたが、結局のところフロント側でAPIクライアントを手書きするのはリスクがあるので、サーバーサイドから提供されるopenapi.jsonから安全にAPIを呼び出せるようにしようと思います。 (2021/07/11追記) JWTによる認証したい場合のやり方について記載しました openapi-generator呼び出し用のスクリプトを追加 Dockerでopenapi-generatorを使います。 npmでもあるんですが、JREのインストールが別途必要なのでDockerの方が楽です。 ただ、コマンドが長いのでpackage.jsonに追加してnpm runで実行できるようにしておきます "scripts" { ・・・ "generate:api-client": "docker run --rm -v ${PWD}:/local op

目的 springbootでOpenAPI（swagger）を導入して簡単なアプリを作成する OpenAPIの使い方を学習すること APIの操作方法を学ぶこと CRUDを自作する 開発環境 ProductName: macOS ProductVersion: 11.3 IDE: eclipse_2021_03 REST(REpresentational State Transfer)とは？ 設計方法のこと HTTPで定義されているメソッドの使用する（例：サーバ上にリソースを作成するにはPOST、リソースを取得するにはGET、リソースの状態を変更／更新するにはPUT、削除するにはDELETE） ステートレスであること（サーバーはクライアントのことを一切覚えない） 処理結果をHTTPステータスコードで返す 様々な設計原則の集合 RESTful API(REST API)とは？ RESTの設計原

こんにちは、 最近はOpenAPIやgRPCであったり、それにまつわるジェネレータツールがとても熱いですね。 新規にジェネレータを走らせるのは何の憂いもなく素晴らしいのですが、 開発が進むにつれて、ディレクトリ構造が追加、変更されたり、中間処理を挟んだりと、素のジェネレータでは対応できない場合があります。 また、複数のジェネレータを使う場合、それぞれのジェネレータのご機嫌を伺わなければならない状況が発生し、そもそも更新作業にはジェネレータを使わないようになる場合も多いと思います。 ジェネレートした結果が意図した結果にならなかった場合、その問題を解決するために、いちいちGit操作を行ったり、例えば、ある段階のcommitを取り消したりrebaseしたりする操作を行うとそれだけで丸1日が潰れてしまう経験をお持ちの方もいるのではないでしょうか。 今回は、ジェネレータをもっと効率的に使うために、ジ

要約 Openapi仕様で書かれたYamlファイルは、ツールを使って静的なHTMLに変換することができる。ここでは、それらのツールのひとつであるredocで、YamlをHTMLに変換する。通常は、手元でredocを使い、HTMLに変換したのち、関係者に共有したり、S3の静的ホスティング機能を使って共有したりする。本稿では、手元で変換する手間を惜しむため、CodeCommitにコミットしたら、自動的にHTMLに変換し、S3にホストする仕組みを紹介する。 構成 手順 １． CodeCommitのリポジトリを準備する 下記のように、buildspec.ymlとopenapi.yamlを用意する。buildspecには、codebuildで実行する処理を記述する。 openapiはAPI仕様である。 ２．buildspec.ymlを用意する 以下のようなbuildspec.ymlを用意する。 no

これは何？ Flutter アプリで OpenAPI Generator を使った開発する方法をまとめたもの Open API Generator とは OpenAPI Generator とは、OpenAPI Spec を元に、APIクライアントライブラリ（SDK生成）、サーバースタブ、ドキュメント、設定を自動的に生成することができるツールのことです。 これを使うこと以下のようなメリットがあります ドキュメントと実装が乖離しづらい 呼び元と呼び先の両方で使うデータの定義を自動生成できる 自動生成してみる サンプルリポジトリ 以下のようなディレクトリ構成でサンプルを作成しました open-api-generator-example/ ├ client-todo-api/ # OpenAPI Generator で自動生成されたファイル群 └ client/ # 開発をするFlutterアプ

OpenAPI GeneratorのDockerコンテナの利用 作業は参考先の内容にしたがってOpenAPI GeneratorのDockerコンテナを使用したが、最新のコンテナではSlim3が未対応になっているため、以前のバージョン3.3.4を使用した。 Web APIスタブへの変換 参考先に記載の（Swagger Petstoreの簡易版）petstore.yamlを、以下のコマンドでWeb APIのスタブコードに変換することができた。 docker run --rm -v ${pwd}:/local openapitools/openapi-generator-cli:v3.3.4 \ generate -g php-slim -i /local/petstore.yaml -o /local/petstore . ├── README.md ├── composer.json ├─

はじめに OpenAPIで仕様書を書いておくと、エコシステムによって色々開発を加速できるよということを記事にします。 具体的なコードなどは、imunew/openapi-ecosystemに置いときますので、参照ください。 定義ファイルの分割・ビルド Swagger-CLIのbundleコマンドを使うと複数の定義ファイルから一つのOpenAPI仕様書を作成することができます。 具体的には、Swagger-CLIを利用します。 詳しいことは、以下の記事を参照ください。 OpenAPI ファイルを 分割 / 結合 する 方法 Swagger-UIで仕様書をブラウザに表示する Swagger-UIで仕様書をブラウザに表示することができます。 具体的には、Swagger-UIを利用します。 詳しいことは、以下の記事を参照ください。 DockerでSwagger UIを起動してAPI仕様書をブラウザ

OpenAPI で仕様を書いたら、それで自動生成したコードを使ってサーバー開発したいですよね。 ktor で書いていたサーバーにあとから OpenAPI を導入した際の手法をご紹介します。 3行で open-api-generator で ktor のコードを自動生成できる しかし、現状は example レスポンスを返す程度のことしかできない template を上書きすることで、実際のサーバーとしても使えるコードを生成できる open-api-generator について OpenAPI と open-api-generator OpenAPI は JSON や YAML で API 仕様を書くための仕様を定義しています。 仕様をあらかじめサーバークライアント間で合意しておくことでスムーズに開発できます。 さらに、 open-api-generator を利用すると、 OpenAPI

Go言語で Open API 3.0対応の型情報を生成するとき、 github.com/deepmap/oapi-codegen を使ってます。 あまりユースケースとしてやりませんが、マップを表現したい時があると思います。 Dictionaries/HashMaps の仕様はこれです。 Dictionaries, HashMaps and Associative Arrays oapi-codegenの公式のReadmeでは、additionalPropertiesに関しては一応対応していると書いてますが、 定義が実際にどう構造体として出力されるか見てみました。 定義 ... components: schemas: ... Sample: title: Sample type: object properties: id: type: integer format: int64 rela

kicsとは Infrastructure-as-CodeのためのOSSアナライザー セキュリティの脆弱性、コンプライアンスの問題、およびインフラストラクチャの構成ミスを 早期に検知することができる kicsを使用するメリット デプロイなしでチェック可能 人間によるレビューよりも短い時間でチェック可能 高度な知識を持つレビュアーがいなくてもチェック可能 使用方法 config構成 CLI、CI(GitLab)いずれの場合でも共通

はじめに Another works サーバサイドエンジニアの釜地です！ みなさんOpenAPI(Swagger)は使用されていますか？ 本記事ではOpenAPIを導入するに当たって、合わせて利用して便利だったツールを紹介したいと思います。 そもそもOpenAPI(Swagger)とは？ OpenAPI仕様（以下OAS）と言われるREST APIを定義するための標準仕様にもとづいて構築された一連のオープンソースツールです。 REST APIの設計、構築、文書化、および使用に役立つ機能を提供します。 弊社の課題感 現状、フロントとサーバを分業制で開発している上で下記のような課題がありました。 APIの伝達がJiraのドキュメントであり、フォーマットが統一されず作成するたびに若干書き方が変わる API仕様が蓄積されていかない → 開発チームが大きくなったときのために今の内からドキュメントを残し

かつて serde_valid なるものを開発してた 結局、 Rust を書かなくなったので止めちゃったけど、 OpenAPI の スキーマ から Rust の型を自動生成するツールを作った過程で、 serde_valid という crate も昔作ってた。 こんな感じ use serde_valid::Validate; #[derive(Validate)] struct TestStruct { #[validate(length(min_length = 4, max_length = 4))] val: String, } let s = TestStruct { val: String::from("test"), }; assert!(s.validate().is_ok()); 気づいた人がいるかもしれないが、 validator がOpenAPI の仕様に 上手くマッチし

GxPのやすば（@nyasba） です。 本記事はグロースエクスパートナーズアドベントカレンダー 2日目の記事です 弊社が得意とする継続的な開発のためには保守性が高いアプリケーションにしていく必要があり、今自分が関わっている案件では**DDD（ドメイン駆動設計）**を採用しています。 今日はJava/SpringプロジェクトでDDDを実践する際のアプリケーションのアーキテクチャ（レイヤ構造やパッケージ構成など）とテスト戦略についてまとめてみます。 ※会社としても採用実績はありますが、あくまで個人の思想に基づく内容です。 はじめに Springで開発している案件といっても、レイヤ構成やパッケージの切り方やそれに伴うテスト戦略は様々です。弊社内でも特に標準が定められているわけではありませんので、案件によって切り方が違うのが現状です。 パッケージの切り方自体はコードを見れば理解できるものですが、

こんにちは！ 本記事は2021年度の「株式会社カケハシ x TypeScript」アドベントカレンダーの10日目の記事として執筆いたしました。 私が、最近設計開発するWebAppではOpenAPIを活用しており、本記事では実践している知見が共有できればと思います！ OpenAPIとは ご存知の通りOpenAPI は、プログラミング言語に関係なくAPIの仕様を定義するための仕様です。デモとしては Swagger Editor のページが有名です。 OpenAPIの成り立ちとしては、元々SwaggerというAPI定義仕様とツール群がありましたが、こちらの通り 2015年ころ、ベンダー依存しないオープンなプロジェクトに拡張するためSwaggerのスペックをベースに構築されたAPI定義仕様がOpenAPIです。その後 数々のツール が開発されています。 OpenAPIの記述方法は json, ya

みらい翻訳 Advent Calendar 2021の記事です。 はじめに みなさんご存知だと思いますが、OpenAPIはREST APIを記述するデファクトな仕様記述言語と言っていいと考えています。では、AsyncAPIとは何でしょうか？ 結論から言うと、Event駆動アーキテクチャのAPIのインターフェイスを定義するためのものです。Eventは通常その処理結果を待つことなく任意のタイミングで発生しうるので、当然Event駆動アーキテクチャでは、Async(非同期)であることが要求されます。(AsyncAPIは検索しづらい名前ではあるけど) AsyncAPIはこのようにEvent駆動アーキテクチャで非同期APIを定義するためのOpenAPIのスキーマに対応した仕様を持ちます。仕様面だけでなく、OpenAPIのエコシステムが提供するのと同じように仕様のドキュメント化、コード生成、コードから