プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohei/2024-03-20/2024-04-28?cache=false みたいなURLを開くと, オオタニサンのパフォーマンス（現地時間2024/4/28までの数字） 以下の成績をいい感じにグラフ・可

タイトルの通り, Google CloudとPythonで程よいバッチ処理（正確にはワークフロー処理）を作ったという話です, 2024年っぽさあるのでそういうタイトルにしています*1&こちらは個人開発事例であり, 業務および所属組織とは無関係です. 仕事ではなく, 個人開発（例のごとく野球データ分析, メジャーリーグです）で, 毎日データサイトからクローリングしてGoogle Cloud Storage（GCS）にCSV保存（Exporter） CSVファイルがGCSにあったらBigQueryのテーブルに保存（Importer*2） シーズンが始まったらこれを毎日一回のバッチ処理として実行（Trigger*3） というデータ基盤的なプロダクトを作っています*4, お絵かき（Blueprint）は以下のとおりです. 今回作ったモノです. CSV保存（Exporter）とBigQuery保存（

※この記事はChatアプリをPythonだけで作る記事です, Open AI（Chat GPT）等の生成AIそのものの記事では有りません. 漫才に憧れあるのでAIでどうにか（小声） いつかは野球AIと一緒に漫才風にLTをしたいと思っている人です, ネタじゃなくてマジです*1. shinyorke.hatenablog.com 以前Open AIでやるチャットアプリのバックエンドどうしよう?的な記事を書いたのですが, AIで何かをやるからにはバックエンドのAPIだけじゃどうしようもできない（そら、そうよ）. Open AIやGoogle CloudのAI（まだ使ったこと無いが）で何かやるんだったらチャットもしくは検索エンジン風のUIが無いと成立しない. まずやりたいのはお遊びで作って動かす（コンサル風に言うとPoC）程度なので本格的なUI（フロントエンド）を作るのはちょっと🤔 と思っていた

※このエントリーは「OpenAIをいい感じに使うバックエンドをFastAPIで実装したぜ！」というエントリーです（サンプルコードはこちら）, 「OpenAIで何かを作った・人工知能を産んだ」訳では無いのでそっち方面を期待している方はそっ閉じしたほうが良いかもしれません（Web API開発に興味ある人はそのまま読んで）. 趣味は野球観戦と見せかけて, 「休日にダラダラ野球見ながら趣味のコードを書く」のが最も好きな人です. 100敗待ったなしの贔屓チームがいきなり7連勝したり*1, 昨年まで扇風機状態だった贔屓チームのフィジカルモンスターが突然覚醒して4番ライトに定着*2したりと理解が追いつかない野球を見るのはこれぐらい（コード書きながらみる）ぐらいがちょうどいいと思ってます, だってプレーオフ行けるか怪しいですもの*3. 時は遡り2020年, 私はセイバーメトリクスといくつかの機械学習の知見

セッション概要 「推しは推せる時に推せ」という俺のDXを実現するためのサーバレスなデータ基盤開発と運用 - 野球データを添えて 「個人的な野球データ分析基盤を作る」「いつの日か野球ファンにも使ってもらうサービスとして公開する」というモチベーションの元、「Google Cloud」「サーバレスアーキテクチャ」「野球データサイエンス（セイバーメトリクス）」といった自分の「推し技術」を駆使してプロトタイプを開発しました。こちらを元に「今いい感じなデータ関連のアーキテクチャ」「サーバレスアーキテクチャ・マイクロサービスの使い所」「野球データサイエンスの面白さ」が伝わるお話をデモを交えてご紹介します。 本事例はGoogle CloudおよびPythonですが、AWSやAzureといった他のPublic Cloud、プログラミング言語での展開を前提としたお話をします。 なお、当セッションはPyConJ

仕事がずっとコンサルワークなので, 休日のプログラミングがめちゃくちゃ楽しみになっている人です. 最初にお礼をさせてください, Developers Summit 2023の発表, なんだか好評価（高評価）だったみたいです. #devsumi 開催報告によると、私のトークの満足度は全90セッション中11位でした🎉 フィードバックコメントも多数いただき、誠にありがとうございました！ 次回作にご期待ください（多分夏ぐらいになるだろう）https://t.co/68lYY2vj25— Shinichi Nakagawa / 中川 伸一 (@shinyorke) 2023年3月2日 練習やレビューに協力いただいた皆様, そして何よりも当日私のトークを聞いていただいた皆様, 誠にありがとうございました. さて, 当日の発表では「GoでRESTful APIを作って運用しましたよ」という話をしました

現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日（2023/1/19）, ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった気がします, 機械学習とかデータサイエンティストとかのキャリアでお悩みの方に届くと嬉しいです, 来てねhttps://t.co/KHxAXYY5mr pic.twitter.com/eguUyEnfb

このブログおよび, 登壇・アウトプットはゴリッゴリのエンジニア, 本職はコンサル企業のマネージャーとしてクラウドエンジニアリングのコンサルをやっている者です*1. この記事は, 当ブログの名物である, Pythonのオススメ書籍（と関連する技術書）の紹介エントリーです！ ※去年の記事はこちら. 本年のエントリーでは「今最もいい感じなPython本」の紹介に加えて, キャリアごとに読むべき技術書（と学び方）の選び方 この年末に読んで欲しい技術書（Python本とそれ以外） 「エンジニアのキャリア形成的に期待値の考え方大事だよ」という話 この三本立てでご紹介できればと思います. というわけで, 本年のラインナップは以下の通りです. 要約すると キャリアレベルを考える オススメ技術書籍2023 ジュニア🔰 メンバー マネジメント ボード 結び - キャリアごとの期待値 【番外編】私の推し書籍2

現役選手ドラフトのルールと, 最近のトレード多すぎなアレで現役選手ドラフトの分析を諦めたマンです.*1 それはさておき, 私はつい先日, 「メジャーリーグのデータ分析・可視化をカジュアルにいい感じにやるためのデータ基盤が欲しい」と思い, 以下のような野球データ基盤を作りました. 野球データ基盤 ダッシュボード（このブログのメインテーマ） 基盤そのもののアーキテクチャやデータ関連の話題はこちらのブログおよび, PyConJP 2022の発表資料をご覧頂ければと思いますが, このダッシュボードを開発するにあたり, Dash（分析ダッシュボード本体, 言語はPython） Cloud Run（フルマネージド・サーバレスなコンテナ実行環境） GitHub Actions（アプリケーションの自動テストとデプロイ, 所謂CI/CDの実行環境） を使って「作ったものをサクッとデプロイして公開」するような

PyCon JP 2022 10/15 Talk Session Material # Reference https://shinyorke.hatenablog.com/entry/baseball-data-visualization-app https://shinyorke.hatenablog.com/entry/ohtani-san-pitch-2022

日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, （休んでいる間のリハビリがてら*1）PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤（ちなみにメジャーリーグです）を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて（2022/10/15 16:00-16:30）」の予告編でもあります. なので, 後日のトークをお楽しみに

今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です！&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Functionsの第

Baseball Play Study mini 2022/5/27 登壇資料

気がつけば仕事も趣味も「クラウドなインフラで何かやる人*1」になったマンです. 個人的なプロダクト開発・運用やデータサイエンスな作業はGoogle Cloudメインでやってる私*2ですが, （そんな事情もあって）そういえばAWSのサーバレスなサービスにあまり触れてないな🤔と思い, ちょっと試しに触ってみました*3. aws.amazon.com Google CloudのApp EngineおよびCloud Runと比較されることが多いApp Runnerを試してみたのでその結果をメモとして残したいと思います. なお, 「AWSとGoogle Cloudどっちがいい?」という話ではないのでその前提でお読みください（好きな方・目的に合う方を使うのがいいですよ！） 対象読者 Webアプリケーションを作る人かつ, PythonのFlaskやDjangoあたりでWebアプリ開発をしたことがある（

2021年も数多くのプログラミングやPythonを扱った素晴らしい書籍とたくさん出会いました. 私はリアルの本屋さんに行くのがとても好きで（ECの本屋さんも好きですが）, 技術書のコーナーには必ずと言っていいほど足を運ぶのですが, 年々「Python」というラベルが付いた棚の領域が広がっている気がします. プログラミング初心者でPythonからやりたいけど何から読めばいいのか🤔 実務に役立つような参考書籍ってどうやってみつければいいかわからない😇 よりビジネスに役立つ, 実践的な事例をしりたい💪🏻 という, 割とありそうなニーズにお応えすべく, 2022年いや, 今この瞬間に読んでおきたい・抑えておきたいPython関連書籍をまとめました！ 2011年頃からPythonを使って仕事をし始め, 今もエンジニアリングからコンサルティング, マネジメントをやっている私独自の視点で, オス

良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書

PyCon JP 2021 発表資料です。

PyCon JP 2021「実践Streamlit & Flask - AIプロジェクトのプロトタイピングから本番運用までをいい感じにするPythonicなやりかた」登壇資料 # 「AIオオタニサン本塁打予測」のサンプルコード https://github.com/Shinichi-Nakagawa/streamlit-sample-ohtani-san # 参考文献 ## JX通信社エンジニアブログ - https://tech.jxpress.net/entry/data-app-for-streamlit - https://tech.jxpress.net/entry/vaccine-gae - https://tech.jxpress.net/entry/ogp-generator ## Lean Baseball - https://shinyorke.hatenablog.c

このエントリーを書いてる今日（9/29）と明日で有給消化期間が終わるマンです. 20日間, Banksy展を楽しんだ&新しいメガネを求めて新宿に行った以外, 地元の杉並区〜吉祥寺エリアからほぼ動きませんでした. Stay Home的な意味合いもあるのですが, 10/16（土）にPyCon JP 2021でお話をする事もあり, その準備（と信長の野望*1）に多くの時間を割いていました. PyCon JP 2021からトーク紹介 #pyconjp 「実践Streamlit & Flask - AIプロジェクトのプロトタイピングから本番運用までをいい感じにするPythonicなやりかた」 Web programmingトラックのIntermediate向けトークです。 楽しみですね。チケットはconnpassで発売中！（固定ツイート参照ください）— PyCon JP (@pyconjapan)

最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform