Pythonパッケージ管理ツール ryeの使い勝手がよかったので使用方法をまとめました。 ryeとは GitHub: https://github.com/mitsuhiko/rye flaskの作者である Armin Ronacher氏 (GitHubアカウント @mitsuhiko)が個人利用目的で作成した、Pythonのパッケージ関係管理ツールです。内部実装はRustです。 ryeが作成された思想がリポジトリ Should Rye Exist? のDiscussionページに書かれています。 Should Rye Exist?: XKCD #927 Disucssion中の図にあるように、従来のPythonのパッケージ管理は”様々な標準”が存在し、このばらつきを統一しようと新しくパッケージ管理ツールを導入しても、”新たな標準が追加されるだけ”となり、真のパッケージ管理の標準化を行えて
“詩の上を歩く”アクションゲーム『詩が書けなかった日』公開。綴られた言葉を歩み、作者の軌跡を辿る - AUTOMATON
インディーデベロッパー/ピクセルアーティストのZennyan氏は3月6日、横スクロールアクションゲーム『詩が書けなかった日』を配信開始した。プログラマーのmikyokyuji氏との共同制作作品となっており、PC向け（Itch.io）として無料で公開中、ブラウザ上でプレイ可能だ。 『詩が書けなかった日』は“言葉の上を歩く”横スクロールアクションゲームだ。プレイヤーは開発者自身のの「詩が書けなかった」という体験をもとに綴られるエッセイの上を歩き、出口を目指していく。プレイヤーが移動可能な足場は文字となっており、足場として現れる詩を読みながらプレイできるといった内容だ。登場する文字や文章のなかには、特別な効果をもつものが存在。言葉が持つ意味が、そのままゲーム内の効果として現れているという演出がなされている。例えば“タンタン（淡々）”という文字の上を通るとプレイヤーはトランポリンに乗ったかのような
2023年 研究開発部 新卒技術研修 ~ テストコード編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Data Analysisグループの笛木です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行いました。 こちらのブログの続きでテストコードについての研修資料を一部公開します。研修では新卒2年目の私が1年間で部内のコードなどから学んだ情報を共有しました。至らない部分もあるかもしれませんが、ご参考になれば幸いです。 こちらの研修で使用したGitHubのコードリンクは以下です。適宜、ご参照ください。 github.com 目次 目次 はじめに この研修の目的 研修スコープ外 テストコードについて テストコードの便利な点 テストコードの悪い例 テストコードに関するFAQ pytestによるテストコードの書き方 ファイル名 ディレクトリ 基本編 Parametrize Fixture 異常系 Mock indirect conftest 知っておくと活用する場
start: if [ -n "${ENV}" ]; then \ .venv/bin/dotenv --file ${ENV} run -- .venv/bin/python src/main.py; \ lint: poetry run pysen run lint lint-fix: poetry run pysen run format && \ poetry run pysen run lint test-unit: poetry run pytest install-dev: poetry install install: poetry install --no-dev 本番環境のみ入れたいパッケージがある場合 IoT開発等では、開発時はMacで本番はラズパイみたいなケースの場合、アーキテクチャ依存で追加できないパッケージがあったりします。 例えばRPi.GPIOは、GPIOが
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します 👋 サンドボックス環境が使えるようになりました 米国時間 3/6 にサンフランシスコで開催された TrailblazerDX にて、Slack の新しい開発者向けサポート機能が発表されました。 Bolt for Python / JavaScript でのカスタムファンクションなどのトピックもあるのですが、この記事ではこれまでよりもはるかに簡単な取得・管理が可能となった Enterprise Grid のサンドボックス環境を使ったローカル開発の方法について紹介したいと思います。 何が嬉しいの？ 今までの Slack アプリ開発は、最初に以下のような手順が必要でした： https://api.slack.com/apps にアクセスして、アプリ
はじめに VSCode + Python + Poetry + Docker(docker-compose)でdev-containerを作成して開発を行っていました。 Dockerを勉強し、イメージの軽量化に関する記事を読んでいると、自分が使っているコンテナイメージのサイズが気になりました。 docker images > REPOSITORY TAG IMAGE ID CREATED SIZE > dev-container latest a9b8e3df9087 2.31GB 2.31GB！？ サーバとしてアプリを動かしていないのにここまで大きいなんて… というわけで勉強も兼ねて、イメージの軽量化に取り組みました。 イメージが軽量であるメリット ストレージの節約 これは言わずもがなだと思います。 限られたリソースを有効に使うことができます。 ビルド時間の短縮 Dockerは環境を作っ
寄贈された「月に吠える」初版無削除版。表紙は著名な版画家の恩地孝四郎と田中恭吉が手がけた（前橋文学館提供） 前橋市出身の詩人、萩原朔太郎（１８８６～１９４２年）の代表作「月に吠える」の初版無削除版が市に寄贈され、２９日から前橋文学館で一般向けに展示される。無削除版は当時、内務省の検閲で性的表現に問題ありとされた２編の作品を削除しないまま出回った初版本。確認されているのは１０点ほどしかなく、極めて希少で高額なため同文学館でも入手できずにいた。コレクターでもある秀明大（千葉県八千代市）の川島幸希学長が寄贈した。 「月に吠える」は朔太郎３０歳の処女作として、大正６（１９１７）年２月に刊行され、詩壇・文壇から絶賛された代表作。初版は５００部ほど刊行されたが、直後に内務省の通知で「愛憐」と「恋を恋する人」の２編が削除された。 「きつと可愛いかたい歯で、草のみどりをかみしめる女よ」と始まる「愛憐」は、
saebou on Twitter: "バイデンが演説でW・B・イェイツの詩を引用したことについての記事。 / “Was Joe Biden trolling Britain with his choice of poetry – or choosing his wor… https://t.co/xMNNZBqbTz"
バイデンが演説でW・B・イェイツの詩を引用したことについての記事。 / “Was Joe Biden trolling Britain with his choice of poetry – or choosing his wor… https://t.co/xMNNZBqbTz
【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1 - RAKSUL TechBlog
はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題を解決 Poetry利用時に起きた問題 Dockerfileを分けてデプロイできない問題を回避 Mutagen Composeを採用 Dockerの同期遅い問題 Mutagen Composeを利用 2. 開発で活用したPythonライブラリ パッケージ管理 Poetry Ryeも検討したものの採用せず ベースのライブラリ FastAPI Mangum Powertools for AWS Lambda リンター・フォーマッター Ruff Mypy 型アノテーション自動生成ツールの活用 Black テスト Pytest p
2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成 実行 Webアプリを作成 Streamlitとは Webアプリを実装 Docker化 デプロイ ECRにイメージをプッシュ アプリケーション基盤 Circuitについて アプリのマニフェストを作成 研修終了後 終わりに 研修の目的 この研修の主な目的は、新卒社員がスムーズに業務に入れるようにすることです。 研究開発部にはさまざまなバックグラウンドを持つ研究員が入社するため、チーム開発の経験がない方もいます。 そのため、Gitの操作やプルリクエス
エムスリーエンジニアリンググループ AIチームの笹川です。 バスケと、ロードバイクが趣味なのですが、現在、NBAのplayoffと、Tour de Franceが同時に開催されていて大変嬉しい毎日を過ごしています。 特にNBAのplayoffは、連日overtimeとなるような激戦や、giant killingがあったりのアツい戦いが繰り広げられていて最高です。 そういう状況なので（？）、今回は先日取り組んだ、Pythonの機械学習バッチを実行するdocker imageのサイズ削減についてのアツい戦いについて紹介したいと思います。 膝の上に登って寝る為に、筆者がデスクに戻るのを机の下で待ち構える犬氏（かわいい） 今回の取り組みでは、もともと3GB程度だったPythonのML用のimageを、約2.0GBに削減することができました（それでもなかなかのサイズ。MLのimageは特に大きい印象
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、
サーバーサイドで動的にOGP画像をシュッと作る方法 - FastAPIとCairoSVGで作る画像生成API - JX通信社エンジニアブログ
JX通信社シニア・エンジニアの@shinyorke（しんよーく）です. 最近は色んなエンジニアリングをしつつ, イベントの司会業をしています（詳細は最後の方を見てね）. 開発しているサービス・プロダクトの要件で, TwitterやLINE, FacebookでシェアするOGP*1コンテンツ（タイトル・本文・画像）が欲しい コンテンツはユーザーさんの操作で動的に変わる テキストだけじゃなくて, 画像も変えたい←これ なんて事は非常によくある話だと思います. 私はちょっと前に開発したAIワクチン接種予測でそれがありました. こういうやつです 例えば上記画像のテキスト（地域・年齢・接種可能時期）は予測の結果を動的に画像テンプレートに入れて都度作っています. 上記のOGPを生成するために必要なことはこういう感じだろうなー, と以下の絵の通り整理し, やったこと 結果的に, OGPを生成するためのサ
その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築 - Gunosyデータ分析ブログ
Gunosy Tech Lab リサーチインターンの北田 (@shunk031)です。 深層学習の論文を読んでいるときに著者実装が公開されている旨を見ると嬉しい気持ちになりますよね。 いざ公開レポジトリに飛んだ瞬間その嬉しさは無となることが多いですが、くじけずにやっていきたいです。 著者実装のrequirements.txtをベースにpythonモジュールをインストールするとよく見るやつ こちらの記事は Gunosy Advent Calendar 2020 6日目の記事です。昨日は @625 さんの goで作るfirehoseのデータ変換lambda でした。 tech.gunosy.io その実験、再現できますか？ リサーチインターンでは主にGunosyのデータを使った研究をしています。 特に私は深層学習による広告クリエイティブの評価や運用支援に焦点を当てて取り組んでいます*1。 深層
こんにちは。スキルアップAI編集部です。これからプログラミングを独学で学ぶ方にとって、無料の学習教材は強い味方です。しかし、インターネット上にはたくさんの教材があり、どの教材で学習するべきかわからない人も多いのではないでしょうか？ この記事では、数あるプログラミング（主にPython）の無料学習教材の中から、おすすめ13選を紹介していきます。入門編・基礎編・応用編に分けて紹介していくので、ぜひご自身の学習状況に合わせて選んでみてください。 【入門編】プログラミングの無料学習教材 まずは、入門編のプログラミング教材を紹介していきます。入門編では、プログラミングの基礎を学べます。まずはプログラミングを一から学びたい方は、ここで紹介する10個の教材の中から選ぶのがおすすめです。 ハーバード大学「CS50 for Japanese」 ハーバード大学が実施している「CS50 for Japanese
何がきっかけで死後に評価されるに至ったか 芸術家や学者の中には、大きな仕事を成し遂げるも生前はまったく評価をされず、当人が死亡した後にその業績の大きさが評価される場合があります。 特に画家など芸術家は、二束三文で売られた当時の作品が今は何億円という価格で取引されるようになるわけです。可哀想としかいいようがないですが、死後も全く知られずに忘れられた人の方が圧倒的に多いわけで、それに比べれば幸運と言えるかもしれません。 本記事では著名な「死後に有名になった人」を集めてみます。 １. エドガー・アラン・ポー 死後にフランスで紹介され人気に エドガー・アラン・ポーはアメリカの小説家・詩人・編集者。 死や恐怖、病といったダークなテーマの作風の小説・詩で知られ、「近代推理小説のパイオニア」と評されています。代表作は「アッシャー家の崩壊」「モルグ街の殺人」「黄金虫」「黒猫」など。 ポーは雑誌編集や文芸批
エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない - Lean Baseball
良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書
生き方に迷う時。自信が持てない時。大きなものに流されてしまいそうになった時。 多くの人の背中を押してきた詩があるのをご存じですか？ その詩人のことばは、韓国でも愛され、広がっています。その理由とは？ （ソウル支局 ディレクター 長野圭吾） 11月中旬。 韓国の観光名所、ソウルタワーのふもとにある小さな書店で、日本を代表する詩人・茨木のり子の朗読会が行われました。 今年で没後15年となった彼女の詩は、日本で世代を超えて愛されてきました。 実は茨木の詩は、数年前からハングルにも翻訳されるようになっています。 この日も、20代から30代の若者たちが集まり、自分の好きな詩を選んで朗読し、感想を語り合っていました。
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
この連載では、イギリスの大学の授業をオンラインで受講したり、イギリスの街をオンライン観光ツアーしたりと、「おうちでUK留学する方法」を3回にわたってご紹介。全国通訳案内士の鹿目雅子さんが実際に体験し、レポートしてくれます。 世界の一流大学の授業がオンラインで、しかも無料で受けられるMOOC( Massive Open Online Course)。10年ほど前から本格的に開始し、参加大学・受講生ともに年々増えています。すでに体験した読者もいらっしゃるのでは？ 連載1回目では、「イギリス」に特化したMOOCを利用した、おうちでできるUK留学方法をご紹介します。特にイギリス留学を目指している方、イギリス英語に慣れたい方におすすめです！ イギリス発のMOOC「FutureLearn」でUK留学MOOCのプラットフォームは「 Coursera 」や「 edX 」などいくつかありますが、UK留学する
The New Yorker @NewYorker Unparalleled reporting and commentary on politics and culture, plus humor and cartoons, fiction and poetry. Get our Daily newsletter: https://t.co/CW0Z2jHao9 https://t.co/HaON4yWPTm リンク The New Yorker The New Yorker December 7, 2020 A collection of articles about Magazine from The New Yorker, including news, in-depth reporting, commentary, and analysis. 2823
先日ja-timexというPythonパッケージを作成してPyPIに公開したのですが、開発に利用している便利なツールやサービスを紹介します。 Poetry Pythonのパッケージ管理/依存解決ツールとして広く利用されはじめているPoetryですが、パッケージとして公開するための機能も優れています。 具体的には、以下の3ステップでPyPIにリリースすることができます。 $ poetry config pypi-token.pypi $pypi-token # 最初だけ $ poetry build $ poetry publish 従来setup.pyに記載していたパッケージ公開用の各種メタ情報はpyproject.tomlに記載します。 また、PyPIのテスト環境へのリリースもサポートしています。PyPIの本番環境では同じバーション番号のファイルをリリースできないため、ちょっとでも不具合
執行役員 VP of Engineering 兼技術部長の @hsbt です。先週発売したモンスターハンターストーリーズ2をプレイしながら、「ティガレックスじゃなくてナルガ亜種出てよ〜」という感じにオトモンの卵探しに時間を費やしています。 今回は「ペパボさんには〜はありますか?」シリーズの第二弾として「ペパボさんではテックブログの執筆方針などはありますか?」という質問をもらったので、GMOペパボ(以下、ペパボ)でのテックブログの運営方針をこのエントリで紹介したいと思います。(第一弾は GMO ペパボでの Slack の使い方 2021 - ペパボテックブログ です) 運営方針 ペパボテックブログは 2015年11月17日にスタートしました。当時の執行役員CTO、現取締役CTOの @kentaro が書いたテックブログ開設の目論見について引用します。 日々の業務から得られた知見を少し立ち止ま
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します この記事では、Slack アプリでエンドユーザーからの情報送信を受け付けたり、インタラクティブなインタフェースを提供するために利用できる「モーダル」について知っておくべきことを可能な限り全て網羅していきます。 この記事で網羅しているトピック もし、以下のようなことを疑問に思って Google 検索をしてこの記事にたどり着いたようでしたら、この（長い）記事のどこかにきっと必要な情報があるはずです。該当の箇所を読んでみてください。 モーダルを使うための基本的な手順 モーダルの API に渡すパラメータの詳細 モーダルからのデータ送信の留意点 モーダルからのデータ送信に対する応答方法 モーダルからのデータ送信以外のインタラクションへの応答方法 モーダ
平安期の土器に古今和歌か 京大構内で出土、墨書の平仮名 ｜ 共同通信
京都大医学部構内（京都市左京区）の発掘調査で出土した平安時代後期（12世紀）の土器片に、勅撰和歌集「古今和歌集」に収められた歌人凡河内躬恒の和歌とみられる平仮名が墨書されていることが分かり、京都大の笹川尚紀助教（日本史学）らのチームが15日、発表した。 笹川助教によると、土器が出土したのは平安後期に院政の中心地として栄え、皇族や貴族の邸宅があった場所。京大の金光桂子教授（国文学）は「古今和歌集は当時から必読の書とされ、基本的な教養の証しだった」と話している。紙でなく土器に墨書きされた理由は不明という。 土器は2000年に平安後期の井戸跡から出土した。
バックエンドエンジニアの吉田です。カンムでは機械学習を用いた機能開発を担当しています。 バンドルカードでは後払い機能であるポチっとチャージで機械学習が使われています。 去年のAdvent Calendarで石澤さんが カンムを支える技術2020 という記事を書いてくれていましたがそこではあまり触れられていなかった機械学習まわりの取り組みについて簡単にご紹介します。 バンドルカードのサービスはAWSで構築されているので基本的にはAWSに寄せつつも機械学習ではGCPも活用しマルチクラウドで運用しています。 Data Preparation DWHとしてBigQueryを利用しています。BigQueryにはバンドルカードのトランザクションデータやFirebaseで取得したアプリのイベントログ、サーバのアプリケーションログ等が集約されておりデータ分析やA/Bテストの集計、障害調査等に使われています
どうも @metalunk です． コスパ，大事ですよね？コストをある値以下に抑えたとき，どれだけパフォーマンスを発揮できるか，という話です． 10X で最初の機械学習プロダクトを作るにあたり，コスパを意識して MLOps 基盤を作ったので，それの紹介をします． Stailer における ML の重要性 レジ前推薦 作りたかったもの アーキテクチャ Training pipeline の選択 Python function-based component vs Own container component Serving 用データストア CI (Continuous Integration) CD (Continuous Delivery) Monitoring リポジトリ構成 認証 Vertex ML Metadata stailer-suggest-batch の移行 組織の話 未来
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 最近「医療言語処理」という本を読んで、医療用語の表記ゆれ吸収や意味構造検索などについて学びました。 医療言語処理 (自然言語処理シリーズ) 作者:荒牧 英治発売日: 2017/08/01メディア: 単行本 そこで今回はElasticsearchと患者表現辞書を使った意味構造検索がどのくらい実戦投入できるかを簡単に試したので、概要と実装方法を簡単にご紹介します。 患者テキストの表記ゆれ 患者テキストの表記ゆれとは MEDNLPの患者表現辞書 トークンによる検索の課題と対策の検討 主語が違うのにヒットしちゃう？ 意味構造検索 係り受け解析と患者表現辞書を使った意味構造検索の実装 患者表現辞書を使った係り受け解析 患者表現辞書の表現をクエリに展開する
こんにちは。データサイエンティストの堀部です。 この記事は Enigmo Advent Calendar 2020 の9日目の記事です。 何か社外のデータを使っていい感じのことができないかなと思っていたところ、3日目の竹本さんの記事がおもしろく、パクリ二次創作しました。 短期間で実装したので汚いコードで見苦しいかもしれないですがご了承ください。ちなみに、私は競馬は簡単なルールを知っているくらいでズブの素人です。 目次 使用したライブラリ データ取得 前処理 学習 予測・評価 VSオッズ低い順 VS競馬必勝本 感想 参考資料 使用したライブラリ import urllib.parse import urllib.request as req from time import sleep import category_encoders as ce import lightgbm as lgb
uv一つでPythonプロジェクトのランタイム･パッケージ管理が完結。pip/poetry/pyenv/virtualenvをまるっと置き換え! | DevelopersIO
Pythonのリンター･コード整形ツール Ruff を開発している Astral から、Pythonのパッケージツール uv の大型アップデート(uv v0.3)の知らせが届きました。 発表されたブログには「uv: Unified Python packaging(訳:統一されたPythonパッケージング)」とあり、READMEには以下の一文があります。 A single tool to replace pip, pip-tools, pipx, poetry, pyenv, virtualenv, and more. https://astral.sh/blog/uv-unified-python-packaging プロジェクトのランタイムのバージョン管理(pyenv/.python-version)、プロジェクト固有の環境(virtualenv)、パッケージ管理(pip/poetry
Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における
チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 チューリングのメンバーでも熱心なuvファンがいるため、本記事では、uvの基本操作や、便利な機能をまとめます。 1. uvの基本操作 uvの公式ドキュメントはuvで整備されています。 1.1 uvのinstall 公式のuv - Getting s
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
データサイエンティストの基本的な副業の流れ データサイエンティストのsatomacoto（@satomacoto）です。普段は、解析に必要なIoTデバイスやWebアプリのソフトウェア開発から機械学習モデルの開発・デプロイまで携わるソフトウェアエンジニア/データサイエンティストとして働いています。本稿では、データサイエンティストとして短期間で成果を出すために気をつけていることについて執筆します。 1.契約前・オンボーディング 一口にデータサイエンスの案件といっても、その言葉が表す職務は、「モデル開発」「特徴量エンジニアリング」といったデータサイエンスそのものに関わるところから「アーキテクチャ」「データ整備」といったソフトウェア・インフラに関わるものまで広範囲に及びます。 契約前・オンボーディングでは、クライアントがどこまでの範囲をどの程度の期間で実現したいか、そして限られた自分の時間でどこま
機械学習エンジニアの吉田です。 夏ですね。7月はLayerXエンジニアブログを活発にしよう月間 です。 昨年バクラクOCRの機械学習モデルの検証から本番投入までの取り組みについて記事を書きました。 tech.layerx.co.jp その後、運用する中で新たな課題が生まれたり、負債を解消するために当初の開発環境を見直しアップデートしてきました。 今回は機械学習周辺の技術スタックに焦点を当ててその変遷について紹介したいと思います。 MLチームでは各サービスからのリクエストを処理するAPIやデータ基盤、社内のアノテーションツールなどの開発も行っており、これらは主にGo, TypeScriptで開発されていますが今回は対象外としています。 技術スタックの変遷 本番リリース時と現在の主な技術スタックの比較です。 リリース時 現在 言語 Python Python パッケージ管理 pip Poetr
現代の“ノマド”の誇りクロエ・ジャオ監督による映画『ノマドランド』は、家がなく、車で寝泊まりしながらアメリカ合衆国各地で日雇い労働をしつつ旅する人々を描いた作品である。ヒロインであるファーン（フランシス・マクドーマンド）はネバダ州にあるその名も「エンパイア」（「帝国」を意味する）という名の町で暮らしていたが、ここは2008年のリーマンショックの影響で企業倒産や工場閉鎖が続いた結果、ゴーストタウンと化した。ファーンも家を失って、RV車で移動するノマド生活を送るようになった。ファーンは各地で労働しながら、旅先で放浪の仲間たちと出会う。 ジェシカ・ブルーダーによる原作『ノマド 漂流する高齢労働者たち』（鈴木素子訳、春秋社、2018年）は実際に放浪して暮らす労働者たちを取材したノンフィクションである。原作に登場しているリンダ・メイ、スワンキー、ボブ・ウェルズは本人に近い役柄で映画にも出演している。
今回はひふみ祝詞の「な」です ✨たーさんとパパ ✨poetry writer すふれ 今回はたーさんの想いを見てた"すふれ" さんが、たーさんとパパにあてて、書いた詩がとても素敵だったので、こちらの記事に出させて頂きました😄🌸 たーさんとパパ、すふれさん、pちゃ ４人の合作です 見てくださってありがとうございます😊💕 すふれさんの記事は心が温まる素敵な詩が沢山詰まってます イラストを見てるだけでもじわ〜っときちゃいます😊 🌸すふれさんの詩ブログ↓ https://sufuretan.hatenablog.com/ 🌸たーさんパパのブログ↓ パパ通称(ケンケン)がたーさんとの日常を綴ってます。笑ったり、切なかったりたーさんに対するケンケンパパの愛情たっぷりのブログ記事です😊 https://ta-sanpapa.hatenablog.com/ では前回の静岡県の記事から抜粋し
こんにちわ alivelimb です。 本記事ではプロジェクト毎に用意している Python 開発環境を紹介します。なお、本記事で紹介した環境構築の自動化スクリプトをgithubで公開しています。 概要 Python の開発環境は主に VSCode, pyenv, poetryを用いて用意しています。 pyenv は Python 自体のバージョン管理を行います。Python3.8 から 3.9 への切り替えもコマンド 1 つで行うことが可能です。Poetry は Python パッケージの管理を行います。これらに加えて VSCode の各種拡張機能を活用することで開発環境としています。 本記事で構築した環境デモ gif デモで示していることは以下の通りです リッチな予測変換 自動インポート(pathlib.Pathをインポート) ファイル保存時の静的解析 & 自動整形 Type Hint
1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonパッケージ管理ツールryeを使う - 肉球でキーボード
Pythonプロジェクトを快適にするために導入したツールとその設定 | DevelopersIO
Slack の CLI と無料サンドボックス環境でサクサク快適開発
Dockerのコンテナイメージサイズを1/10以下に軽量化してみた - Qiita
検閲削除される前の希少本 萩原朔太郎「月に吠える」初版が一般展示（1/3ページ）
Pythonの機械学習用Docker imageのサイズ削減方法の紹介 - エムスリーテックブログ
ダジャレを判定する - Stimulator
【2023年】プログラミング・Pythonの無料おすすめ学習教材13選 - Qiita
生前は評価されず死後に評価された人物 - 歴ログ -世界史専門ブログ-
人生を変える“言葉” 韓国で出会った茨木のり子 | NHK | WEB特集
イギリス有名大学の授業を無料でオンライン受講！おうちUK留学体験記① - ENGLISH JOURNAL
「上半身さえどうにかすれば社会生活できる」アメリカの雑誌の表紙がめちゃくちゃ今の世相を表していて笑うけど「的確すぎ」
Pythonパッケージを公開するときに便利なツール/サービス
ペパボテックブログの裏側 - Pepabo Tech Portal
Slack アプリでのモーダルの使い方完全ガイド - Qiita
カンムを支える技術 ~機械学習編~ - カンムテックブログ
10X のコスパ重視 MLOps - 10X Product Blog
GiNZAと患者表現辞書を使って患者テキストの表記ゆれを吸収した意味構造検索を試した - エムスリーテックブログ
機械学習で競馬必勝本に勝てるのか？ 〜Pythonで実装するランク学習〜 - エニグモ開発者ブログ
uvだけでPythonプロジェクトを管理する
データサイエンティストが副業で成果を出すためのチェックリスト | Offers Magazine
バクラクMLチームの技術スタックの変遷 - LayerX エンジニアブログ
アカデミー賞最有力！ 映画『ノマドランド』──放浪する主人公を支える詩の力
はにわ物語 byハニーズ 静岡総集編 - しなやかに〜☆
VSCodeとPoetryで作るPython開発環境
Python(PyTorch)で自作して理解するTransformer