並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 42件

新着順 人気順

*Pythonの検索結果1 - 40 件 / 42件

  • 大公開!バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG

    こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab

      大公開!バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
    • Gitのブランチの役割を考える | フューチャー技術ブログ

      Gitのブランチ戦略にはいくつかあります。 GitフローGitHubフローGitLabフローチームの戦略を考えるときにどれかを参考にしつつカスタマイズするときにいろいろ不都合が生じてしてきて複雑になってしまうことってありますよね?社内でブランチの管理の議論をする中で、ブランチの役割を明確にした上で、どのブランチがどのような役割を持っているのかを明確にした方が混乱が少なくなるのではないか?というのを考えていました。 特に、プロジェクトごとに同じ名前でも役割が違うなー、というのとかもあり、ブランチ名=役割ではなく、ブランチの上位概念として役割を考えて、それを実際のブランチとの対応づけを行う必要があるのではないかな、と。 CI/CDと組み合わされることで、releaseブランチ==ステージング環境となってしまい、ステージング環境を使いたいリリース前のブランチと、ホットフィックスの検証のブランチの

        Gitのブランチの役割を考える | フューチャー技術ブログ
      • キャッシュフローを考慮して賃貸と分譲を比較する - draftcode.osak.jp

        キャッシュフローを考慮……? 例えばなのだが「1000 万円を〇〇に投資したら、10 年後に 1300 万円になりました! 300 万円、つまり 30%も儲かりました!」というような話をしている人がいる。これは儲かったと言えるのだろうか?これを年利に換算すると、2.6%程度の利益になる。これはインフレ率が 2-3%という前提で考えると、実質的にはほとんど儲からなかったもしくは損をした、 ということになる。S&P500 の平均リターンは 10%程度ということを考えると、ちょっと分が悪い投資だな、という感想になるだろう。これが逆に 1 年で 1300 万円になった場合は、 30%のリターンになるので、これはかなりいい投資だった、ということになる。 このように、投資の成果を評価するときには、単純に金額だけでなく、キャッシュフローを考慮することが重要になる。賃貸と不動産購入を比較するときに、「購入

        • モノレポの開発環境でDocker ComposeをやめてTaskfileを導入した話

          こんにちは、Sally社 CTO の @aitaro です。 マーダーミステリーアプリ「ウズ」とマダミス制作ツール「ウズスタジオ」、マダミス情報サイト「マダミス.jp」を開発しています。 はじめに この記事ではウズの開発当初から利用していた Docker Compose をやめることにした背景についてご紹介します。 Docker Compose は各マシンの開発環境での差異を吸収するというメリットがあり、多くの開発現場で導入されていますが、Docker Composeの抱えているデメリットを勘案して、最終的に一部を残して辞める決断をしました。 Docker Composeの特徴 Docker Composeは、複数のコンテナを定義し、管理するためのツールです。ウズの開発環境では、バックエンド、フロントエンド、データベースなどをそれぞれコンテナ化して、Composeで一括管理していました。こ

            モノレポの開発環境でDocker ComposeをやめてTaskfileを導入した話
          • 画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに

            ノードベースの画像生成ソフトウェア「ComfyUI」向けに作られたノードの一つ「ComfyUI_LLMVISION」にマルウェアが仕込まれていることがわかりました。発覚後、ComfyUI_LLMVISIONのGitHubリポジトリが削除されています。 PSA: If you've used the ComfyUI_LLMVISION node from u/AppleBotzz, you've been hacked byu/_roblaughter_ incomfyui クリエイターのロブ・ラフター氏がRedditで共有したところによると、ComfyUI_LLMVISIONをインストールして使用した場合、ブラウザのパスワード、クレジットカード情報、閲覧履歴がWebhook経由でDiscordサーバーに送信されてしまうとのこと。 ラフター氏自身も影響を受け、ComfyUI_LLMVISIO

              画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに
            • ChatGPTプログラミングのすすめ

              ChatGPTなどの大規模言語モデル (Large Language Model; LLM) にプログラミングやリファクタリングをさせる場合、目的に合ったものが作られているかを何らかの方法で検証する必要がある。 プログラムの正しさを完全に保証する方法はないが、ある程度の正しさを継続して担保するための方法を探ってみたので以下にまとめた。 ポイントは、ChatGPTの生成したプログラムの検証にもやはりChatGPTの力を借りることである。 実行可能性と入出力のチェック プログラムを生成するタスクである場合、いつでも「実行できるか?」というチェックが可能である。これは自然言語の生成と大きく異なる点だろう。実行可能性を確かめることは最低限のチェック項目になる。 エラーが出力された場合、自力で修正するか、もしくは、エラーの内容をChatGPTに提示して修正を依頼し、再度実行可能かを確かめる。 入力・

                ChatGPTプログラミングのすすめ
              • ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG

                こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci

                  ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
                • Googleが開発したPythonのUIフレームワーク「Mesop」の特徴を開発チームが解説

                  Googleのチームが開発したPython用のUIフレームワーク「Mesop」の特徴や使い方について、開発チームがブログに投稿しています。 Why Mesop? - Mesop https://google.github.io/mesop/blog/2024/05/13/why-mesop/ 多くのPython用UIフレームワークは簡単に使い始められるものの、標準的な使用方法を超えてカスタマイズを行おうとするとJavaScriptやCSS、HTMLの詳しい知識が必要です。MesopはPython内で動作を完結させることでよりPython開発者にとって扱いやすいUIフレームワークになっています。 MesopはコンポーネントベースのUIフレームワークで、UI全体がコンポーネントと呼ばれるブロックを積み重ねて作成されています。Pythonの関数を呼び出すのと同じ要領でMesopのコンポーネントを

                    Googleが開発したPythonのUIフレームワーク「Mesop」の特徴を開発チームが解説
                  • URL.parse を Chromium で Ship するまで | blog.jxck.io

                    Intro Chrome 126 で筆者が実装した URL.parse が Ship された。 Chromium にコントリビュートしたことは何回かあったが、単体機能を Ship したのは初めてだった。 invalid URL の処理 new URL() によって、文字列の URL をパースすることができるようになって久しいが、この API は invalid な場合に例外を投げる。 例外処理をするよりも、先に URL としてパース可能かどうかを知るための URL.canParse() が提案され、先に実装が進んだ。 URL.canParse(str) // boolean しかし、これでは二回パースが必要になるため無駄が多い。 if (URL.canParse(str)) { // 1 回目のパース return new URL(str) // 2 回目のパース } そこで、失敗したら

                      URL.parse を Chromium で Ship するまで | blog.jxck.io
                    • 【作って学ぶPython】ゲームを開発してみよう!タイトル、マップ画面の実装編

                      CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

                        【作って学ぶPython】ゲームを開発してみよう!タイトル、マップ画面の実装編
                      • Doing RAG? Vector search is *not* enough

                        I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect

                          Doing RAG? Vector search is *not* enough
                        • ChatGPTが生成したコードのバグを見落としたせいで150万円以上の損失を被った失敗談

                          データ抽出サービスのスタートアップ・Reworkdの共同設立者であるアシム・シュレスタ氏が、ChatGPTが生成したコードをそのままコピーして使用したことで、多くのユーザーがサービスに加入できず1万ドル(約150万円)以上の利益を逃したことを、ブログで赤裸々に語りました。 How a single ChatGPT mistake cost us $10,000+ | Blog https://asim.bearblog.dev/how-a-single-chatgpt-mistake-cost-us-10000/ この問題の発生は、シュレスタ氏らのプロジェクトチームがスタートアップの収益化に着手していた2023年5月にさかのぼります。出資者からの指示で収益化を急ぐ一方、プロジェクトをNext.jsからPython/FastAPIに移行する必要もあったシュレスタ氏は、移行作業のほぼすべてをC

                            ChatGPTが生成したコードのバグを見落としたせいで150万円以上の損失を被った失敗談
                          • ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog

                            AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ

                              ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
                            • Raspberry Pi AI Kitを試してみた

                              Raspberry Pi AI Kitが発売になったので早速試してみました。このAI KitはRaspberry Pi 5で使用するための Hailo AI アクセラレーション モジュールとRaspberry Pi M.2 HAT+ が一緒になったものです。 Hailo-8L チップは13TOPSの性能を持っているそうで、高速な推論エンジンとして画像認識などのアプリケーションで性能を発揮してくれそうです。 Raspberry Pi AI Kitが到着 到着したAIキットです。コンパクトな箱にまとまっています。裏面には始め方のURLや機能などが書かれています。 箱の中身ですが、Raspberry Pi M.2 HAT+にHailo AI アクセラレーション モジュールとRaspberry Pi 5に接続するためのフラットケーブルが取り付け済みです。あとはGPIOポートに接続するためのヘッダピ

                                Raspberry Pi AI Kitを試してみた
                              • 現在地からオブジェクト指向プログラミングを捉えなおす、リ・オリエンテーション【OCC2024基調講演レポート】

                                AI時代の開発にオブジェクト指向は必要か、現代の開発における「オブジェクト指向プログラミング」とは何か──。3月24日に開催されたObject-Oriented Conference 2024で「オブジェクト指向のリ・オリエンテーション〜歴史を振り返り、AI時代に向きなおる〜」と題して羽生田 栄一氏が基調講演を行った。 「オブジェクト」とは? Alan Kayより、3つのメッセージ 講演冒頭、羽生田氏は「リ・オリエンテーション」と題した本セッションの意図を、以下のように説明した。 株式会社 豆蔵 取締役 羽生田栄一氏 「一つは『オブジェクト指向ってこんなもんだよ』というオリエンテーションをするということ。もう一つは、そうは言っても『AI時代にオブジェクト指向いらないんじゃないの』という声もあるので、単純にオブジェクト指向にどういう方向性があり得るのか『向き直る』という意味をかけています」

                                  現在地からオブジェクト指向プログラミングを捉えなおす、リ・オリエンテーション【OCC2024基調講演レポート】
                                • DatadogでAPI毎のSQL発行数を可視化してN+1を改善! - Nealle Developer's Blog

                                  こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね? 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは? N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。(1 + N問題と呼んだ方がしっくりくる気がしますが...🤫) 背景 この取り組みを始めた経緯は、システムへのリクエスト

                                    DatadogでAPI毎のSQL発行数を可視化してN+1を改善! - Nealle Developer's Blog
                                  • WWDC24:機械学習とAIモデルをAppleシリコンに統合 | NEWS | Mac OTAKARA

                                    ※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 Appleが、WWDC24において「機械学習とAIモデルをAppleシリコンに統合」を公開しています。 AppleのCore MLチームのエンジニアQiqi Ziao氏は、Core ML Toolsに加えられたいくつかのエキサイティングなアップデートについてお話しします。これらのアップデートは、機械学習やAIのモデルをApple Siliconでより良く活用するのに役立ちます。モデルデプロイのワークフローには3つの重要な段階があります。 私は準備段階に焦点を当て、多くの最適化を共有し、デバイス上でモデルを最も効率的に実行するための機能が含まれていることを確認します。このセッションでは、あなたがすでに機械学習モデルを持っていると仮定します。このモデルは、事前に

                                      WWDC24:機械学習とAIモデルをAppleシリコンに統合 | NEWS | Mac OTAKARA
                                    • これからのIVRyのエンジニア採用に思うこと|Issei Naruta

                                      IVRyでエンジニアをしている成田(@mirakui)です。2024年2月に入社してから4ヶ月ほど経ちました。その間IVRyでは、AI自動応答によるレストラン予約がリリースされたり、0AB-J(03などの市外局番)に対応したり、シリーズCの調達をしたり、経営チーム的なものが立ち上がったり、プロダクトも事業も組織もたった4ヶ月でめまぐるしく進化しています。これがスタートアップか〜〜と驚く毎日で、スピードに置いてかれないように日々やっております。 いま自分がやってること僕は前職では経営やマネジメントがメインでしたので、当面はチームや組織を持たずにIndividual Contributorとして働きたいな〜という思いがあり、IVRyはそれを快く受け入れてくれました。ICのエンジニアします、以外何も決めずに入社したんですが、一通り課題を見渡してみて、手つかずでレバレッジの効く課題が多いと感じた、

                                        これからのIVRyのエンジニア採用に思うこと|Issei Naruta
                                      • GitHub - RUC-NLPIR/FlashRAG: ⚡FlashRAG: A Python Toolkit for Efficient RAG Research

                                        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                          GitHub - RUC-NLPIR/FlashRAG: ⚡FlashRAG: A Python Toolkit for Efficient RAG Research
                                        • 無料で受講できる「デジタル推進人材育成プログラム」 経済産業省が受講生の募集を開始

                                          経済産業省は2024年6月10日、デジタル推進人材育成プログラム「マナビDX Quest」の受講生の募集を開始した。マナビDX Questは、実践的な「ケーススタディー教育プログラム」と、デジタル技術を活用した「地域企業協働プログラム」で構成されている。学生や社会人などが対象で、無料で受講できる。 AIによる需要予測やデータ分析による収益改善について学べる 経済産業省はマナビDX Questの目的を「地域企業や産業のDX(デジタルトランスフォーメーション)の実現に向けて、ビジネスの現場での課題解決の実践を通じた能力を磨くこと」としている。プログラムは2つあるが、2024年6月に受験生の募集を開始したのは企業データに基づく実践的な「ケーススタディー教育プログラム」となる。 関連記事 生成AIの用語10選 ~ 一般ユーザーが知っておくべき基礎知識 生成AI時代を生きる社会人に必須の基礎知識を身

                                            無料で受講できる「デジタル推進人材育成プログラム」 経済産業省が受講生の募集を開始
                                          • Node.js — Node v22.3.0 (Current)

                                            2024-06-11, Version 22.3.0 (Current), @RafaelGSS Notable Changes [5a41bcf9ca] - (SEMVER-MINOR) src: traverse parent folders while running --run (Yagiz Nizipli) #53154 [1d5934524b] - (SEMVER-MINOR) buffer: add .bytes() method to Blob (Matthew Aitken) #53221 [75e5612fae] - (SEMVER-MINOR) src,permission: --allow-wasi & prevent WASI exec (Rafael Gonzaga) #53124 [b5c30e2f5e] - (SEMVER-MINOR) module: pr

                                              Node.js — Node v22.3.0 (Current)
                                            • PyTorch関数名の末尾アンダーバー`_`の意味 - BioErrorLog Tech Blog

                                              in-place処理であることを意味します。 はじめに PyTorch関数名の末尾アンダーバー_ 意味 具体例 おわりに 参考 はじめに PyTorchを触っていると、しばしばアンダーバー_を接尾語とする関数を見かけます。 kaiming_normal_ add_ etc... 初見で意味を知らなかったので備忘録メモです。 PyTorch関数名の末尾アンダーバー_ 意味 PyTorch関数名の末尾アンダーバー_は、in-place処理を意味します。 in-place処理とは、元のデータを直接変更する処理のことです。 In-place operations Operations that have a _ suffix are in-place. For example: x.copy_(y), x.t_(), will change x. Ref. Tensors — PyTorch Tu

                                                PyTorch関数名の末尾アンダーバー`_`の意味 - BioErrorLog Tech Blog
                                              • 参加者2000人超え! TypeScript大規模カンファレンス「TSKaigi 2024」レポート | gihyo.jp

                                                参加者2000人超え! TypeScript大規模カンファレンス「TSKaigi 2024」レポート 2024年5月11日、中野セントラルパークカンファレンスにてTSKaigi 2024が開催されました。TSKaigiは今年初めて開催されたTypeScriptに特化した技術カンファレンスです。前身もない、完全初開催にも関わらずチケットはタイムテーブル公開前に完売。オンライン参加者も含めると2000人を超えるなど、とても注目度が高いカンファレンスとなりました。 今回筆者は運営スタッフとして参加しました。この記事では、TSKaigiがどのようなイベントだったのかに触れたうえで、当日の模様をレポートします。 TSKaigiついて TSKaigiは、日本最大級のTypeScriptをテーマとした技術カンファレンスです。コロナ禍で様々なオフラインイベントが打撃を受ける中、TypeScriptを扱うエ

                                                  参加者2000人超え! TypeScript大規模カンファレンス「TSKaigi 2024」レポート | gihyo.jp
                                                • 今後のWSL2はGUI管理が可能に - 阿久津良和のWindows Weekly Report

                                                  今年のBuild 2024に対する感想は「面白くもあり、詰まらなくもあり」。あくまでも感情的な感想だから、筆者自身が「枯れた」のだろう。それでも関心を持ったセッションは「Windows Subsystem for Linux, Your enterprise ready multitool」である。ちなみに本セッションはYouTubeでも視聴可能だ。 現在のWSL(Windows Subsystem for Linux)2は消費したメモリーを対象にしたAutoMemoryReclaimや、ストレージリソースの自動回収を行うSparseVhdをサポート。 従来はWindowsネットワークに依存して、難しかった外部アクセスもDnsTunneling(本来はサイバー攻撃で用いられる名称だが、Microsoftの呼称をそのまま使用する)やNAT、WindowsとLinuxディストリビューション側に

                                                    今後のWSL2はGUI管理が可能に - 阿久津良和のWindows Weekly Report
                                                  • 「C++」が初めて「C」を抜いて2位に プログラミング言語の人気ランキング

                                                    ソフトウェア品質の評価と追跡を手掛けるTIOBE Softwareは、2024年6月版の「TIOBEプログラミングコミュニティーインデックス」(通称「TIOBEインデックス」)を発表した。TIOBEインデックスは、プログラミング言語の人気を示す指標で、同社が毎月1回更新している。 レーティングと順位 2024年6月のランキングでは「Python」が15.39%のレーティングで首位を維持し、「C++」がTIOBEインデックスの作成開始以来初めて、2位につけた(10.03%)。長期にわたって2位を占めてきた「C」は3位に転落した(9.23%)。 C++は2023年1、2月と同年6月以降、3位を占めていた(2023年3~5月の3位はJava)。4~6位は2023年7月以降、順位変動がなく、「Java」(8.40%)、「C#」(6.65%)、「JavaScript」(3.32%)と続いた。 関連記

                                                      「C++」が初めて「C」を抜いて2位に プログラミング言語の人気ランキング
                                                    • 【iMyfone chatArtレビュー】文章も画像もAIにおまかせの新AI時代の到来か - redoブログ

                                                      みなさんはchatGPTなどの生成AIはご存知でしょうか。言い方を変えると文章や画像をAIが作ってくれるとしたらどう思いますでしょうか。 生成AI(ジェネレーティブAI)とは、一言でいうと、人工知能を用いて新しいコンテンツ(テキスト、画像、音楽、ビデオなど)を生成する技術のことです。 これにはディープラーニングモデルを使用して既存のデータを学習し、そのパターンを基に新しいデータを作り出すプロセスが含まれます。ChatGPTやDALL-Eなどのツールが代表例であり、クリエイティブなコンテンツ作成、デザイン、マーケティング、自動応答など、様々な分野で利用されています。 また、ChatGPTとは、OpenAIによって開発された高度な人工知能チャットボットです。GPT(Generative Pre-trained Transformer)シリーズの一部であり、最新のGPT-4を基にしています。この

                                                        【iMyfone chatArtレビュー】文章も画像もAIにおまかせの新AI時代の到来か - redoブログ
                                                      • お絵描き補助AIアプリ『AI-AssistantV3』公開!|とりにく

                                                        ④AI_Assistant.exeを実行exeファイルをそのままダブルクリックで起動できます。 VRAMが6GB以下の場合 AI_Assistant_lowVRAM.batから実行した方が動作が早いかもしれません(未検証。誰か報告して) LoRAを使いたい場合 AI_Assistant_exUI.batから実行。 ※上級者向け オプションとして、以下の引数を指定することで、起動時の言語を指定できます。ショートカットやbatファイルをご利用下さい。 AI_Assistant.exe --lang=jp AI_Assistant.exe --lang=en AI_Assistant.exe --lang=zh_CNさらに引数を追加することで、Stable Diffusion Web UIに対するオプションを追加できます。 また、以下の引数を追加することで拡張UIを表示できます(現在、i2iタブ

                                                          お絵描き補助AIアプリ『AI-AssistantV3』公開!|とりにく
                                                        • 自分のAWS環境について何でも教えてくれるエージェントが作れそう(Agents for Amazon Bedrock + Knowledge bases for Amazon Bedrock) - Qiita

                                                          ただし、LangChainが動作しているホストマシンの環境でPythonスクリプトを実行するので、誤って大事なファイルを消したりする危険性があります。 これをLambdaで動作させようと考えました。 Python REPLのLambda化 Python REPLの実装はとてもシンプルです。90行しかありません。 参考:GitHubのソースコード Lambdaへ移植する際に気をつけたのは2点です。 動作に不必要なLangChainの依存を削除する multiprocessing.QueueはLambdaで動作しないため、multiprocessing.Pipeに置き換える(参考) 出来上がったのが以下の3つの関数です。クラスですらなくしてしまいました。 import logging from multiprocessing import Process, Pipe import re imp

                                                            自分のAWS環境について何でも教えてくれるエージェントが作れそう(Agents for Amazon Bedrock + Knowledge bases for Amazon Bedrock) - Qiita
                                                          • ElasticsearchによるLearning To Rank(LTR)入門 - Qiita

                                                            はじめに Elasticsearchではv8.12からLearning To Rankという機能が実装されました。これまでにもコミュニティープラグインでは同様のことが実現できていましたが、今回Elasticが公式にサポートしましたので概要について紹介したいと思います。 検索の良し悪しは主に以下の観点で評価できます。 適合率 / Precision : どれだけノイズが少ないか 再現率 / Recall : どれだけもれなく検索できているか Learning To Rank(LTR)はこのうち適合率 / Precisionを、事前に用意したデータを学習することによって向上させるための仕組みです。 この機能はElasticsearchの外部で機械学習によって作成したモデルを使って実現します。流れとしてはData Frame Analyticsやベクトル検索で実現しているのと同様、Pythonで

                                                              ElasticsearchによるLearning To Rank(LTR)入門 - Qiita
                                                            • お薦めしたら「お薦め返し」された書籍。はてなブックマーク、Twitter、オフ会のおかげで出会えた「知」

                                                              膨大な情報から、どうやって自分に合ったものと出会えるか。 ここでは、本をダシにして、自分にぴったりの一冊と出会うための方法を紹介する。同時に、この方法で私が出会えてきた本も併せてご紹介しよう。 読むべき記事や追うべきトピック、押さえたほうが良いチャネルやお知らせはたくさんある。全部見てるヒマはないけど、自分にとって有益かどうかは、見ないと分からない。 長年、情報収集術には苦労させられてきたけれど、一つハッキリしているのは、「自分に有益な情報は、シェアするとシェアされる」という原則だ。 コメントでもSNSでもいい、「これが良かった!」とか「ここ役に立った!」と発信すると、そのメンションがつながっていって、最終的に発信者にとって有難い情報が手に入るようになる。 お薦めすると、お薦めが返ってくる。直接/間接・オンライン/オフライン問わず、回り回って、「それが良いならこれなんてどう?」というフィー

                                                                お薦めしたら「お薦め返し」された書籍。はてなブックマーク、Twitter、オフ会のおかげで出会えた「知」
                                                              • Why Mesop? - Mesop

                                                                Home Getting Started Guides Components API FAQ Demo Gallery 🔗 Blog Contributing Why Mesop? Mesop is a new UI framework that enables Python developers to quickly build delightful web apps in a scalable way. Many Python UI frameworks are easy to get started with, but customizing beyond the defaults often requires diving into JavaScript, CSS, and HTML — a steep learning curve for many developers. Me

                                                                • Migrating OCR Enhancement from GPT-4 Turbo Vision Preview to GPT-4 Turbo GA

                                                                  The introduction of Optical Character Recognition (OCR) enhancement as a component of the GPT-4 Turbo Vision Preview was aimed at generating higher-quality responses for dense texts, transformed images, and number-heavy financial documents. Although, the recent announcement regarding the GPT-4 Turbo 2024-04-09 General Availability (GA) model indicated that the OCR enhancement is not included in th

                                                                    Migrating OCR Enhancement from GPT-4 Turbo Vision Preview to GPT-4 Turbo GA
                                                                  • 初心者向け、データ分析・AI・機械学習の勉強方法 Deep Insiderで学ぼう

                                                                    最近のニュースでよく見聞きする「データ分析」「AI(人工知能)」「生成AI」「DX(デジタルトランスフォーメーション)」。これらの知識は、もはやソフトウェアエンジニアだけでなく、企業経営者や営業部員などの一般社会人にも無関係ではありません。 例えば、作業服チェーンの「WORKMAN(ワークマン)」は、Microsoft Excelを使ったデータ分析(“エクセル経営”)で業績を伸ばしました(参考書籍)。最近ではPythonというプログラミング言語を活用して、より効率的に高度なデータ分析を進めているそうです。 このような新しい時代の流れに乗り遅れないようにしたいですよね! ソフトウェアエンジニアや一般社会人は、どのようにしてデータ分析/AI/機械学習(まとめてデータサイエンス)の基礎を学べばよいのでしょうか? この記事では、“知識ゼロ”からこれらを学びたい初心者の皆さんに向けて、私たち@ITの

                                                                      初心者向け、データ分析・AI・機械学習の勉強方法 Deep Insiderで学ぼう
                                                                    • Python 3.13.0 ベータ2リリース ー グローバルインタプリタロック(GIL)を無効化した「フリースレッド」版が利用可能に

                                                                      6月6日、Python Software FoundationはPython 3.13.0のベータ2版をリリースした。これは、Python 3.13の開発中における4回のベータリリースの2回目である。ベータリリースは、コミュニティが新機能とバグ修正をテストし、プロジェクトが新機能リリースに対応できるようにするために提供される。 今回のリリースに関する詳細な情報を以下に示す。 新機能 新しいインタラクティブインタプリタ PyPyに基づく新しいインタラクティブインタプリタが導入された。これには、マルチライン編集とカラーサポート、カラー化された例外トレースバックが含まれる。 実験的なフリースレッド(Free-threaded)モード グローバルインタプリタロック(GIL)を無効にすることにより、スレッドがより並行して実行できるようにする実験的なモードが追加された。 実験的なJITコンパイラ パフ

                                                                        Python 3.13.0 ベータ2リリース ー グローバルインタプリタロック(GIL)を無効化した「フリースレッド」版が利用可能に
                                                                      • SQLポケットガイド 第4版

                                                                        現場で重宝するSQLリファレンス。ソフトウェア開発の現場では、「SQLの構文をすぐに確認したい」「データベースによって異なるSQLの書き方を知りたい」「久しぶりにSQLを使うので簡単に復習したい」といったことがよくあります。本書では、仕事でSQLを利用しているプロの開発者を対象に、主要な5つのデータベース――MySQL、SQL Server、Oracle、PostgreSQL、SQLite――で使われるSQLの構文およびデータベースの基本を簡潔に解説します。PythonやRからSQLを利用する方法も解説しているので、データアナリストやデータサイエンティストなど、開発者以外のSQLユーザーにも有用でしょう。 まえがき 1章 SQL速修講座 1.1 データベースとは何か? 1.1.1 SQL 1.1.2 NoSQL 1.1.3 データベース管理システム(DBMS) 1.2 SQLクエリーとは何

                                                                          SQLポケットガイド 第4版
                                                                        • UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion | Google Cloud Blog

                                                                          UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion Introduction Through the course of our incident response engagements and threat intelligence collections, Mandiant has identified a threat campaign targeting Snowflake customer database instances with the intent of data theft and extortion. Snowflake is a multi-cloud data warehousing platform used to store and analyze large

                                                                            UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion | Google Cloud Blog
                                                                          • Ryeを用いたPyTorchおよびPyG環境構築

                                                                            要約 Windows上のCUDA環境において、Ryeを用いてPyTorchおよびPyG (PyTorch Geometric) のライブラリをインストールすることができた。pyproject.tomlにソースを設定することが必要となる。 Ryeについて RyeはPythonのバージョン管理とライブラリ管理の両方を1つで行えるツール。Rustで内部実装されている。ここではインストール方法には触れない。インストール済みであるとして進める。 Rye CUDA環境の構築 以下が必要となる。 NVIDIAディスプレイドライバーのインストール NVIDIA CUDA Toolkit のインストール NVIDIA cuDNN のインストール この3つは組み合わせの相性があり、以下のページでサポートされている組み合わせが記載されている。 Support Matrix ここでは、最新のドライバーと CUDA

                                                                              Ryeを用いたPyTorchおよびPyG環境構築
                                                                            • Introducing the Advanced Python Wrapper Driver for Amazon Aurora | Amazon Web Services

                                                                              AWS Database Blog Introducing the Advanced Python Wrapper Driver for Amazon Aurora Building upon our work with the Advanced JDBC (Java Database Connectivity) Wrapper Driver, we are continuing to enhance the scalability and resiliency of today’s modern applications that are built with Python. The ability to scale is critical to handle millions of users on demand, and with stateful applications such

                                                                                Introducing the Advanced Python Wrapper Driver for Amazon Aurora | Amazon Web Services
                                                                              • VSCodeで生産性を上げる

                                                                                はじめに こんなツイートを見て執筆をしようと思いました。 実際に、VSCodeは機能の追加や拡張機能の開発が活発に行われており、かつUIもユーザーフレンドリーであるため人気のエディターだと思います。VSCodeを使いこなせるのとそうでないのではエンジニアリングの生産性に大きな差が出てしまうと思います。 パンくずの設定 '>' を入力します。 '>' preferences: Open User Settings (JSON)を入力します。 僕のsettings.jsonは以下です。 { "workbench.colorTheme": "GitHub Dark", "terminal.integrated.fontFamily": "MesloLGM Nerd Font", "terminal.integrated.profiles.osx": { "fish": { "path": "/o

                                                                                  VSCodeで生産性を上げる
                                                                                • 「1ビットLLM」の衝撃と可能性──「BitNet b1.58」はなぜ大きな注目を集めたのか?

                                                                                  データのじかんトップ > 新着記事一覧 > テクノロジー > 「1ビットLLM」の衝撃と可能性──「BitNet b1.58」はなぜ大きな注目を集めたのか? 2024年2月末、AI・機械学習関連で話題となったニュースといえば「1ビットLLM」の可能性でしょう。2月27日、『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits(1ビットLLMの時代:すべてのLLMは1.58ビットに)』と題した論文がMicrosoft Researchと中国科学院大学の研究チームにより発表されたことがその発端となっています。 1ビットLLMとは何なのか? 具体的にどんな技術で、どんなメリットをもたらす可能性があるのか? 大きく世の中を変えるかもしれないこの技術の基本について、今のうちに押さえておきましょう。 「1ビットLLM」とは?

                                                                                    「1ビットLLM」の衝撃と可能性──「BitNet b1.58」はなぜ大きな注目を集めたのか?