並び順

ブックマーク数

期間指定

  • から
  • まで

361 - 400 件 / 806件

新着順 人気順

Pythonの検索結果361 - 400 件 / 806件

  • エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 - what we use(技術スタックデータベース)

    エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 「エンジニアが技術的な意思決定に携わること」は、キャリアにおいて重要な意味を持ちます。特定の技術がどのような思想のもとに作られており、利点や欠点は何か。そして、その技術が自社の求めるニーズに合致しているかなど、複数の観点に基づき決断を下す必要があります。ひとたびその技術を導入すれば、長年にわたってメンテナンスし続けることも確定します。こうした経験を通じてエンジニアは多くのことを学び、成長するのです。 では、各企業で活躍する著名なエンジニアたちは、これまでどのような技術的な意思決定に携わってきたのでしょうか。今回はエムスリー株式会社のVPoEである河合俊典(ばんくし)さんに、キャリアのなかで印象に残る意思決定について聞きました。 エムスリーが目指すのは「全員CTOレベル

      エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 - what we use(技術スタックデータベース)
    • Code Llama の概要|npaka

      以下の記事が面白かったので、かるくまとめました。 ・Introducing Code Llama, a state-of-the-art large language model for coding 1. はじめに「Code Llama」は、コードと自然言語の両方からコードとコードに関する自然言語を生成できる最先端のLLMです。研究および商用利用が可能で、無料で利用できます。 「Code Llama」は「Llama 2」ベースで、次の3つのモデルを提供します。 ・Code Llama : 基本的なコード生成モデル。 ・Code Llama - Python : Pythonに特化したコード生成モデル。 ・Code Llama - Instruct : 自然言語の指示を理解できるようにファインチューニングしたモデル。 ベンチマークテストではコードタスクにおいて、公的に入手可能な最先端のLL

        Code Llama の概要|npaka
      • 解決!Python CSVファイル編

        こんなときにはどんなコードを書くんだっけ? というときに役立つ連載「解決!Python」から今回は、以下のcsvモジュール/NumPy/pandasという3つのモジュール/フレームワークを使ってCSVファイルを読み書きする方法をまとめてeBook化しました。 これら3つのモジュール/フレームワークを対象に、CSVファイルを読み込むときにはこんなコード、CSVファイルに書き込むときにはこんなコード、さらにあーしたい、こうしたいというときには、こんなパラメーターにこんな値を指定する、といったサンプルが満載の一冊になっています。 解決!Pythonは短い記事の中にサンプルコードをギュッとまとめたいと思っているのですが、合わせて7つの記事をまとめてみたら、なんと! 100ページ近い分量になってしまいました。 機械学習やディープラーニングに限らず、表形式のデータを読み込んで何らかの処理を行いたいとい

          解決!Python CSVファイル編
        • GitHub - dai-motoki/zoltraak

          You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

            GitHub - dai-motoki/zoltraak
          • 大規模言語モデルを自作しよう!(Transformers+DeepSpeed+torch.compile+flash_attn2)

            本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル(LLM)の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報

              大規模言語モデルを自作しよう!(Transformers+DeepSpeed+torch.compile+flash_attn2)
            • Google Colab で OpenAI API の Retrieval を試す|npaka

              「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの

                Google Colab で OpenAI API の Retrieval を試す|npaka
              • Pythonデータサイエンスハンドブック 第2版

                Pythonのデータサイエンス用のツールを使いこなすための実用的な情報が詰め込まれたリファレンスの待望の改訂版です。IPythonとJupyter、NumPy、pandas、Matplotlib、scikit-learnを利用し、データの操作、可視化、行列計算、時系列解析、統計分析、機械学習、データモデルの構築、複雑な科学計算まで、幅広いトピックをカバー。それぞれのトピックについて、押さえておくべき基本、tips、便利なコマンドなどを紹介します。Pythonでデータ処理を行う人にとってはいつも手元に置いておきたい「使える」一冊です。 『Python Data Science Handbook, Second Edition』への称賛 訳者まえがき はじめに Ⅰ部 Jupyter:Pythonより優れたPython 1章 IPython、Jupyter入門 1.1 IPythonシェルの起動

                  Pythonデータサイエンスハンドブック 第2版
                • LightGBMをGPUで回すと結果の再現性が得られない - Qiita

                  概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか? この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した

                    LightGBMをGPUで回すと結果の再現性が得られない - Qiita
                  • 【画像解析】画像データ内の粒子の形状分類・検出【ImageJ】 - LabCode

                    形状分類について 形状分類(Shape Classification)は、さまざまな形状を識別し、分類するプロセスです。これは、コンピュータビジョン、パターン認識、機械学習などの分野で広く使用されています。形状分類の目的は、画像や物体内の特定の形状を識別し、それらを事前に定義されたカテゴリに分類することです。このプロセスは以下のステップで構成されます。 データ収集と前処理: 形状を含む画像や物体のデータセットを収集し、ノイズの除去やサイズの調整などの前処理を行います。 セグメンテーション:前処理された画像は、個々のオブジェクトを識別するためにセグメンテーションされます。 特徴抽出:各オブジェクトから形状記述子(面積、周囲長、円形度、アスペクト比、丸み、固体度など)を計算し、形状を識別するために重要な特徴を抽出します。 分類と評価: 抽出された特徴を使用して形状を分類し、例えば機械学習(ニュ

                      【画像解析】画像データ内の粒子の形状分類・検出【ImageJ】 - LabCode
                    • NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 | gihyo.jp

                      NumPy 2.0⁠⁠、6/16にリリース ―初のメジャーバージョンアップでABI⁠⁠、APIに大幅な変更 Pythonの代表的な学術計算ライブラリNumPyの初のメジャーバージョンアップとなる「NumPy 2.0」のリリース日が、2024年6月16日となることが発表された。 NumPy 2.0 release date: June 16 -News-NumPy NumPyはPythonで数値計算を行うためのライブラリ。NumPyプロジェクトにより、修正BSDライセンスの元で開発されているオープンソースソフトウェアである。低レベルから高度なものまでさまざまな計算に対応し、高いパフォーマンスを発揮することから、近年のAI、機械学習の発展において欠かせないモジュールとなっている。 NumPy 2.0は2006年以来の最初のメジャーリリースとなり、数多くの新機能と大幅なパフォーマンスアップが盛り

                        NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 | gihyo.jp
                      • 高速形態素解析 Jagger の Python binding のメモ

                        でインストールいけます! Windows(ARM も!), Linux(arm も!), macOS の全バイナリがあるので, コンパイル不要でいけるよ. 辞書データは別途必要です. とりあえずは の README からたどれるコンパイル済み KWDLC を使いましょう. import jagger model_path = "model/kwdlc/patterns" tokenizer = jagger.Jagger() tokenizer.load_model(model_path) text = "吾輩は猫である。名前はまだない。" toks = tokenizer.tokenize(text) for tok in toks: print(tok.surface(), tok.feature()) print("EOL") 吾輩 名詞,普通名詞,*,*,吾輩,わがはい,代表表記:

                          高速形態素解析 Jagger の Python binding のメモ
                        • GitHub - spyboy-productions/CloakQuest3r: Uncover the true IP address of websites safeguarded by Cloudflare & Others

                          CloakQuest3r is a powerful Python tool meticulously crafted to uncover the true IP address of websites safeguarded by Cloudflare and other alternatives, a widely adopted web security and performance enhancement service. Its core mission is to accurately discern the actual IP address of web servers that are concealed behind Cloudflare's protective shield. Subdomain scanning is employed as a key tec

                            GitHub - spyboy-productions/CloakQuest3r: Uncover the true IP address of websites safeguarded by Cloudflare & Others
                          • 6/10まで『Python1年生 第2版』が無料で読める! 知識ゼロでもわかるPython入門書

                            CodeZineを運営する翔泳社が、6月10日(月)まで書籍『Python1年生 第2版 体験してわかる!会話でまなべる!プログラミングのしくみ』を無料で公開しています。また、同シリーズの新刊『Python2年生 データ分析のしくみ 第2版 体験してわかる!会話でまなべる!』が6月17日(月)に発売予定です。 『Python1年生 第2版 体験してわかる!会話でまなべる!プログラミングのしくみ』は、ヤギ先生とフタバちゃんの対話形式で学べるPythonの入門書です。わかりやすく丁寧に解説されているので、Pythonやプログラミングの知識が全然ないと不安な方でも基礎から身につけることができます。 まさにPythonを始めるなら本書から。6月10日(月)まで全文を無料公開していますので、Pythonを学びたいエンジニアの方もぜひお試しください。 特設ページで本を読む ※無料で読むにはSHOEIS

                              6/10まで『Python1年生 第2版』が無料で読める! 知識ゼロでもわかるPython入門書
                            • GitHub - pydantic/FastUI: Build better UIs faster.

                              FastUI is made up of 4 things: fastui PyPI package — Pydantic models for UI components, and some utilities. While it works well with FastAPI it doesn't depend on FastAPI, and most of it could be used with any python web framework. @pydantic/fastui npm package — a React TypeScript package that lets you reuse the machinery and types of FastUI while implementing your own components @pydantic/fastui-b

                                GitHub - pydantic/FastUI: Build better UIs faster.
                              • Python is a Compiled Language

                                This blog post hopes to convince you that Python is a compiled language. And by “Python”, I don’t mean alternate versions of Python like PyPy, Mypyc, Numba, Cinder, or even Python-like programming languages like Cython, Codon, Mojo1—I mean the regular Python: CPython! The Python that is probably installed on your computer right now. The Python that you got when you searched “python” on Google and

                                • Rye & uv 追っかけ

                                  Rye の作者が↓のような投稿をしており、uv が気になったので個人のメモとして追っかけをする。 uv を開発しているのは最近話題の Ruff を開発している Astral。 UPDATE 20240226: Rye が astral_sh 管理化に置かれた Rye で uv を有効化するにはこれ サポートされたのは https://github.com/mitsuhiko/rye/releases/tag/0.24.0 からなので、とりあえず rye self update して以下のコマンドで有効化すればOK

                                    Rye & uv 追っかけ
                                  • Amazon CodeWhispererを使ったプロンプトエンジニアリングのベストプラクティス | Amazon Web Services

                                    Amazon Web Services ブログ Amazon CodeWhispererを使ったプロンプトエンジニアリングのベストプラクティス 生成 AI コーディングツールは、開発者の日々の開発作業の仕方を変えています。関数の生成からユニットテストの作成まで、これらのツールはお客様のソフトウェア開発の加速に役立っています。 Amazon CodeWhisperer は、開発者の自然言語のコメントと周囲のコードに基づいてコードのレコメンデーションを提供することで、開発者の生産性を向上させる IDE とコマンドラインの AI による生産性向上ツールです。 CodeWhisperer を使用すると、開発者は「 S3 にファイルをアップロードする Lambda 関数を作成する」など、特定のタスクを簡単な英語で概説するコメントを単純に記述することができます。 CodeWhisperer に対してこ

                                      Amazon CodeWhispererを使ったプロンプトエンジニアリングのベストプラクティス | Amazon Web Services
                                    • Pythonの運営評議会は、global interpreter lockの廃止をどう決定したのか|unknown protocol

                                      Pythonの仕様はPEP(Python Enhanced Propozal)、つまりPythonの仕様を拡張するための仕様を誰かが提起し、それをSteering Council(運営評議会)が決定することでPythonそのものに盛り込まれる。インターネットの仕様に詳しい人であれば、RFCみたいなものといえば伝わるだろうか。 ちなみに、昔からそうだったというわけではなく、それまでPythonの生みの親であるGuido van Rossumが一人で決めていたのが、2019年に引退を機に現在の運営体制になっており、その際の議論は、こちらに書いた。 CPython’s global interpreter lock (“GIL”) prevents multiple threads from executing Python code at the same time. The GIL is a

                                        Pythonの運営評議会は、global interpreter lockの廃止をどう決定したのか|unknown protocol
                                      • Python対応を強化した「Visual Studio Code 1.91」がリリース ~2024年6月更新/「プロファイル エディター」などの実験的機能にも注目

                                          Python対応を強化した「Visual Studio Code 1.91」がリリース ~2024年6月更新/「プロファイル エディター」などの実験的機能にも注目
                                        • 『Pythonではじめる数理最適化』の7章「商品推薦のための興味のスコアリング」をStanで解く

                                          この記事は確率的プログラミング言語 Advent Calendar 2023の12/8の記事です。 概要 『Pythonではじめる数理最適化』はいい本ですよね。親しみやすい実例、分かりやすい数式、きれいなPythonコードと三拍子そろっています (今年のアドカレで改訂版が近いうちに出ることを知りました)。 7章「商品推薦のための興味のスコアリング」では、「何日前に直近の閲覧があったか」と「閲覧回数」の二つの軸で興味のスコアを考えます。興味のスコアが単調減少であるという制約のもと、再閲覧の割合と推定値の二乗誤差を最小化するという凸二次計画問題として解いています。この記事ではStanで解くとこんな感じですというのを示します。メリットとしてベイズ信頼区間も推定されます。 データ 公式のリポジトリの7章のipynbファイルを途中まで実行して得られるデータフレームrf_dfを使用します。他の人の扱い

                                            『Pythonではじめる数理最適化』の7章「商品推薦のための興味のスコアリング」をStanで解く
                                          • Web上のPython実行環境「Google Colab」の有料プランが組織単位で導入可能に/

                                              Web上のPython実行環境「Google Colab」の有料プランが組織単位で導入可能に/
                                            • Python/C/C++向けライブラリ「StringZilla」が登場、SIMD命令を利用して文字列操作を高速化

                                              アルメニア出身で米サンフランシスコ在住の開発者であるAsh Vardanian氏は、Python/C/C++向けライブラリ「StringZilla」のバージョン1.1.3を8月31日(現地時間)に公開した。StringZillaはApache 2.0ライセンスと3条項BSDライセンスで公開しているオープンソース・ソフトウェア。ユーザーはどちらかのライセンスを選んで利用できる。 StringZillaは、大規模な文字列データを単語ごとに区切ったり、区切った単語をソートするなどの機能を提供している。StringZillaの最初のバージョンであるバージョン1.0.0が公開されたのは2023年7月13日。それに先立ってVardanian氏が公開したブログポストでは、StringZillaの基本的な考え方を解説している。 StringZillaは、長い文字列が対象であっても最初の4文字が合致していれ

                                                Python/C/C++向けライブラリ「StringZilla」が登場、SIMD命令を利用して文字列操作を高速化
                                              • Open-interpreter、試してみろ。飛ぶぞ! - Qiita

                                                Open-interpreterとは ターミナル上でLLMにプロンプトを差し出すと、命令通りにコードを書いて実行してくれるプログラム。 前提条件 Anacondaがインストールされている ターミナルの使い方を知っている インストール $ conda create -n interpreter python=3.11 $ conda activate interpreter $ pip install open-interpreter $ env:FORCE_CMAKE=1; $env:CMAKE_ARGS='-DLLAMA_CUBLAS=on' $ pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir -vv

                                                  Open-interpreter、試してみろ。飛ぶぞ! - Qiita
                                                • プログラミング言語の人気指標、一時の混戦状態からPythonが2位に大差をつけ独走態勢へ【やじうまWatch】

                                                    プログラミング言語の人気指標、一時の混戦状態からPythonが2位に大差をつけ独走態勢へ【やじうまWatch】
                                                  • import polars as pd でどこまでいけるか! - Qiita

                                                    この記事は Polars Advent Calendar 2023 1日目の記事です。 はじめに こんにちは。 この記事ではタイタニックのデータセットを使って、Polars で予測モデルを作ろうと思います。 ただ、普通に作るのではなく「import polars as pd 」とインポートし、どこまで pandas のように Polarsが書けるか試していきます!!!! Polarsって何? Polars は Python で使える高速なデータフレームライブラリです。pandas に似ていますが、特に大量のデータを扱う際の処理速度が pandas と比べて高速なのが特徴です。 import polars as pd それではさっそくコードを書いていきたいと思います! なお、この記事では Polars のバージョン 0.19.15 を使用します。 import まずはimportです。 Po

                                                      import polars as pd でどこまでいけるか! - Qiita
                                                    • PyMC-MarketingによるBayesian Marketing Mix Modeling - Qiita

                                                      この記事は確率的プログラミング言語 Advent Calendar 202317日目の記事です。 ゼミで勉強したStanとRでベイズ統計モデリング(通称:アヒル本)著者である @hankagosa 氏の開催するアドベントカレンダーに参加でき嬉しく思います。このような機会を用意していただきありがとうございます。 それでは本題に入ります。 はじめに 2023/4/6にPyMC-Marketingが発表されました。PyMCの派生ライブラリでマーケティング領域に特化しています。 PyMC Labs is excited to announce the initial release of PyMC-Marketing. Unlock the power of marketing analytics with PyMC-Marketing – the open source solution for

                                                        PyMC-MarketingによるBayesian Marketing Mix Modeling - Qiita
                                                      • [NumPy超入門]箱ひげ図とヒストグラムを使ってデータセットを可視化してみよう

                                                        連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はCalifornia Housingデータセット(カリフォルニアの住宅価格のデータセット)を題材として、最大値や最小値、平均値、中央値などの基本統計量を計算し、2万行を超えるデータセットがどのような特徴を持っているのかを見てみました。今回は同じデータセットをグラフとして可視化して、さらなる特徴を探ってみることにしましょう。 CSVファイルの読み込み 前回はscikit-learnに含まれているデータセットを読み込んで、説明変

                                                          [NumPy超入門]箱ひげ図とヒストグラムを使ってデータセットを可視化してみよう
                                                        • MojoがApple Silicon Macに対応したので早速試してみた

                                                          Pythonの高速なスーパーセットとされているMojoがApple Silicon Macについに対応したので、早速インストールしてMojo入門してみました。 ※ 記事作成日の前日(2023年10月19日)に公開されました。 インストール手順 0. ModularにSign up 基本、上記から遷移した先の以下の場所に記載しているインストール方法に沿って入れていきます。(ちょっと詰まった部分あるので本記事ではそれも記載してます) なお、curlコマンド部分に記載されているMODULAR_AUTHの値は本記事で {YOUR_TOKEN_HERE} となっている場所で使うため、メモっておきます。 1. (Homebrewインストールしてない方は入れておく) 2. Modular CLIをインストールする

                                                            MojoがApple Silicon Macに対応したので早速試してみた
                                                          • Pythonコーディングのベストプラクティス「PEP 8」を解説

                                                            Pythonコーディングのベストプラクティス「PEP 8」を解説:命名規則、インデント、コメントの付け方など TechTargetは、「開発チームのPythonコーディング標準」に関する記事を公開した。Pythonを使う開発チームのリーダーには、コード標準に関して2つの課題がある。スタイルガイドを作成することと、開発者にそれを守らせることだ。

                                                              Pythonコーディングのベストプラクティス「PEP 8」を解説
                                                            • Modular: Mojo🔥 - It’s finally here!

                                                              Since our launch of the Mojo programming language on May 2nd, more than 120K+ developers have signed up to use the Mojo Playground and 19K+ developers actively discuss Mojo on Discord and GitHub. Today, we’re excited to announce the next big step in Mojo’s evolution: Mojo is now available for local download – beginning with Linux systems, and adding Mac and Windows in coming releases. While the Mo

                                                                Modular: Mojo🔥 - It’s finally here!
                                                              • Pythonのスーパーセットで高速な新プログラミング言語「Mojo」のローカルダウンロード開始

                                                                Modularは2023年9月7日(米国時間)、Pythonの使いやすさとC言語のパフォーマンスを併せ持つ新プログラミング言語「Mojo」がローカルダウンロードできるようになったことを発表した。 2023年5月2日にMojoを発表して以来、12万人以上の開発者がJupyterHubベースでMojoを試すことができる「Mojo Playground」に登録し、1万9000人以上の開発者がDiscordやGitHubでMojoについて話し合っているという。今回のローカルダウンロードはLinuxから始まり、今後のリリースでMacとWindowsも追加される。 「今回ダウンロードできるようになったローカルの開発ツールはMojoの全力を引き出すことができる。Mojoアプリケーションを簡単に構築し、繰り返し開発するのに役立つコンパイラ機能やIDEツールの完全なセットにアクセス可能になった」(Modul

                                                                  Pythonのスーパーセットで高速な新プログラミング言語「Mojo」のローカルダウンロード開始
                                                                • Introducing Code Llama, a state-of-the-art large language model for coding

                                                                  Today, we are releasing Code Llama, a large language model (LLM) that can use text prompts to generate code. Code Llama is state-of-the-art for publicly available LLMs on code tasks, and has the potential to make workflows faster and more efficient for current developers and lower the barrier to entry for people who are learning to code. Code Llama has the potential to be used as a productivity an

                                                                    Introducing Code Llama, a state-of-the-art large language model for coding
                                                                  • Pythonと互換性を保ちつつ、非常に高速に動作することで話題のMojoをGoogle Colab上で動作させる方法 - Qiita

                                                                    Pythonと互換性を保ちつつ、非常に高速に動作することで話題のMojoをGoogle Colab上で動作させる方法PythonDeepLearningmojoGoogleColaboratory Pythonのスーパーセットとして互換性を保ちながら、驚くべき速さで実行できると話題の「Mojo」をGoogle Colab上で動作させる方法について解説します。 Mojoについては、おおまかには、以下の通りです。 Modular社は、コンパイラ基盤として広く使われているLLVM、Swift言語、GoogleがAI処理のために設計したCloud TPUなどの開発に関わってきたChris Lattner氏が共同創業者兼CEOを務める企業です。 その同社が5月に初めてMojoを発表した際に、MojoはAI処理を高速に実行するための言語だと説明しました。 MojoはPythonとの互換性によって既存の

                                                                      Pythonと互換性を保ちつつ、非常に高速に動作することで話題のMojoをGoogle Colab上で動作させる方法 - Qiita
                                                                    • GitHub - Eventual-Inc/Daft: Distributed DataFrame for Python designed for the cloud, powered by Rust

                                                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                        GitHub - Eventual-Inc/Daft: Distributed DataFrame for Python designed for the cloud, powered by Rust
                                                                      • 広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog

                                                                        こんにちは。データサイエンス部の石川です。 弊社では広告配信の最適化のために CTR・CVR*1 を推定する機械学習モデルを開発していて、定期的な学習とモデルの更新を行っています。 このようなシステムにおいて、学習済みモデルが推論システムで問題なく動作することを保証するために、デプロイされるモデルの挙動を検証する仕組みが必要です。 特に、学習時と推論時で同一の広告リクエストに対して同じ推論値を出力するかを確認する仕組みを「差分検知」と呼んでいます。 この記事では、弊社の広告システムにおける機械学習モデルの差分検知について紹介します。 背景 課題 解決策 PyO3 の実装 まとめ 背景 弊社の CTR・CVR を推定する機械学習システムでは、ワークフローエンジンが定期的にモデルの学習を実行し、その後学習済みモデルを S3 にアップロードします。 広告スコアリングサーバは S3 上のモデル変更

                                                                          広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog
                                                                        • Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か

                                                                          Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力

                                                                            Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か
                                                                          • Pythonの35000倍速い新言語Mojo🔥 に触れてみた【基礎編】 - Qiita

                                                                            Mojo🔥とは PythonのシンプルさとRustのスピードとメモリの安全性を組み合わせた、新しいプログラミング言語。 Pythonの35000倍速いとされており、Pythonの弱点である「遅さ」を補うと期待されている。また、書き方もPythonと似ているので移行もしやすいです。 そんな言語が2023年10月19日より、Appleシリコン搭載Macに対応したとのことで、早速触ってみました。 本家のドキュメントはここにまとまっています。 Mojo🔥のセットアップ ターミナルやVSCodeで使えるようにセットアップが必要です。 以前記事にまとめたので、そちらをご覧ください Mojo🔥の基本 主にPythonとの比較をしながら書いていきます。 前提 ・Mojo🔥はコンパイル言語であり、他のコンパイル言語たち同様、エントリーポイントとして main() が必要 ・Pythonのすべての構文

                                                                              Pythonの35000倍速い新言語Mojo🔥 に触れてみた【基礎編】 - Qiita
                                                                            • Xwin-LM-70B-V0.1をOpen Interpreterから使ってみる。

                                                                              はじめに 前回の記事で Xwin-LM-70B-V0.1 と Llama-2-70B の出力結果の比較しました。今回は Open Interpreter のバックエンドとして Xwin-LM-70B-V0.1 を使ってみます。 私の PC のスペック[1] i7 13700K 3090 24GB DDR5 128GB 準備 llama-cpp-python を CUDA を有効にしてインストールする。 sudo apt install -y build-essential cmake python3 python3-pip python-is-python3 \ && CUDA_PATH=/usr/local/cuda FORCE_CMAKE=1 CMAKE_ARGS='-DLLAMA_CUBLAS=on' \ pip install llama-cpp-python --force-re

                                                                                Xwin-LM-70B-V0.1をOpen Interpreterから使ってみる。
                                                                              • mambaやripのinstallが何故早いのか調べたメモ - Stimulator

                                                                                - はじめに - 最近、PythonのパッケージインストーラーであるpipをRustで書き直したripというツールが公開された。 github.com ripのREADME.mdには、flaskを題材に依存解決とインストールが1秒で終わるようなgifが貼られている。 この速さは一体どこから来ているのか調べた。 - はじめに - - 宣伝 - - ripの成り立ち - Anaconda mamba-org prefix.dev - condaがinstallで行うこと - - mambaでの速度改善 - - ripに応用されたこと - - おわりに - - 宣伝 - 来週開催の技術書典15で「エムスリーテックブック5」が出ます。 私の内容は「自作Python Package Manager入門」で、CLIツールの作り方から始まって40ページでPyPIの仕様やその背景となっている要素を把握しな

                                                                                  mambaやripのinstallが何故早いのか調べたメモ - Stimulator
                                                                                • GitHub - dlt-hub/dlt: data load tool (dlt) is an open source Python library that makes data loading easy 🛠️

                                                                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                                    GitHub - dlt-hub/dlt: data load tool (dlt) is an open source Python library that makes data loading easy 🛠️