こんにちは。CX事業本部Delivery部のakkyです。 少々旧聞となりますが、今年9月にMojo言語がローカルで実行できるようにリリースされました。 MojoはSwiftの開発者が立ち上げたModular社が開発している新しいプログラミング言語で、Pythonの文法とRustのメモリ安全性を兼ね備えたコンパイラ型プログラミング言語です。 AI開発に使用することが想定されていて、SIMDのファーストクラスサポートなども特徴的です。実際にllama2.mojoというLlama2の実行環境の実装も行われています。 現在はPythonとの完全な互換性はありませんが、Pythonインタプリタを呼び出すことでPythonコード/ライブラリを呼び出すことができ、将来的にはMojo自体がPythonのスーパーセットとなることを目指しているそうです。 10月19日にはMacのApple silicon(
クローリング監視の必要性 ウェブサイトのクローリングは、インターネット上の情報を自動的に収集する方法です。機械学習の文脈では、言語モデルや辞書作成などのデータの収集に欠かすことができません。必要な質および量のデータを収集するためには、定期的かつ大規模なクローリングが必要となります。 さて、クローリングを実装し運用する上で問題となるのが、エラーの対応です。インターネットを通じてウェブページをクローリングする際には、以下のような問題が偶発的に発生します。 ネットワーク的な問題でリクエストがタイムアウトする リクエスト先のサーバの問題で、正常にHTMLが読み込まれない ウェブページの構造が変わってしまい、意図した抽出処理が失敗する 上の2つは実行時の外部環境に起因するため時間を空けたり再実行することで解決することがありますが、最後の1つは外部環境の変化に対して自身のコードが対応できていない問題で
Gradio: Pythonで簡単にAIをWebアプリ化 - Safie Engineers' Blog!
この記事はSafie Engineers' Blog! Advent Calendar16日目の記事です。 はじめに Gradioとは Hello World! Gradioのインストール コード実装 実行結果 認証機能 リアクティブインターフェース ブロック構造とイベントリスナー コンポーネントの種類 実装例 ソースコード 画面 その他ドキュメント まとめ はじめに セーフィー株式会社 開発本部 第3開発部 AIVisionグループで画像認識AIの開発エンジニアをしている土井 慎也です。 セーフィーには2023年1月に入社し、もうすぐ1年が経とうとしています。 今年を思い返せば、生成系AIを中心とした、AI界隈の発展がすごい1年でした。 毎日のようにいろんな技術が発表されて、使えそうなものはすぐにOSSに実装されていて、技術進歩の速度がものすごく速く感じました。 さて、今回はそんなAI界
NEC は、プログラミング言語「Python」を用いたデータ分析において標準的に使用されているテーブルデータ分析用ライブラリ「pandas」を高速化するソフトウェア「FireDucks」を開発しました(注1)。データ分析に必要なデータの前処理を最大16倍(注2)高速化し、データ分析にかかる時間の大幅な削減とコンピューティングコストの低減に貢献します。 また本日よりFireDucksのβ版をオンライン(https://fireducks-dev.github.io/)で公開します。どなたでも無償でご使用いただくことが可能です。 近年POSやEコマース等の売り上げデータや金融取引のトランザクションデータなど、大量のデータが容易に取得できるようになりましたが、それらデータから価値ある分析結果を導き出すためには、人工知能(以下、AI)や機械学習(machine learning： 以下、ML)を使
はじめに Streamlitって気づいたら神アプデしてますよね。もっと大々的に宣伝してほしいものです（←自分で情報取りに行け）。 さて、化学メーカーに勤めている"自称"データサイエンティストとしてはやはりベイズ最適化したい衝動に駆られます。Notebook上では実装できていたのですが、もっと簡単に使いたいし、周囲に広めるためにもアプリの方が便利だなぁと思いました。 世の中にはそんなアプリがあるけど、ダウンロードが必要だったり（社内申請めんどくさい）、お金がかかったり・・・そうだ！自作しよう！ ということで、Streamlitでベイズ最適化による実験点提案アプリを自作しました。 ひとまず必要最低限の機能だけ実装したので、今後アップデートしていきます。 メインライブラリ streamlit==1.30.0 scikit-learn==1.4.0 ガウス過程回帰、ベイズ最適化 ・scikit-l
プログラミングで気になるあの娘と一夏の青春を送る無料恋愛ノベルゲーム×「初恋プログラミング研究会〜海に行こうよ〜」遊んでみたレビュー
少女から出題されるプログラミングの問題を解いていくことで、少女との思い出を増やしていき、一夏の青春を送るノベルゲーム「初恋プログラミング研究会〜海に行こうよ〜」をpaizaがリリースしたので、プログラミング初心者である編集部員が実際にプログラミングの問題を解きながら、少女との仲をじっくりと深めてみました。 初恋プログラミング研究会〜海に行こうよ〜 https://paiza.jp/entry/proken_g paizaのアカウントにログインした状態で、「初恋プログラミング研究会～海に行こうよ～」にアクセスし、「ゲームスタート」をクリックします。paizaのアカウントは新規登録ページから、無料で登録可能です。 「初恋プログラミング研究会～海に行こうよ～」のあらすじはこんな感じ。 高校2年の夏、俺は勇気を出して同じプログラミング研究会に所属する橘まりかを海に誘った。 彼女はいたずらな笑みで
社内向けStreamlitのデプロイの現実解
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
はじめに 8/23未明(日本時間)、下記のアナウンスがありました。 「ExcelにPythonが導入」という、 これまで何回か見たような気がしなくもない1 大ニュースが飛び込んできました。 これはPythonの生みの親であり、現在はMicrosoftのDistinguished EngineerであるGuido van Rossumが直々に紹介していました。 日本語でも様々なメディアがニュースにしています。 上記記事を読んで、初見時に思ったことをメモしておきます。 後で私の誤解、はやとちりで間違いだとわかるかもしれないのでその点はご了承下さい。 技術的にどのような実装をしているのか Starting today, Python in Excel will also be natively integrated directly into the Excel grid. To get sta
Python言語による実務で役に立つ100の最適化問題
最適化問題を100以上集めて，Python言語を用いた実用的な解法を紹介しています．
Amazon Bedrock（Claude2）でPythonのソースコード／テストコードの生成を確認してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえばFizz Buzzです。 1-100までの数字のうち、3の倍数の時にはFizzを、5の倍数の時はBuzzを、３の倍数且つ、5の倍数の時はFizzBuzzと、それ以外の時はその数字を表示するプログラム
本記事では、放物形偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう！ 注） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。こ
群馬県沼田市は、市政改革大綱を定め、人口減少や逼迫する財政状況などの直面する課題へ取り組み、持続的行政サービスの提供を行うことを掲げている。 そうした中、副市長の川田正樹CIO（Chief Information Officer)をトップとしたDX推進室を令和4年度から新たに組織し、デジタルを活用した業務変革、DX（デジタルトランスフォーメーション）に取り組んでいる。具体的には、スマート自治体を推進するため、効果的な手段としてAIやRPAの導入を進めている。 当初は、有償のRPAソフトを導入し効果を上げていたが、浮かんできた課題を解決するため、オープンソースのPythonとRPAソフトに切り替えた。これにより、どのような効果が得られたのだろうか。 この一連の取り組みについて、沼田市総務部企画政策課 課長 星野盾氏、DX推進室長 鳥羽雄一郎氏、主査 石澤賢一郎氏、主任 原沙和氏に聞いた。 左
連載目次 前回は、機械学習の基礎と、主要なPythonライブラリの概要を説明しました。 今回は、Pythonを使った機械学習プログラミングの基本的な流れを、実際にコードを書きながら体験的に学んでいきましょう。具体的には、データの読み込みと加工から、グラフによる可視化、統計的な数値計算、そして簡単な機械学習モデルの構築まで、基本的な一連の流れを体験できます（図1）。 今回で学べること 図1の通り、機械学習プログラミングの基本的な流れに沿って進めると、第1回で紹介した主要なPythonライブラリ（pandas、NumPy、Matplotlib、seaborn、scikit-learnなど）を各場面で使い分けることになります。 各ライブラリを深く理解して使いこなすためには、個別に詳しく学ぶことが必要です。ただし本連載では、詳細には触れず、実践で役立つ基本的な使用例に絞って説明します。もっと深く掘
大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた
テラーノベルで機械学習を中心に担当している川尻です。みなさんも大量のデータを特徴抽出してみたけど、どう使ったらいいかわからないなぁということありますよね。とりあえずどういうデータなのか雰囲気だけでもみるために、簡単な可視化から入るかと思います。以前にもグラフデータの可視化について記事を書きました。 テラーノベルでは小説投稿アプリを作っており、OpenAI Embedding APIを使って全作品の特徴量を出しているデータベースがあります。今回はこのデータを例にして、UMAPという可視化に便利な次元削減手法の使い方を紹介します。 UMAPとは UMAPというのは非線形の次元削減手法で、特徴は次元数やデータ量に対してほとんど一定の計算時間で済むということです。LLMなどの事前学習モデルでよく扱うような1,000次元を超えるような特徴量でも全く問題なく動きます。さらに、Pythonでとても使いや
AnthropicAI Tool で Retrieval-Augmented Generation を実装してみた
LangChain なんか使わなくてもシュッと作れたので記事にしておく。 RAG とは 生成AIに検索能力をもたせるやつ。 要は検索機能をこちらで提供してやって、AIにそれを読ませる。 AnthropicAI Tool OpenAI でいう Function Calling JSONSchema で関数シグネチャを与えると、それを使うDSLを生成する。実際の関数は自分で実装して、AI が生成した引数(JSONSchema に従う)を渡す。 TypeScript の Mapped Types でツールの実装部分に型をつける簡単なラッパーを書いた。 RAG の CLI を作る Google検索をするAPIを実装 Google Custom Engine API を使った 本文要約をするAPIを実装 Mozilla の実装を使った 与えられた URL を fetch して、その本文部分を抽出する
すみません、すごい前置きが長くなってしまったので、ランキングの結果だけ知りたい場合は目次から飛んでください！ 「本番環境でやらかしちゃった人 Advent Calendar」をご存知ですか おはようございます！ 自分が好きなアドベントカレンダーに、「本番環境でやらかしちゃった人 Advent Calendar」 というのがあります。インフラエンジニアとして働く自分は、毎年こんなにもリアリティのある やらかしと学びの集大成 を「明日は我が身」だと胃を痛めながらありがたく拝見していました…。 この分野における しくじり先生 がここまで一同に介する機会というのはあまりないことから、大変マニアックながらも知る人ぞ知るアドベントカレンダーという感じになっています。 このアドベントカレンダーのいいところ ポイントは、しっかりと ポストモーテム の要素がルール化されているところだと思っています。 振り返
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM 2023 10/19 皆さん、StreamingLLMというLLM用のアプリケーションをご存知ですか？ LLMで無限に入力ができることを可能にしたツールなんです！LLMを日々使い倒している弊社としては、衝撃のツールなんですよ。 GitHubでも4500超えのスターを獲得しており、徐々に注目が集まっています。AIオタクであれば、知らなかったなんてことないですよね。 このStreamingLLMを使えば、対話型でLLMを動かすことができ、モデルが質問の都度、リアルタイムで応答を生成してくれます。 というわけで、今回はStreamingLLMの使い方や、実際に使ってみた感想などをご紹介します。 この記事を最後まで読むと、StreamingLLMを使いこなすことができ、LLMとのリアルタイムの会話も可能になります！
はじめに ここ最近、大雨のニュースを見るたびに「〇〇年に一度の大雨」という表現を目にします。これは「千年に一人の美少女」や「百年に一度の逸材」といったレトリックではなく、データに基づいて統計的に算出された根拠のある数字です。 気象庁や自治体では観測結果をもとにこのような量を算出し、発表することで防災に役立てています。このシリーズでは、算出方法を確認し、Pythonを使って、実装・計算してみたいと思います。 なお、ここで紹介する手法は、実際に公的機関が発表しているものとは異なる場合が多分にありますので、十分にご注意ください。 今回は、前回に引き続き、分布関数をヒストグラムに当てはめる方法について紹介したいと思います。 「○○年に一度の大雨」の計算方法とは？ 気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のこ
音声データをPythonで取り込んで表示したり解析したりしたいと思ったことはありませんか？ この記事では音声データの入出力をPythonで行えるpydubのインストールと基本的な使用方法（音声データの読み込み）について説明します。 pydubで音声データファイルの入力ができれば，Numpyが提供する関数等を使用してPython上で音声データの解析・加工ができるようになります。 動作検証済み環境 macOS Catalina(10.15.7), python3.7.10, Jupyter Notebook, OpenCV 3.4.2 Pythonで音声データを読み込み，波形を描画する方法 pydubのインストール Pythonで音声データファイルの読み込みをするときは，pydubが便利です。 pydubは内部で ffmpegというライブラリを使用しますので，あらかじめインストールしておく必要
個人的には、前者の方がわかりやすいので[]を使っていたのですが、 同じチーム内にlist()で書く人もいて、コードレビューのときに「結局どっちがいいんだっけ？」の議論になったので両者の違いをまとめようと思います。 結論 以下の観点から[]を使うルールにしました。 読みやすさ []は他の多くのプログラミング言語（例えば JavaScript、C++、Java など）でも配列やリストを表すのに使われており、一般的に慣れ親しんだ表現であること。 Pythonの教育/学習資料でも、空のリストを生成する標準的な方法として[]が紹介されている印象。 シンプルに[]の方が簡潔 一方で、list()はpython特有の記法であり、pythonに精通していない人は一瞬「？」となる。 パフォーマンス [] は list() よりも生成が速い。 検証してみた 両方の書き方でそれぞれ空のリストを100万回作成する
![pythonでリストを生成するときにlist()と[]どっちを使うか？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/75ac9bf62ceda76491d6e9925129b6a680e10f85/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9cHl0aG9uJUUzJTgxJUE3JUUzJTgzJUFBJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgyJTkyJUU3JTk0JTlGJUU2JTg4JTkwJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUE4JUUzJTgxJThEJUUzJTgxJUFCbGlzdCUyOCUyOSVFMyU4MSVBOCU1QiU1RCVFMyU4MSVBOSVFMyU4MSVBMyVFMyU4MSVBMSVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDMxOGVkYjFlZDNhYTViOWE2Y2Y0NDZhNmVjMjMyZmI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBpbmV0Y3BsJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01YjM2ZTQzNjE1MTdiNjk2NTA4YzI1MDE5MzMzNmJhNA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3De6afe42be266bfde8d0aa99d4afe72d5)
GitHub - google/mesop
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
先日、日本で発売されたRaspberry Pi 5 (メモリ4GB)が届いたので、流行りのLLMを動かしてみました。動作の様子は次のツイートに掲載しています。 ニューヨークにあるエンパイアステートビルの説明をしてくれています。 用いたOSは、2023-12-05にリリースされたRaspberry Pi OS (64-bit) with Desktopです。 Raspberry Pi Imagerを用いてSDカードにイメージを書き込み起動しました。 TinyLlamaの環境準備 まずターミナル上で以下のコマンドを実行して、Hugging FaceのサイトからTinyLlamaのモデルをダウンロードしてきます。操作は/home/pi/直下で行っています。 wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/res
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
GitHub - google/magika: Detect file content types with deep learning
Magika is a novel AI powered file type detection tool that relies on the recent advance of deep learning to provide accurate detection. Under the hood, Magika employs a custom, highly optimized Keras model that only weighs about 1MB, and enables precise file identification within milliseconds, even when running on a single CPU. In an evaluation with over 1M files and over 100 content types (coveri
GitHub - unum-cloud/usearch: Fast Open-Source Search & Clustering engine × for Vectors & 🔜 Strings × in C++, C, Python, JavaScript, Rust, Java, Objective-C, Swift, C#, GoLang, and Wolfram 🔍
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Stability AI has just announced the release of Stable Code Alpha 3B, its very first LLM generative AI product for coding. This product is designed to assist programmers with their daily work while providing a great learning tool for new developers ready to take their skills to the next level. “a colorful parrot with glasses typing away at a computer, flat icon, vector” – SDXL 0.9 Stable Code Alpha
PyTorch の社内勉強会の題材にしたいと思い立ち、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いた自己対戦型強化学習の三目並べ AI を実装したので公開します。見通しの良いシンプルな実装を目指しました。結局、それなりのコード量になってしまいましたが。 動作環境 Google Colaboratory の CPUランタイムにて動作を確認しました。 概略 おおまかな処理フローは次図の通りです。盤面情報を受け取った先攻方策と後攻方策は、○×を書き込む場所を返します。この先攻方策と後攻方策に AI を実装し自己対戦させます。 盤面情報は、空白マスをゼロ、先攻 ○ を+1、後攻 × を-1とした形状 (H,W)=(3,3) の二次元配列とします。 盤面座標は、場合により二次元座標と1次元に展開したフラット座標を使い分けます。 三目並べの
【入門者向け】Python in Excelが発表！そろそろプログラミング勉強すべき？ - Qiita
2023年8月にPython in excel が発表されました。X（旧Twitter）を見ていると「いよいよプログラミングを勉強するべき？」というポスト（ツイート）をいくつか拝見しました。流行りに乗ることはとっても良いことですが、本当に必要なのかどうかは考える必要があると思います。なので今回は簡単ではありますが、Python in Excel、VBA、マクロ、Pythonあたりをまとめたいと思います。 追記 動画バージョンを作成しました。パワーポイントにまとめていますので、聞き流したい方はこちらをご活用ください。 Python in Excel 一言で言うとアナリスト向けと言った感じです。現状はMatplotlibやseabornを使ったグラフ作成（棒グラフ、折れ線グラフ、ヒートマップなど）や、scikit-learnやstatsmodelsを活用した、機械学習の適用が可能です。コードは
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.7 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケージが次の3つのパッケージに分割さ
tl;dr In our continued efforts to expand and improve your profiling experience, we are excited to announce new additions to our language support: Ruby and Python. All the features that are described in this blog post have recently been released as part v0.26.0 of Parca Agent. While currently these language supports are in beta, they can be enabled using the --enable-ruby-unwinding and --enable-pyt
ドワンゴのN予備校という教育サービスでプログラミング講師をしている @sifue といいます。N高等学校/S高等学校のプログラミング講師もしており、学内のツール開発や運用などもしたりしています。 最近は生成AIが流行ったこともあって、Pythonだったり、UIが必要なものはどうしてもTypeScriptとReactで実装することも多いのですが、久しぶりにScalaを使っての開発をしてみました。 自身は、Scalaでの開発はニコニコ生放送のサービスを開発するときに使っていた他、N予備校内で提供している大規模Webアプリの教材やドワンゴが当初作成していたScalaテキストの作成などにも関わらせてもらいました。 その当時のScalaは2.12であったわけなのですが、その後2.13が出て、さらに今はScala3系になって3.3.1までバージョンが進み、開発環境が変わってすごく使い勝手がよくなったと
エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 - what we use（技術スタックデータベース）
エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 「エンジニアが技術的な意思決定に携わること」は、キャリアにおいて重要な意味を持ちます。特定の技術がどのような思想のもとに作られており、利点や欠点は何か。そして、その技術が自社の求めるニーズに合致しているかなど、複数の観点に基づき決断を下す必要があります。ひとたびその技術を導入すれば、長年にわたってメンテナンスし続けることも確定します。こうした経験を通じてエンジニアは多くのことを学び、成長するのです。 では、各企業で活躍する著名なエンジニアたちは、これまでどのような技術的な意思決定に携わってきたのでしょうか。今回はエムスリー株式会社のVPoEである河合俊典（ばんくし）さんに、キャリアのなかで印象に残る意思決定について聞きました。 エムスリーが目指すのは「全員CTOレベル
Code Llama の概要｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Introducing Code Llama, a state-of-the-art large language model for coding 1. はじめに「Code Llama」は、コードと自然言語の両方からコードとコードに関する自然言語を生成できる最先端のLLMです。研究および商用利用が可能で、無料で利用できます。 「Code Llama」は「Llama 2」ベースで、次の3つのモデルを提供します。 ・Code Llama : 基本的なコード生成モデル。 ・Code Llama - Python : Pythonに特化したコード生成モデル。 ・Code Llama - Instruct : 自然言語の指示を理解できるようにファインチューニングしたモデル。 ベンチマークテストではコードタスクにおいて、公的に入手可能な最先端のLL
解決！Python CSVファイル編
こんなときにはどんなコードを書くんだっけ？ というときに役立つ連載「解決！Python」から今回は、以下のcsvモジュール／NumPy／pandasという3つのモジュール／フレームワークを使ってCSVファイルを読み書きする方法をまとめてeBook化しました。 これら3つのモジュール／フレームワークを対象に、CSVファイルを読み込むときにはこんなコード、CSVファイルに書き込むときにはこんなコード、さらにあーしたい、こうしたいというときには、こんなパラメーターにこんな値を指定する、といったサンプルが満載の一冊になっています。 解決！Pythonは短い記事の中にサンプルコードをギュッとまとめたいと思っているのですが、合わせて7つの記事をまとめてみたら、なんと！ 100ページ近い分量になってしまいました。 機械学習やディープラーニングに限らず、表形式のデータを読み込んで何らかの処理を行いたいとい
大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）
本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル（LLM）の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報
「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの
ダウンロードはこちら 世の中には幾つものプログラミング言語が存在する。開発者がこれから学ぼうとするプログラミング言語を選ぶことは簡単ではない。そこで指標になるのが、近年の勢いだ。開発者の間で人気が高まっているプログラミング言語を選ぶことは、トレンドに追従したり、求人市場でより良い職を得たりする際に役立つ可能性がある。 「Python」と「Go」（「Golang」とも）は、どちらも近年人気のプログラミング言語だ。それぞれ独自の文法や仕組みを持っており、適する用途も異なる。本資料は、サンプルコードと共にPythonとGoの違いをさまざまな面から解説する。両者の違いを理解し、適切なプログラミング言語を選ぶための手掛かりを得よう。 中身を読むには、「中身を読む」ボタンを押して無料ブックレットをダウンロードしてください。 連載：「Python」と「Go」の違いを比較
Pythonデータサイエンスハンドブック 第2版
Pythonのデータサイエンス用のツールを使いこなすための実用的な情報が詰め込まれたリファレンスの待望の改訂版です。IPythonとJupyter、NumPy、pandas、Matplotlib、scikit-learnを利用し、データの操作、可視化、行列計算、時系列解析、統計分析、機械学習、データモデルの構築、複雑な科学計算まで、幅広いトピックをカバー。それぞれのトピックについて、押さえておくべき基本、tips、便利なコマンドなどを紹介します。Pythonでデータ処理を行う人にとってはいつも手元に置いておきたい「使える」一冊です。 『Python Data Science Handbook, Second Edition』への称賛 訳者まえがき はじめに Ⅰ部 Jupyter：Pythonより優れたPython 1章 IPython、Jupyter入門 1.1 IPythonシェルの起動
概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか？ この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した
形状分類について 形状分類（Shape Classification）は、さまざまな形状を識別し、分類するプロセスです。これは、コンピュータビジョン、パターン認識、機械学習などの分野で広く使用されています。形状分類の目的は、画像や物体内の特定の形状を識別し、それらを事前に定義されたカテゴリに分類することです。このプロセスは以下のステップで構成されます。 データ収集と前処理： 形状を含む画像や物体のデータセットを収集し、ノイズの除去やサイズの調整などの前処理を行います。 セグメンテーション：前処理された画像は、個々のオブジェクトを識別するためにセグメンテーションされます。 特徴抽出：各オブジェクトから形状記述子（面積、周囲長、円形度、アスペクト比、丸み、固体度など）を計算し、形状を識別するために重要な特徴を抽出します。 分類と評価： 抽出された特徴を使用して形状を分類し、例えば機械学習（ニュ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新しいPython風プログラミング言語Mojoを試してみた | DevelopersIO
Sentryを使ったScrapyのウェブクローリング監視
NEC、Pythonを用いたデータ分析を高速化するソフトウェア「FireDucks」の無償提供を開始
ベイズ最適化（実験点提案）アプリをStreamlitで構築するぜ！ - Qiita
"Python in Excel"について初見時の感想 - Qiita
【コード付き】放物形の偏微分方程式の数値解法【Python】 - LabCode
有償RPAソフトからオープンソースのPythonに切り替えた沼田市、その狙いと効果とは
scikit-learn入門＆使い方 ― 機械学習の流れを学ぼう
本番環境でやらかしちゃった人 Advent Calendar 2019〜2022 総合ランキング - Qiita
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM | WEEL
【気象データ】「〇〇年に一度の大雨」の算出 (分布関数の当てはめ編)【統計解析】 - LabCode
【Python】pydub使ったら音声データの解析がめっちゃ簡単だった
pythonでリストを生成するときにlist()と[]どっちを使うか？ - Qiita
Raspberry Pi 5上で軽量LLM、TinyLlamaを動かしてみる - Qiita
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
Announcing Stable Code Alpha — Stability AI
自己対戦で強化学習する三目並べ AI をPyTorchで実装 - Qiita
LangChain v0.1 クイックスタートガイド - Python版｜npaka
Profiling Python and Ruby using eBPF
Scala3の開発体験がScala2時代に比べてめちゃくちゃ良くなっていた話 - Qiita
Google Colab で OpenAI API の Retrieval を試す｜npaka
「Python」と「Go」を徹底比較 どちらのプログラミング言語を学ぶべき？
LightGBMをGPUで回すと結果の再現性が得られない - Qiita
【画像解析】画像データ内の粒子の形状分類・検出【ImageJ】 - LabCode