Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか?と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
この記事を読んでほしい人 Claude Code / Cursor / Copilot などの AIエージェントをチームに導入したい 人 情シスから「セキュリティ面の対応は?」と聞かれて 技術的に答えたい 人 「導入したいけどセキュリティが心配」で 手が止まっている 人 AIエージェント導入で必ず聞かれる3つの質問 AIエージェントの導入を提案すると、情シスやセキュリティ部門からだいたいこう聞かれます。 Q1: 「AIが何をしているか見えないけど大丈夫?」 Q2: 「危険な操作を勝手にされない?」 Q3: 「何かあったとき説明できる?」 どれも正当な心配です。AIエージェントはチャットボットと違って、自分の判断でファイルを書き換えたり、コマンドを実行したり、外部に送信したり します。つまり「画面に出る応答」の裏で、別の何かが動いている可能性があります。 本記事では Aigis という OS
2月13日、karpathy氏が「microgpt · GitHub」と題したGistを公開した。 このコードは、GPTの動作原理を外部ライブラリに頼らずPythonのみで記述した、最小構成の実装となっており、その読みやすさと理解のしやすさから注目を集めている。 以下に、これからこのソースコードを読み解こうとする方に向けて、GPTがどのように動き学習するのか、その大まかな流れと主要な概念を解説する。 コードリーディング・ガイド:microgptを読み解く 本プログラムは、大きく分けて「微分の自動化」「情報の変換」「予測と修正」の3つのパートで構成されている。 1. 「学習」を支える自動微分(Valueクラス) ニューラルネットワークが学習するためには、予測の誤りを数値化し、それを元に各パラメータをどの程度調整すべきかを計算する必要がある。本実装の冒頭に登場する Value クラスは、この「
Google Cloud Partner Top Engineer 2024を頂いた者です. 仕事はエンジニア系のコンサルとSRE, 趣味(と前職以前の仕事)で機械学習や生成AI*1をやっとります. この記事は当ブログの名物かつ人気シリーズである, 主に技術書を中心としたオススメ書籍(元々はPython本メイン)の紹介エントリーです. ※去年の記事はこちら. 本年のこのエントリーは, 2024年の推し本4冊 CloudおよびSREな4冊 いい感じな技術書2冊 この三本立て(+私の完全なる趣味チョイスで数冊)でご紹介できればと思います. というわけで, 本年のラインナップは以下の通りです. この記事の著者 2024年の推し技術書10冊 特に推したい4冊 クラウドストラテジー 世界一流エンジニアの思考法 仕事に役立つ新・必修科目「情報Ⅰ」 キャリアづくりの教科書 CloudおよびSREな4冊
LLVMやSwiftを作ったChris LattnerがCEOをやっている会社が、Pythonの使用感とC言語並の性能を併せ持つ言語としてMojoをアナウンスした。 まだ手元で試せる状態でリリースされてはいないが、最大35000倍Pythonより速いという。 Mojo🔥 combines the usability of Python with the performance of C, unlocking unparalleled programmability of AI hardware and extensibility of AI models. Also, it's up to 35000x faster than Python 🤯 and … deploys 🏎 pic.twitter.com/tjT09U4F80— Modular (@Modular_AI) May
この記事は 2024 TSG Advent Calendar 3日目の記事です。昨日の記事は @__dAi00 さんの記事 AivisSpeechを使ったDiscordボットの作成 ①AivisSpeechをGoogle Cloud Runにデプロイする でした。12/5 公開予定の続編も楽しみです。 今回は、初日に公開した以下の記事の副産物です。 import unicodedata # Python 3.12 まで 1000000000000.0 # Python 3.13 から 1000000.0 print(unicodedata.numeric("兆")) 大変だ。Python 3.13 から「5000 兆円」が 50 億円になってしまう(?) unicodedata.numeric メソッドと Unicode 例によって Unicode が関係してきます。前編でも触れたとおり、
GitHub、脆弱性のあるコードを実際にデバッグして学べる「Secure Code Game」シーズン2がスタート 「Secure Code Game」は、ゲームと名付けられていますが、実際のコードを月間60時間無料で提供されるGitHub Codespacesの機能を駆使して修正し、ユニットテストを通して完成させる手順となっており、実践に近い内容となっています。 昨年(2023年)3月に開始されたシーズン1は、PythonとC言語でのセキュアなコーディングを学べる内容でした。今回のシーズン2ではこれらに加えてJavaScript、Go、そしてGitHub ActionsのYamlファイルなどが含まれており、これらのコードのバグを修正することになります。 Secure Code Gameの始め方 「Secure Code Game」の始め方は次の通りです。 まず「Secure Code G
マイクロソフトは本日(日本時間9月17日)0時からオンラインイベント「Microsoft 365 Copilot: Wave 2」を開催し、Microsoft 365 Copilotの複数の新機能などを発表しました。 With Copilot in Excel, you can create advanced visualizations, generate forecasts, and save time sorting through data with Python. Take a look: https://t.co/uqE1VyQ5WU #AI #Microsoft365 pic.twitter.com/e7Eph9q4Oc — Microsoft Excel (@msexcel) September 21, 2023 Pythonコードにより高度なデータ分析などを実現 Copi
※随時更新、本記事は、親記事「 anond:20211018163759 」も合わせて読むことを推奨しております。 色々なぶくまで紹介される Python 等の資料について、一応初心者は脱している身として、私見を元に初心者に向けたおすすめ度を紹介していく。 ★~★★★★★ で個人的なおすすめ度も示している。 ゼロからのPython入門講座:★★★★URL: https://www.python.jp/train/index.html Python 情報サイトの老舗である Python Japanの初心者向けコンテンツ。若干覚える量が多いので挫折が心配になる分量ではあるが、普通の初心者を意識した内容であり、初学者にもおすすめできる範囲の内容と考える。 勿論、有償の書籍のほうが充実したものも多いだろうが、無償の中では比較的初心者向け。 paiza ラーニング:★★★★URL: https://
在宅勤務している人、多いですよね。 いつでも配達を受け取れてとても助かります。 しかし...2階で仕事をしていると、 インターホンの音が聞こえにくい! 他のことに集中していると気づかない!!!! せっかく配達に来てくれたのだから、一発で受け取りたいものです。 エンジニアらしく仕組みで解決しましょう! 忙しい人のための超要約 インターホンの室内モニタのA接点を使用します(鳴ると接点が閉じる) RaspberryPi Zero WH を用いて、A接点のオンオフによりGPIOの出力3.3VをGPIO17に印加する回路を組みます GPIO17に印加されたことをPythonスクリプトで検知します 検知したらLINE Messaging APIを使用してpush通知を送信します この説明で理解できる人は、記事全体を読む必要ないと思います。 電子工作初心者でも理解しやすいよう丁寧に書き上げたので、ぜひご
はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ
小ネタです、JavaScriptで本日の日付をYYYY-MM-DD形式で得るコードは案外面倒です。 本日2023年4月17日なら 2023-04-17 という文字列を得るコードはRubyならTime.now.strftime("%Y-%m-%d")、Pythonならdatetime.today().strftime("%Y-%m-%d")(importは省略しました)と簡単に書けますが、JavaScriptでは案外面倒なのです。 追記: いくつかの間違いのご指摘がありましたので修正しました(2023-04-19)。 DeepAIが生成した画像です いっけん正しいようで間違ったコード new Date().toISOString().slice(0,10) new Date()で本日の日時を取得します toISOString()メソッドは日時データをISO形式の文字列に変換します、例えば 2
先日、個人開発していたzenncastというWebサービスをリリースしました。 Zennでトレンドになっている記事を、毎日AIが10分のラジオにして届けてくれるというサービスです。 ありがたいことに公開後はたくさんの方に試してもらえ、技術的な質問も多数いただきました。 このZennではzenncastの技術構成や仕組みを紹介します(プロンプトつき)。 作ったもの まずはエピソードを一つ選んで1分くらい聴いてみてください! AIラジオの雰囲気が掴めると思います。 追記 zenncastのような番組を、誰でも好きな情報ソースで作れるサービスを作りました! 自分のメディアやブログをラジオに変換して、それをサイトに埋め込んだりSpotifyなどに配信できたりします👇 主な機能・特徴 毎朝10分のラジオを生成 Zennでトレンドになっている記事を要約して紹介 お便りを投稿すると、翌日のエピソードで
はじめに みなさん、こんにちは!最近、API開発の現場で「これマジですごい!」と思わず叫んでしまったツールを見つけたんですよ。それが「FastAPI-MCP」です! FastAPI使ってる人なら絶対に知るべきツールです。だって、あなたのAPIをAIモデル(GPTやClaudeなど)に簡単に操作させることができるんですから!私みたいな初心者でも数分で設定できちゃいました。 FastAPI-MCPって何がすごいの? まず、FastAPI-MCPの核となる機能を紹介します: 認証機能が標準装備:FastAPIの依存性注入(Depends())をそのまま使えるから、セキュリティ面も安心! FastAPIとの相性抜群:単なるOpenAPI変換ツールじゃなく、FastAPIのASGIインターフェースを直接使うから超効率的! 設定ほぼゼロ:FastAPIアプリを指定するだけでMCPツールが自動生成される
はじめに コードエディタ界の王様VisualStudioCode。開発の際に使っている方も多いのではないでしょうか。 本記事では、VSCode(VisualStudioCode)の定番機能を紹介していきます。 この記事を読んで、VSCodeマスターになりましょう! そもそもVSCodeって? VSCode(VisualStudioCode)はMicrosoft社が提供する無償のコードエディタです。2015年リリースですが、着々とユーザーを増やしており、2023年現在、世界で最もポピュラーなコードエディタの1つとなっています。 コードエディタって? 字や記号などのテキストで構成されているファイルを編集するソフトのことをテキストエディタと呼びます。 その中でも、ソースコードの編集を主な目的としたものがコードエディタと呼ばれます。 VSCodeが選ばれる理由 コードエディタはたくさんリリースされ
Pythonが流行っているけれど、どうも便利になってない。 自分はプログラマーではないので、スキルが足りてないだけなのかもしれないけれど・・・。 例えば動画を編集していてDaVinciと他のソフトを連携したいなと思っても、そういうのはググっても出てこない。 Photoshopのプラグインとして機械学習を使ったものを入れたいと思っても、ググっても出てこない。 Pythonからエクセルを動かすのは、試してみたが、VBAマクロの方が楽に感じる。操作を記録する機能はあるし、そこから不要部分削ったりすればよく、 Pythonでエクセル動かそうとすると読みにくいし何やってるか結局わからない。 プログラマーの人はエクセルなどを嫌うけれど、matplotlibを細かい調整しようとすると調べて描画し直してを繰り返さないとならず、 GUIでポチポチ調整する方が楽に感じてしまう。 個人でGUIを作るとして、ボタ
日本語で指示を出すだけでコードを 自動で生成してくれます。 AI Programmer エンジニアを強力にサポートします。現在プロトタイプを無料で公開しています。AI プログラマーに指示を出してソースコードを生成してみてください。できるだけ具体的に指示を出すと期待通りのコードが書けます。
Pythonのパッケージ管理や仮想環境の構築においては、長らく「多種多様なツールが存在するが、どれがベストプラクティスなのかわからない」という状況が続いてきました。しかし、近年登場したRust製のパッケージ管理ツールuvは、その有力な回答として多くのユーザーから支持され、今、急速に普及しています。 過去に登場したツールは、どのような課題を抱えていたのでしょうか。そして、uvの革新性とは。Pythonのスペシャリストであるnikkie(にっきー)さんに、パッケージ管理を巡るエコシステムの変遷を語っていただきました。 標準機能 venvとpipが抱えていた、4つの大きな課題――今回のインタビューでは、Pythonのパッケージ管理ツールの変遷について伺います。まずは、Pythonの仮想環境(venv)が「プロジェクトのディレクトリ内に存在する」という構造が、これまでどのような問題をもたらしてきた
開発した装置を手にする菊地佑太さん(左)と石井聖名さん(中央)、佐藤汰樹さん=2022年6月3日、盛岡市 歩き方で認知症になるかどうかが分かる――。そんな装置を一関工業高専(岩手県一関市)の学生3人が開発し、企業評価額を競う全国大会で最優秀賞を受賞した。つけられた評価額は過去最高の10億円で、3人は「早く起業したい」と意気込んでいる。 【写真】インソール型の足圧センサーを着けた靴。歩行時の加速度などから認知症の兆候をつかむ 大会は、人工知能(AI)が自ら学習する「ディープラーニング(深層学習)」の技術を利用して開発した装置を、技術力やビジネスモデルの面で評価し、つけられた額で競う。 4月末に東京で開かれ、約50チームが参加。一関工業高専からは、システム創造工学専攻1年で、生態工学を学ぶ石井聖名さん(21)、深層学習について研究する菊地佑太さん(21)と佐藤汰樹さん(20)がチームを組んだ。
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
はじめに こんにちは。クラウドエースの荒木です。 ChatGPT や Claude などの生成 AI が日常生活やビジネスに浸透してきましたが、これらの AI の真価は外部システムと連携したときに発揮されます。しかし、この連携には大きな課題がありました。 これまで AI と外部システムを連携させるには、システムごとに個別の API 統合が必要で、認証方法やデータ形式、エラー処理など、細かな実装を繰り返す必要がありました。このような個別対応は開発効率を下げ、拡張性や保守性の面でも問題がありました。 そこで登場したのが「Model Context Protocol(MCP)」です。2024 年 11 月に Anthropic が発表したこのオープンプロトコルは、AI と外部システムの接続を標準化し、開発者の負担を大幅に軽減します。 この記事では、MCP の基本概念から実装方法、活用事例まで、技
Tiobe indexを眺めながら、C#とVBが入っていてMicrosoftは強いなーと思ったのだけど、よくみると他の言語もMicrosoftの影響力すごいのではとなったので調べてみた。 https://www.tiobe.com/tiobe-index/ Python 例えば1位のPythonにMicrosoftはかなり力をいれている。象徴的なのが、Pythonのオリジナル開発者の入社 C/C++ Windows上でのC/C++コンパイラではMS C/C++が圧倒的シェアであるし、C++の標準化団体にMicrosoftはGold Memberとして参加している。 https://isocpp.org/about Java 4位のJavaに関してもかなりリソースは割いているわけですが、全体の影響度としてそこまで大きくはないですね。 昨日のブログにも書いたようにOpenJDKビルドを出してい
プロンプトを入力するだけで適切なモデルを出力してくれるBlenderのアドオン「BlenderGPT」が登場しました。OpenAIのGPT-4を使用しており、プロンプトを受けてPythonコードを生成します。 GitHub - gd3kr/BlenderGPT: Use commands in English to control Blender with OpenAI's GPT-4 https://github.com/gd3kr/BlenderGPT 導入方法は以下の動画でも確認できます。 3DCG製作ソフト「Blender」にGPT-4を統合する「BlenderGPT」の導入方法を解説 - YouTube まずはGitHubのリポジトリにアクセスします。続いて「Code」をクリックし、「Download ZIP」をクリックしてZIPファイルをダウンロード。 次にOpenAIのAPI
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか? 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
はじめに 今回紹介するのは、Claude Opus 4.5 と M365 Copilot を組み合わせて、自社スタイルのPowerPointを自動生成する方法です。 上記PVはGemini3 Proで製作 きっかけ:まつにぃさんのNote記事 この方法を思いついたきっかけは、まつにぃさんが投稿された以下のNote記事です。 python-pptx ライブラリだけを使ってPowerPointを生成するPythonスクリプトが紹介されています。特に興味を引いたのがこの部分: このPythonスクリプトの強みは、ChatGPTやClaudeにスライド内容の編集から作成までをお願いできることにあります。Code Interpreter や Artifacts 環境でそのまま動くので、会話しながらスライドを仕上げていけます。 これを読んで思ったんです。 「このPythonコードを自社デザイン風に改修
UUIDはなぜ重複しないのか? Webアプリケーションなどのシステム開発では、データに一意の識別子を付与する必要があります。たとえば データベースの主キー は、ジムでいうところの「会員カード番号」。誰かと同じ番号だとパーソナルトレーナーの予約を取り違えるような事故が起きます。 他にも「ロッカーの鍵」「筋トレ記録ノートのページ番号」「プロテインシェイカーの名前シール」など、「絶対にダブってはいけない」ものがあることは、筋肉系エンジニアの皆さんも想像に難くないことでしょう。 そんな時に役立つのが UUID(Universally Unique Identifier)です。これは、ほぼ重複しないIDを生成できる仕組みです。本記事ではUUIDの仕組みを解説し、Pythonでの実装を通じて「なぜUUIDはほとんど重複しないのか?」を見ていきます。 UUIDとは? UUIDは、IETF(Interne
月間1億3,000万ダウンロードを超えるPythonライブラリが、AIで丸ごと書き換えられた。ライセンスごと。オープンソースの根幹を揺るがす問いが、いま目の前にある。 5日間で書き換えられた12年Pythonの文字エンコーディング検出ライブラリchardetに、激震が走っている。 メンテナーのダン・ブランチャードが3月4日(現地時間)、バージョン7.0をリリースした。これだけなら日常的なアップデートだ。だが中身は、日常とはほど遠かった。AnthropicのClaude Codeを使い、コードベースを一から書き直したうえで、ライセンスをLGPL(準コピーレフト)からMIT(寛容型)に変更したのだ。 chardetはPythonエコシステムの「インフラ」と呼べる存在だ。requestsをはじめとする無数のプロジェクトが依存し、PyPIでの月間ダウンロード数は約1億3,800万回に達する。その根
この記事は間違いが含まれている可能性があります。 もともと自社のドキュメントでは Meilisearch で日本語全文検索を実現していましたが、ドキュメントに質問できるようしたいと思い、簡単な RAG を作りたい!と思っていました。 とりあえず、ドキュメントを分割し、ベクトル化してベクトルデータベースに突っ込んで、質問をベクトル化して結果を引っ張り、それを LLM に食べさせて解説させる、というのができればよいということがわかりました。 ベクトル化はよく使われている OpenAI Embeddings API を利用し、ベクトルデータベースは普段からよく使っている DuckDB に VSS (Vector Similarity Search for DuckDB) という拡張を使うことにしました。 自社のドキュメントをなんとかうまいこと分割して、あとは分割したドキュメントを API を叩い
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察(2.1) - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く