コンピュータシステムを利用した情報サービスの知識はあらゆる分野で求められている。 本講義では、情報サービスの提供に必要な知識・スキルに加えてそれらの獲得方法を学ぶ。 具体的には、Web サービスの提供を想定し、その実現に必要な知識・技術を解説する。 併せて、具体的なサービス構築を通じ知識・技術の活用に加え、それらの獲得方法を実践的に体得する。 課題発表の時間に学生が設計・構築したサービスのデモをおこない、学生同士で評価する。

厳密かどうかはさておき、機械学習は「データに潜むパターンや構造を見つけるための技術」というようなデータ分析の技術だと認識しています。 「機械学習を使ったシストレは勝てるのか」といった議論をSNSで見かけることもありますが、データ分析の技術なので、それは開発者が「この技術を活かせているかどうか」にかかっているわけです。 この記事では、機械学習の大雑把な仕組みと、これがどのようにシステムトレードに役立つのかをまとめてみようと思います。 機械学習の仕組みこのデータにはどんなパターンがありますか？ 人間がこのデータからパターンを見つけるとしたら、以下のような感じになるのではないかなと思います。 xが20以下のとき、yは10付近になる xが20以上のとき、yは13付近になる こんな感じで、目視でもデータのパターンを見つけることができるかと思います。 機械学習は、このようなデータに何らかのパターンがあ

はじめまして あいかわ(@xHibiking)です。 最近仕事が忙しくて、Botterとしての活動ができていないなぁと思っていたのですが、そんなことを言っていたら仕事をやめない限り何も始まらない事に数年経ってようやく気づいたので今月から記事を書きながら活動を始めたいと思っています。 研究方針 とはいえ、時間がないのもまた事実なので、取捨選択は必要だと思っています。キーワードとしてAIエージェントとAI駆動開発に興味があるので、この二つに関する知識技術を深めて、どのようにBotに活用できるかを調査研究しようと思っています。 AIエージェント なんとなくAIが自律的に何かをしてくれることをここでは大雑把にAIエージェントということにします。仮想通貨を含めたファイナンス系でAIエージェントというと第一候補に挙がるのは、取引戦略を構築する系のエージェントなのではないかと思います。ただ、私はどちらか

はじめに 昨今、AI の進化により、様々な分野での応用が進んでいます。特に、自然言語処理(NLP)の分野では、RAG( Retrieval-Augmented Generation)が注目されています。RAG は、情報検索と生成を組み合わせた手法であり、特に大規模言語モデル(LLM)と組み合わせることで、その性能を大幅に向上させることができます。 また、NativeRAG や GraphRAG, AgentRAG などさまざまな RAG のバリエーションが登場しており、これらは特定のユースケースやデータセットに対して最適化されています。 今回は、RAG の基本的な概念から、RAG のプロジェクトの進め方、精度向上の方法に至るまで詳しく解説します。 みなさんの GenAI Application の開発に役立てていただければ幸いです。 本記事は 5 万文字を超える大作となっております。 お時

5ヶ月間の運用結果(+704,415円)早速ですが，次の損益グラフがJQuantsAPIを用いて約５ヶ月運用してみた損益です。 5ヶ月間の運用結果(+704,415円)Xで流れてくる超人たちの爆益には到底及びませんが，凡人なので良いことにします。 データ取得→分析→戦略策定→実運用　の全てのプロセスにJQuants APIを使っています。マケデコ含めて出会えて良かった！！ 以下，各月の結果について振り返っていきます。 2024年6月の運用結果 (+94,070円)2024年6月の運用結果 (+94,070円)運用し始めて２週間で早速マイナス5万になってます。 初期に負け続け，懐疑的になったはずですが，よく運用をやめなかったなと思います。 バックテスト時に統計量（勝率，日々の平均収益，標準偏差，シャープレシオ等）を出しておき，それと比較して許容範囲だと判断できたのが良かったのだと思います。

こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS

ChatGPT-4oですが、日本語の精度も向上し、かつ画像認識、OCRの制度も向上したとのことで、名刺を読み取ってデータ化したいと思います。 GPT-4-Turboでも画像認識はできましたが、GPT-4oになり実感としてはかなり精度が上がっています。ただ文字を読み取るだけではなく、ほぼ正しく会社名や部署名、役職などを読み取って構造化してくれます。 APIでChatGPT-4oに名刺画像を渡して、画像を認識してもらいます。画像をAPIで渡すには、Base64でエンコードして渡すか、画像のURLを渡すかのどちらかですが、今回はローカルにある画像を利用するので、Base64でエンコードします。 JSONで書き出すため、systemのcontentsには「The response should be output in JSON format.」と記載してあります。またリクエストには「respon

2024年6月21日、Anthropic社が突如として最新の大規模言語モデル「Claude 3.5 Sonnet」を発表した。 「Claude 3.5 Sonnet」は、主要なベンチマークで、前世代の最上位モデルである「Claude 3 Opus」、OpenAIの最上位モデルである「GPT-4o」、Googleの最上位モデルである「Gemini 1.5 Pro」を軽々超える性能を示し、一気に世界最強の大規模言語モデルの座を奪い取ってしまった。 実際、筆者もここ数日使ってみているが、プロンプトによっては本当にGPT-4oよりも良い回答が得られ、それでいて速度がClaude 3 Opusより大幅に向上しており、進化を目の当たりにしている。 この記事では、最新のClaude 3.5 Sonnetにアクセスする方法や、無料のAPIクレジットを利用してSonnetの利用制限を突破する方法、GPT-4

画像認識が大幅に向上したと言われるChatGPT-4oを超えたと言われるClaude 3.5 Sonnet で名刺を読み取ってデータ化したいと思います。 内容は、「画像認識が向上した ChatGPT-4o で名刺を読み取る」と同じ内容を読み取っています。 GPT-4oでもかなり正確に名刺情報を読み込んでほぼ正しく会社名や部署名、役職などを読み取って構造化してくれましたが、同様にClaude 3.5 Sonnet でも同じようにできるか比較検証してみます。 APIでClaude3.5に名刺画像を渡して、画像を認識してもらいまます。画像をAPIで渡すには、ChatGPT-4oと同じくBase64でエンコードして渡します。 ChatGPT-4oと比較するために、APIで投げるプロンプトは前回と同じものにしました。 JSONで書き出すため、systemには「The response should

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKag

#プログラム実行前に次の1～2が必要です #1. マーケットスピードIIのログイン #2. エクセルを起動　空白のブックを開く。RSS接続する。 #3. このプログラムを実行する #4. プログラムが終了するまで待つ #5. 終了したら、保存されたリストを確認する #ライブラリのインポート import win32com.client #RSSへ接続するためのエクセル用 from openpyxl import Workbook #エクセル保存用 import time #時間調整用 import pywintypes #銘柄収集リスト rss_list=['銘柄名称','現在日付','現在値','時価総額','単位株数','配当','PER','PBR'] #RSSの関数(例) cal_list=['購入可能額','配当利回り'] #RSS関数から出た数値を使って計算する add_lis

1.初めに 時系列分析入門編：ARIMAモデルを使った株価の予測です。 ARIMAモデルは、その柔軟性と精度の高さから、時系列分析における最も基本的かつ重要なツールの一つとして広く用いられています。 時系列分析入門として最適なツールですので、是非お付き合い下さい。 補足）今回からコード全文は少額ながら有料プランにさせていただきました。今回も今後も価格に見合った内容を目指します（現時点のゴール：多変数のデータを元にLSTMモデルで米国株を予測を実現）。 参考にしたい！応援してあげてもいいぞ！って方はご購読いただき、まずはコード全文をコピペ→各コードをいじってPython の勉強にお役立て下さい。 今回の最終アウトプット： APPLE株の過去１年長のデータ（青線）から５日後（赤線）を予測したグラフ 2.少しだけお勉強（１）ARIMAモデルとは？ARIMAは「自己回帰積分移動平均（Autoreg

はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立

統計学がわかる ファーストブック 作者:向後 千春,冨永 敦子 発売日: 2020/05/01 メディア: Kindle版 ↑勉強中のテキスト。第3章「ライバル店と売り上げを比較 - カイ2乗検定」 検定で調査する内容： モグモグバーガーに比べて、ワクワクバーガーのチキンの売り上げは少ないのか？ 表：ワクワクバーガーとモグモグバーガー　ポテトとチキンの売り上げ個数 帰無仮説として売り上げの割合に差はないという仮説を立てる。 両方の店でポテトとチキンがまったく同じ割合で売れるとした場合の個数を計算する。 同じ割合で売れるとしたときの売り上げ個数（＝期待度数） 実際の売り上げ個数（＝観測度数） これら期待度数と観測度数を見比べて、売り上げの割合に差があるかどうかを検定していく。 カイ2乗値を計算する カイ2乗値は以下の式で計算する。 カイ2乗値＝　　　の総和 オレンジ色の文字でセルに入力した計

マケデコという主に株式関連のマーケットAPIを活用し、分析や予測モデルを構築しているbotterのDiscordコミュニティをJPX総研様と運営しています。本記事は2024/4/25に開催された「テンバガーはデータ分析で見つかるのか？」イベントのまとめ記事です。 概要 「機関投資家だけが知っている「予想」のいらない株式投資」の著者であり、元フィデリティ投信のファンドマネージャーである泉田良輔氏にお越しいただき、前半は著書の内容をベースに「テンバガーはデータ分析で見つかるのか？」というテーマについて講演いただきました。 その後、こちらの内容を受けてUKIさんと駄犬さんをおまねきして、パネルディスカッションを開催いたしました。 当日の動画はYouTubeで公開中です。 https://www.youtube.com/watch?v=eUZ70vl9Jvk 泉田良輔氏による「テンバガーはデータ分

この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n