Claude Code×Obsidianで作るナレッジベース開発環境 - YOUTRUST Tech Blog
この記事で得られること ✅ 30分の会議を5分で議事録化する自動化フロー ✅ 開発量を2.5倍に増やした具体的な環境構築方法 ✅ 情報検索を30秒以内に短縮するナレッジ管理術 ✅ PRレビューを10点満点で自動評価する設定 ✅ すぐに使えるCLAUDE.md設定テンプレートとスクリプト TL;DR Claude CodeとObsidianを組み合わせることで、議事録作成時間を66%削減、開発コントリビューションを2.5倍に増加させました。Tactiq→Google Drive→Obsidianの自動化フローと、AIに最適化されたナレッジベース構築により、マネジメント業務をこなしながらも効率的な開発を実現。本記事では実際の設定ファイルとワークフローを公開します。 こんにちは、YOUTRUSTでエンジニアリングマネージャーをしている須藤（YOUTRUST/X）です。AI爆速普及委員会の委員長と
巨人の肩に乗る
本記事は 仮想通貨 Advent Calendar 2025 の24日目の記事です。 はじめに はじめまして、ymdと申します。普段は、株や暗号資産の分析をし、マーケットが盛り上がったときに落ちているお金を拾っています。 今年のAdvent Calendarを眺めていると、DEXの分析やLLMを活用した自動トレード戦略作成など、非常に有益な記事が目白押しです。 これらを見て思い出したのが、ニュートンの「巨人の肩に乗る」という言葉。本記事では、この精神に倣い、AIの力と先人の知見という2つの「肩」を借りながら、お金拾いの方法を探っていきます。 AIの肩に乗る AI駆動開発の3つのアプローチ AIを活用した開発には、大きく3つの方向性があります： 情報収集の自動化：論文や API ドキュメントの要約 戦略生成の自動化：複数のアプローチを並行生成 コーディングの自動化：コードそのものを AI に
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
宣伝こちらの記事は合成生物学大会iGEMの強豪校であるiGEM-Wasedaさん協力のもと執筆されました。ご協力誠にありがとうございます！ 【iGEM-Waseda】は合成生物学の研究を行う早稲田大学の学術サークルです。iGEMと呼ばれる合成生物学の世界大会の世界大会に出場するために日々研究に励んでいらっしゃいます。 本記事では、iGEM2024で日本Undergrad部門で史上初のTOP10に選ばれたプロジェクトの一環として、特にIn Silicoシミュレーションに関わる部分のツールの一部を紹介しています。プロジェクトの詳細については、iGEM-Wasedaの成果報告サイトをご覧いただければ幸いです。 MACEとはMACEは、機械学習ポテンシャル（Machine Learning Potential）の一種として開発されたツールで、材料内の原子間相互作用を高精度かつ高速に予測できるのが特
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
pickleモジュールを使用して、Pythonのオブジェクトを直列化／復元（pickle化／非pickle化、シリアライズ／デシリアライズ）する方法と、その際の注意点を紹介する。 import pickle favs = ['beer', 'sake'] mydata = {'name': 'かわさき', 'age': 999, 'weight': 123.4, 'favs': favs} # pickle化してファイルに書き込み with open('pickled.pkl', 'wb') as f: pickle.dump(mydata, f) # 非pickle化 with open('pickled.pkl', 'rb') as f: mydata2 = pickle.load(f) favs2 = mydata['favs'] print(mydata2) # 出力結果 # {'
Python + Selenium (Chromedriver)を使って、Webを巡回する仕組みを作ったりしています。 Webサイトにログイン、情報を読み取って保存、属性も併せて保存など、ひととおり自動化できて便利です。 しかしSeleniumは起動したその都度初期化され、状態は保存されません。 次の起動時にはログイン状態も初期化され、何度も繰り返しログインすることになるのです。 サイト側に不審なアクセスと判断されないかとか、心配になったりするわけです。 今回、TweetDeckで流れていくタイムラインの情報を保存、クラスタリングして遊べないかなと試行錯誤していたのですが、TweetDeckってログインするたびに「新しい環境からのログインがありました」とスマホに通知がくるので、心配になりました。その流れで、pickleを使うと簡単にcookieを保存しておくことができ、またそれをリストアす
申し訳ありません間違えてckpt設置前に実行してしまいました 正しくは以下エラーです Global seed set to 23 Running on GPUs 0, Loading model from ./checkpoint/sd-v1-4-full-ema.ckpt Traceback (most recent call last): File "main.py", line 614, in <module> model = load_model_from_config(config, opt.actual_resume) File "main.py", line 26, in load_model_from_config pl_sd = torch.load(ckpt, map_location="cpu") File "/usr/local/lib/python3.7/dist
Version 1.0
Version 1.0# For a short description of the main highlights of the release, please refer to Release Highlights for scikit-learn 1.0. Legend for changelogs Major Feature something big that you couldn’t do before. Feature something that you couldn’t do before. Efficiency an existing feature now may not require as much computation or memory. Enhancement a miscellaneous minor improvement. Fix somethin
【Network pharmacology】化合物からの標的タンパク質予測【in silico 創薬】 - LabCode
Network pharmacologyとは？Network pharmacology（ネットワーク薬理学）は、漢方薬や機能性食品に含まれる複数の成分が、体内のさまざまな標的（タンパク質、遺伝子など）に同時に作用し、複雑な生理的効果をもたらす仕組みを「ネットワーク」として解析する手法です。 従来の薬理学が「1成分＝1標的」の考え方に基づいていたのに対し、ネットワーク薬理学は「多成分＝多標的＝多経路」の全体像をとらえます。たとえば、漢方薬「黄芩」に含まれるバイカリンなどの成分が、乳がんに関与する複数の遺伝子やシグナル経路に作用している可能性を、各種データベースを用いて可視化できます。 これにより、伝統的処方の有効性を科学的に裏付けたり、新たな疾病への応用可能性を探索したりすることができます。 Network pharmacologyの流れ成分取得：PubChemなど各種データベースを使って、
Spotify で再生中の曲を定期的に YouTube Live のチャットに書き込む Now Playing Bot を作ってみた | DevelopersIO
はじめに テントの中から失礼します、CX 事業本部のてんとタカハシです！ YouTube Live で配信を行うことが私の日常なのですが、そんなに視聴してくれる方が多いわけでもないので、チャット欄が結構寂しいです。 そこで、Spotify で再生中の曲を定期的に書き込んでくれる Now Playing Bot を作ってチャット欄を賑わせてみました。 ソースコードは下記リポジトリに置いています。 GitHub - iam326/now-playing-bot-on-youtube-live デモ チャット欄がこんな感じになります。 前提条件 この Bot を動かすための前提条件は下記の通りです。 YouTube Live を配信可能なアカウントを所持していること YouTube Data API を使用するために必要な認証情報が作成済みであること Spotify Web API を使用するた
0. はじめに こんにちは、株式会社D2Cデータサイエンティストの董です。 D2Cでは、広告配信を効率よく効果よく行うために様々な機械学習モデルを活用しています。 今回の記事では、大規模テキストコーパスを用いた言語モデルの学習にあたり、学習データにある準重複文書の除外テクニックについてご紹介します。 1. 開発環境 AWS EC2 (インスタンスタイプ: r5.8xlarge) Python 3.10系 2. Pythonパッケージ transformers scikit-learn 3. 広告文の準重複問題 テキスト広告では、キャッチコピーや宣伝文を少しだけ修正して複数回配信し、その効果を測定することがよくあります。また、シリーズ商品の説明文を同じテンプレートに従って大量に作成することも一般的です。 それゆえに、広告文を収集してテキストコーパスを作ると、準重複サンプル、つまり完全には重複
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
MACEによる機械学習を用いた分子動力学計算【MD simulation】 - LabCode
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
［解決！Python］バイナリファイルを読み書きするには：pickle編
Python + Seleniumで何度もログインするのを避けたい - 日記とか、工作記録とか
Stable Diffusionファインチューニング用のColab
Locality Sensitive Hashingを用いた大規模コーパスの準重複文書排除
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場