AIプログラミング雑キャッチアップチーム内共有用に作ったやつです。Scrapboxの
Cursor活用で開発生産性を最大化するTips
このドキュメントを書こうと思った理由 弊社はAIに関する新規事業開発を行っており、作る側もAIを使わない作業を極力なくそうと思っているのですが、AIの進化がやばすぎて人間側が振り回されている現状が何件もあったのでこのドキュメントを書くに至りました。 もし周りの方で困っている方いれば随時更新予定ですのでシェアしてあげてください。 ＊関係ない仕事の相談などもお待ちしております。 Cursorとは？ Cursorは、AIを活用した次世代のコードエディタで、VS Codeをベースに構築されており、AIによるコード補完・デバッグ・リファクタリング支援などの機能を備えた開発ツールです。 Cursorの最大のメリットは、プロジェクトフォルダ内のファイルやログを自動でインデックス化し、AIが適切に参照してくれることです。 これにより、開いていないファイルでもAIが内容を把握し、より適切なコード補完や修正を
DeepSeek-R1の論文読んだ？【勉強になるよ】
本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対
LLMがオワコン化した2024年
当ニュースレターは2023年を「SaaSがオワコン化した年」と位置づけたが、2024年は早くもAIが終わった一年であった。少なくとも大規模言語モデル（LLM）そのものの発展を、物珍しそうに追いかける時期は過ぎた。生成AIが今後どこまで賢くなるかはもちろん未知数である。しかし、既に業務で十分に役立つレベルにある現行モデルのコストが今後も下がっていくことは確実だ。 The cost of GPT-4 APIs at launch in Mar 2023 was roughly ~$30 per 1m tokens. Seeing Deepseek V-3 APIs at ~$1 per 1m tokens today. For AI application companies, cost of "intelligence" is falling significantly faster tha
否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「
LLMを悩ませる"Excel文書"をうまく扱う方法
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる
AIエージェントビジネスの現状と今後の考察 - 襖からキリン
こんにちは！年末記事の第二弾、AIエージェントに関するビジネス記事になります。 現状のエージェントはどうなっているのか、今後エージェントを始める方が参考になるように説明します。 第一弾の記事は既に公開されています。 Weekly AI Agent News!から見えたAIエージェントの現在地 - 襖からキリン 私が公開しているWeekly AI Agent News!や論文のリポジトリはこちらです。 speakerdeck.com github.com AIエージェントに取り組む人材とは？ 企業のAIエージェントの状況 現状の主力エージェント製品を解説 エージェントビルダー リサーチ、問い合わせ対応 データに基づく意思決定支援 様々なソースから資料作成 Agentic Process Automation これからのエージェントを考える 生成AIエージェントと業務ソフトウェアの結びつきが強
わんぱくな JSON ストリームパーサーを見る日 - ぽ靴な缶
この記事は はてなエンジニアアドベントカレンダー 2024 5 日目の記事です。 昨日は id:susisu さんの Data types à la carte in TypeScript でした。 本人が「アクセス増えたと思ったら別の記事で、全然読まれてない...」と言っていたので「いきなりフランス語で難しそうやからね」と伝えました。本文は日本語なので、みなさんも読んで下さい。 今日は最近見て面白かったコードの紹介です。 ChatGPT が流行って以来、アプリでストリームのレスポンスをよく見るようになりました。 LLM によるテキスト生成はわりと時間がかかる処理で、もしすべて生成し終えてからレスポンスするとユーザーを待たせてしまうからでしょう。テキストがちょっとずつ表示される UI は昔からあるものですが、LLM を使ったアプリケーションが出てきて以来、演出としてではなく実用としてよく見
累計2500万着電を支える大規模 電話自動応答サービスのアーキテクチャ / Architecture of a Large-Scale Automated Phone Response Service Supporting 25 Million Cumulative Calls
累計2500万着電を支える大規模 電話自動応答サービスのアーキテクチャ / Architecture of a Large-Scale Automated Phone Response Service Supporting 25 Million Cumulative Calls
自然言語処理を役立てるのはなぜ難しいのか
PFNの海野裕也が2024/10/15に東大大学院「自然言語処理応用」にゲスト講師として登壇した際の講義資料です。
AIはオンライン大量破壊兵器である | p2ptk[.]org
Pluralistic 面白い事実がある。「コモンズの悲劇」は、白人至上主義者のガレット・ハーディンが植民地支配された人々から土地を奪い、共同所有から「救い出して」私有財産にすることを正当化するために作り出したデマだった。彼の論理では、「合理的な自己利益」に基づいて適切に管理してくれる個人所有者の手に移せば、コモンズは救われるという。 https://pluralistic.net/2023/05/04/analytical-democratic-theory/#epistocratic-delusions ご理解いただけただろうか？ もし重要な資源の管理権限がそれに依存する人々に分散されていたら、（ハーディンが言うには）誰もが利己的なアホとして振る舞い、コモンズを酷使し管理を怠るというのだ。（ハーディン曰く）そのコモンズを誰かが所有して地代（rent）を取るようになって初めて、健全な管理
![AIはオンライン大量破壊兵器である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b03329cb84246c000928a2104d6e9aab9d4cd2a/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fshitting-in-the-well.jpg)
自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜
Cloud Operator Days 2024 クロージングイベントでの発表資料です。 PFN では PLaMo という生成AI基盤モデルを開発しており、100B規模のモデルを運用する際の課題について話しました。
LLMに日本語テキストを学習させる意義
こちらのスライドは「第261回自然言語処理研究発表会」の発表で用いたものです。 Reference:
Llama-3-Swallow: 日本語に強い継続事前学習モデル
はじめに 東京工業大学の藤井です。 本日(2024/07/01) Meta-Llama-3-8BとMeta-Llama-3-70Bから日本語を中心としたコーパスで継続事前学習を行ったLlama-3-Swallow-8B-v0.1、Llama-3-Swallow-70B-v0.1とそのinstructモデルであるLlama-3-Swallow-8B-instruct-v0.1、Llama-3-Swallow-70B-instruct-v0.1をリリースさせていただきました。 このモデルはMeta社のライセンスを踏襲しており、商用利用が可能です。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。 公式プロジェクトページはこちらです。 Swallow Projectでは、Llama-2、Mistral、Mixtralなど様々なモデルから継続事前学
雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 2024/08/22修正： はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示（Pretty Print）と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わ
話題のGraphRAGとは - 内部構造の解析と実用性の考察
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
設計工程に生成AI適用を目指す富士通、ツールが設計書の抜け漏れと改善案を提示
生成AI（人工知能）を開発プロセスに適用する動きが活発になっている。先行するのはコーディング支援。それに続いてプロジェクト管理やコミュニケーションに利用するツールも生成AIを取り入れて進化している。大手ベンダーは詳細設計や品質管理に活用する社内ツールを開発し始めた。本特集では生成AIで進化するツール群の最新動向に迫る。 第1回から第3回までは国内大手ベンダーが社内で試験的に始めている取り組みを紹介する。まずは富士通が開発した「設計書レビュー支援」ツールを見ていこう。 設計書レビューを生成AIで支援 富士通が開発した設計書レビュー支援ツールは、生成AIが設計書の曖昧なポイントを抽出し、その判定の根拠や訂正案を表示できる。これまでシステムエンジニアが目検で確認していた、基本設計書と詳細設計書など設計書間の整合性も確かめられるという。 ツールを開発した主な狙いは、設計書レビューにかかる作業負荷軽
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの効率化を支えるアルゴリズム
国内の生成AI開発を牽引する企業が集う「GENIAC」成果報告会まとめ
