株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、「Speculative RAG」という手法について、ざっくり理解します。 この記事は何 この記事は、複数の言語モデルを利用してRAGの回答精度を上げる手法である「Speculative RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Speculative RAG は、複数の言語モデルで回答生成&最良の回答を選別する手法です。Google DeepMindの研究者らによって2024年7月に提案されました。Speculative RAGを使うメリットは、小さいモデルでも回答精度を高く保てること、それにより、回答
春だから「アルカナハート」の“全アルカナなんとなく解説”をどばばばーんとやっちゃうよ！！！ 編集部：楽器 春だから，聖女たちがとにかくすっごい愛の鉄拳でぶん殴り合う2D対戦格闘ゲーム「アルカナハート」シリーズに登場する“全アルカナなんとなく解説”をどばばばーんとやっちゃうよ！ えっ？ なんでって？ そこに愛がある限り！ 愛は絶対勝つんだよ！ ぜぇーったい！ STAND BY ANGEL ――――小さな愛と、少しの勇気の物語。 すてきなキャッチコピーを胸に，2006年にアーケードで稼働を開始した「アルカナハート」は，美少女オンリーの2D格ゲーです。 対戦中は，純心な女の子たちが聖霊（アルカナ）を相棒に，手や足や刀や銃や人形や魔王やロボやスク水でぶったたき合います。 大きな特徴は「キャラクター×アルカナの組み合わせ」が生むバランス感。格ゲー界に唯一無二を打ち立てた「ホーミングアクション」。ガー
PCテクノロジートレンド 2024 - プロセス編
2024年の幕開けに、パーソナルコンピュータのハードウェア技術の動向を占う毎年恒例の特集記事「PCテクノロジートレンド」をお届けする。まずは例年通り、業界のあらゆる活動に大きな影響を及ぼす半導体プロセスの動向から紹介したい。 ◆関連記事リンク (本稿) PCテクノロジートレンド 2024 - プロセス編 (2024年1月2日掲載) PCテクノロジートレンド 2024 - CPU編 (2024年1月3日掲載) PCテクノロジートレンド 2024 - GPU編 (2024年1月4日掲載) PCテクノロジートレンド 2024 - Memory編 (2024年1月5日掲載) PCテクノロジートレンド 2024 - Storage編 (2024年1月6日掲載) PCテクノロジートレンド 2024 - Chipset&NPU編 ＊＊＊ 皆様、あけましておめでとうございます。本年もよろしくお願いします。
◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減できることを示しました。 ◆これにより、NTTが研究開発を進める大規模言語モデル（LLM）「tsuzumi（*1）」をはじめとした多様な基盤モデル（*2）の運用コスト削減・消費電力の削減や、多数のAIで議論することで多様な解の創出をめざしたAIコンステレーション（*3）の構想具現化など、次世代のAI技術開発に貢献します。 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、深層学習において過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術
この記事は、<strong><a href="https://techfeed.io/events/techfeed-experts-night-31">TechFeed Experts Night#31 〜 フロントエンドアーキテクチャの現状と未来</a></strong>の開催に際し、TechFeedのデータを元に日本語記事ランキングを紹介していくものです。 本記事は、TechFeed Experts Night#31 〜 フロントエンドアーキテクチャの現状と未来のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 こんにちは、TechFeed CEOの白石です。 この記事は、TechFeed Experts Night#31 〜 フロントエンドアーキテクチャ
2022年夏ごろからニコニコ動画で繰り広げられている「ルール無用JCJCタイムアタック」に続き、「ルール無用プラレールタイムアタック」が提唱されています。 ルール無用プラレールタイムアタックの基本ルールを作ってみましたｗhttps://t.co/PayROhd99e 【ルール無用プラレールタイムアタックとは？】 プラレールの楕円コースを制限を設けず自由に製作した車両でタイムを競います。 高速走行でもカーブで脱線しない車両にロマンを求めるレースです。 pic.twitter.com/FJpQAIwa8n— まさと研究所⚡️ (@rsna6ce1) January 28, 2024 「ルール無用JCJCタイムアタック」とは、ジャパンカップジュニアサーキット(JCJC)を用いて行われているミニ四駆のタイムアタック競技のこと。競技といっても公式なものではなく、有志による遊びです。 ルール無用JCJ
ますます高度化するWebアプリケーションのフロントエンド開発を支える「React」の可能性──「Web TECH FORUM 2023 Autumn」開催！
業務システム構築のアプローチとしてWeb技術を選択することが、もはや基本中の基本であるといえる状況だ。その背景には、ReactやVue.js、Angularといったいわゆる“3大フレームワーク”の登場により加速してきたJavaScriptの進歩があることは明白である。中でも、開発現場での圧倒的な利用率を誇り、Webフロントエンド開発の主流となりつつあるのがReactだ。2023年10月4日にグレープシティ（現メシウス）がオンライン上で開催した「Web TECH FORUM 2023 Autumn」では、2つのセッションを通して、業務システムのフロントエンド開発にReactがもたらすメリットや最新の技術動向、成熟したエコシステムにおいて提供される周辺フレームワークの選定ポイントなどについての解説が行われた。 ※本記事は、2023年11月1日に社名をメシウス株式会社へ変更したグレープシティ株式
この投稿は https://ill-identified.hatenablog.com/entry/2024/04/21/230009 に投稿したものと同一の内容です. どのサービスが一番文書を書きやすいかを調べるために, いくつかのサービスで同一の内容を投稿しています. この記事の要約 先日報道された「500年後に日本人が佐藤だけになる」という試算の内容に違和感を覚えた. 資料を確認してみると, 大きな問題のある方法で試算がなされていることがわかった. 苗字の絶滅問題について, より実現可能性の高いシナリオをシミュレーションし, そのプログラムと結果を公開した 報道された試算とは大きく異なる結果を得られた より精緻な分析を行いたいが, 技術的・計算リソース的なハードルに阻まれている なんか良いアイディアあったら教えてください はじめに 注: 本稿のシミュレーションはまだ完了していません.
生成AI と Wikipedia記事 で 子供向けお仕事提案bot を作ってみよう(Azure OpenAI + RAG) - ENGINEERING BLOG ドコモ開発者ブログ
NTT コノキューに出向中の澤山です。 今年の7月にドコモから、コノキューにやってきました。 この記事は、NTTドコモ アドベントカレンダー2023 21日目の記事です。 この記事では、Wikipedia記事 と Azure OpenAI API、既存のモデルの3つを用い、RAG(Retrieval-Augmented Generation)のためのデータ作成と、RAGを活用した子ども向けお仕事提案botを作ります。 (記事の情報は2023/11月のものです。) 生成AI / ChatGPT の大流行 子供のための、生成AI活用方法、ってある？ 子供向けお仕事提案チャットボットを作ってみる 全体像 ステップ1 Wikipedia + Azure OpenAI service でお仕事情報をまとめよう Wikipedia 記事からのお仕事情報・概要の抽出 お仕事情報・概要に基づく、情報の整理
Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita
はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する
CUDAによる局所特徴量計算の高速化とソースコード公開 - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 はじめに こんにちは、エンジニアの高木です。 私は現在、adaskitという社内の自動運転関連のオープンソースプロジェクトに携わっており、プロジェクトの成果としてこれまでlibSGMやcuda-bundle-adjustmentなどを公開しています。 今回はVisual SLAMやSfM(Structure from Motion)で行われる局所特徴量計算について、CUDAによる高速化に取り組んだ話を紹介します。また、そのソースコードをcuda-efficient-featuresという名前でGitHubに公開しました。 fixstars/cuda-efficient-features 背景 局所特徴量計算 Visual SLAMやSfMでは、2つの視点間の相対的なカメラ姿勢を推定する
自己紹介 本名：金子達哉 株式会社PR TIMES開発本部長CTO 2021/4入社 達人が教えるWebパフォーマンスチューニング〜ISUCONから学ぶ高速化の実践（技術評論社）（通称：ISUCON本）の著者の1人 6章「リバースプロキシの利用」・7章「キャッシュの活用」・8章「押さえておきたい高速化手法」を担当 catatsuyというIDで各種SNSをやっています かたついと呼ばれることが多いです 数年前のPR TIMES デプロイは1週間に1度あるかどうかという頻度 リリース時のメンテナンスにより、大きな変更をリリース PHPのバージョンが非常に古く、ソースコードにも問題があり機能追加が困難で開発効率が低い フロントエンドもほぼすべて古いjQueryベースで作られており、バグ修正すらできていない ⇒開発速度向上のために、すべて変えたのでざっくり紹介 デプロイ頻度を上げる 小さいPRをど
PHPクックブック
PHPを使う上で、約140の遭遇しがちな問題とその解決策をまとめたレシピ集です。PHPの基本的な文法から、暗号化、エラー処理、デバッグ、パフォーマンスチューニングといった重要な概念、型システム、非同期処理まで、効率的でモダンなWebアプリケーションを構築するためのレシピを網羅しています。パフォーマンスの改善、安全性の強化など、機能が大幅に向上したPHP 8を使いこなす上で、信頼できるリファレンスとして、常に手元に置いておきたい一冊です。 はじめに 1章 変数 レシピ1.1 定数の定義 レシピ1.2 可変変数の作成 レシピ1.3 変数の交換 2章 演算子 論理演算子 ビット演算子 比較演算子 型キャスト レシピ2.1 if/elseブロックの代わりに三項演算子を使用する レシピ2.2 null値を合体する レシピ2.3 値が等しいか評価する レシピ2.4 宇宙船演算子により値をソートする レ
動画生成AI「Sora」のオープンソース版「Open-Sora 1.0」公開、AI同士を掛け合わせて高品質なAIを自律的に生み出す手法など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第39回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 実写動画をアニメ映像に変換など、動画をプロンプトで高品質に編集できるAIモデル「FRESCO」 既存モデル同士を掛け合わせて新しい高品質LLMを自律的に作り出す手法、AIベンチャー「Sakana AI」が開発 高品質なステレオ音楽を生成できるボコーダー「MusicHiFi」をAdobeなどが開発 900FPS以上で写真のような高品質な大規模3Dシーンをリアルタイム生成する「RadSplat」をGoogleなどが開発 Soraの再現を目指すオープンソースText-to-Videoモデル「O
表組みの面倒な作成や分析が、ChatGPTで劇的に高速化できると説くのは「エクセル兄さん」こと、たてばやし淳さん。効率的な表組み作成に欠かせない関数をAIが生成してくれるので、Excelが苦手な人や、関数に詳しくない人でも、作りたいシートを簡単に作成できる。ここでは初級、中級、上級、超上級というやりたいことのステップ別に、たてばやしさん直伝の役立つ活用例を紹介しよう。 Excel専門家 たてばやし淳さん YouTubeのチャンネル登録者数10.8万人、Udemyの受講者数16.7万人の人気講師。エクセル兄さんの愛称で親しまれている。『Excel×ChatGPTでビジネスが加速する！AI仕事術』（Independently published）ほか著書多数。様々なAI活用事例を発信している。 コチラで紹介するAI活用の詳細はWebサイトをCheck！ 【初級編】表組みを変更するための関数の式
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 本記事では、「xRAG」という手法について、ざっくり理解します。xRAGとは、RAGシステムでLLMに投げるドキュメント（通常、数千文字ほどですよね。）を、1トークンに圧縮できるのでは？という手法です。 この記事は何 この記事は、RAGをする際にLLMに渡すドキュメントを1トークンまで圧縮できる手法「xRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー xRAGは、RAGで渡すコンテキストを極限まで圧縮する手法です。北京大学/Microsoftの研究者らによって2024年5月に提案されました。xRAGを使うメリットは、コンテ
Nianticにおける次世代マップの構築
Augmented World Expoで、Nianticは新しいWebベースのビジュアルプラットフォームであるNiantic Studioを発表しました。Niantic Studioは無料で使用可能で、開発者、クリエイター、ブランドが、ほぼあらゆるデバイスでWebの遍在性を活かした没入感の高いXR体験を迅速に構築できるようにします Nianticはまた、優れた3DスキャンツールであるScaniverseのアップデートも発表しました。このアップデートによって、デバイス上でのガウススプラットの処理が高速化し、誰でも非常にきめ細やかで高性能な3Dスキャンをキャプチャして共有できるようになります Nianticブースではヘッドセット体験が関心を集めました。最近リリースされたMeta Quest 3用のHello DotやApple Vision Pro用のSkatrix Proを紹介したほか、M
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Elasticsearch このようになっている背景については、前述の記事に詳細が記載されていますので、興味がある方はそちらをご参照ください。これまで、この２種類の検索エンジンを運用してきましたが、それぞれ
100fps超え画像生成StreamDiffusionのデモに飽きたら次に進もう。stremオブジェクトで動かすコツ公開｜めぐチャンネル
解説を論文執筆者でプロジェクトの代表でもある「あき先生」が解説してくださっているYuTubeもあります。論文の拾い読みもしていただいており、とても参考になりますので、ぜひご覧ください。（3時間と長いですが飛ばせるような、無駄な部分はありません） デモやサンプルコードも豊富にあるので、機能や性能を知りたい場合はそちらを動かしてください。大変興味深いデモもあります。アプリに組み込む場合もラッパーが準備されているのでそちらを使えば厄介なpipeやstreamオブジェクトの操作は必要ありません。しかし、性能を引きだしなが柔軟にアプリで使用するためには直接pipeやstreamを操作する方がよさそうです。この記事では後者のケースでStreamDiffusionを使用する時のコツについてこれまでにテストした手法を解説します。 環境構築Readmeに記述されているとおりに構築を進めます。デモやexamp
2023年になっているにも関わらず、AppleはエントリーレベルMacBook Proに8GBという少なすぎるRAM容量を採用しているのは馬鹿げている、との意見が公開されました。今の時代、最低何GBのRAMが望ましいのでしょうか。 ■3行で分かる、この記事のポイント 1. MacBook Proに8GBという少なすぎるRAM容量を採用しているのは馬鹿げているという。 2. 今の時代最低ラインは16GBであるべき、とソフトウェア・エンジニアは指摘。 3. RAMはアップグレード不可となっているため、足りない場合新しいコンピュータを購入することになる。 定期的にハードドライブに負荷をかけてしまう結果に？ コンピュータにおいて、RAM容量は大きければ大きいほど良いとされてきましたが、今年発売された248,800円（税込）〜のMacBook ProのRAM容量が8GB〜となっているのは信じられない
FindyでEMをしている栁沢（@nipe0324a）です。 今回は、FindyのとあるRailsのCIのテスト実行時間を10分から5分に高速化した話をご紹介します。 「CIのテスト実行時間が遅い...」 「CIの実行時間を短くしたい!!」 と感じている方はぜひご覧くださいませ。 Findyでは2024年2月現在、1人あたり1日4プルリクを平均で作っています。静的解析や自動テストなどを即時に行うCI環境がないとスピード感のある開発ができなくなるため、CIを高速で回しタスクを完了させる必要があります。機能も増え、テストケースも拡充したことでCIの高速化が求められるようになりました。 また、個人的には、CIは遅くても10分、理想は5分以内で終わるのを1つの目安にしています。これぐらいのスピード感でCIが完了すると、「プルリク作ってレビュー依頼する」、「レビューコメントもらって対応する」といった
年の瀬ですね。クリスマスの足音も近く、ピザなんかを頼んだら景気が良いかなと思ったので、GitHub 上で Issues を生やすとピザが頼める仕組み（workflows）を構築してみました。 本記事は mast Advent Calendar 2023 の 7 日目の記事です。6 日目は Hitoko T. 先生の記事「我が家に猫3匹がやって来た話｜Hiroko T.」でした。猫、癒やしですよね 折角のアドカレの機会ですから、GitHub 上でピザを頼むまでの過程を、GitHub や Web 技術、ピザ等に明るい方にも、そうでない方にもお楽しみいただけるように説明*1*2を進めていきます*3。少し長くなりますが、どうぞお付き合いください。 ピザ 突然ですが、みなさまはピザと呼ばれる食べ物をご存知でしょうか？ 初めてピザをご覧になられた方に向けて説明しておくと、小麦粉等を練って構成した生地を
本記事では、2024年4月18日からVersion 2 になったAssistants APIの使い方を1から解説します。 この記事は、OpenAI公式サイトの内容と、実際に手元で実践した結果を混合したものになっています。 まだ探りきれていないので、この記事をアップデートしていく予定です。 まず、以下が新機能の概要です： Assistants API v2（ベータ版）の新機能 -- 2024年4月 -- Assistants APIに様々な新機能と改良を発表し、ベータ版を新しいAPIバージョン`OpenAI-Beta: assistants=v2`に移行します。 新機能は以下の通りです。 * 改良された検索ツール`file_search`を導入しました。アシスタントあたり最大10,000ファイルを取り込むことができ、以前の500倍となります。高速化され、マルチスレッド検索による並列クエリをサ
スマートフォンのOS市場はGoogleのAndroidとAppleのiOSの寡占状態になっていて、他のOSがないわけではないものの、二強の牙城を崩すには至っていません。一方で一部のユーザーは、クローズドのiOSやAndroidと異なり、オープンソースで開発されるLinuxをスマートフォンに導入するプロジェクトに取り組んでいます。テクノロジー系ブログのNix Sanctuaryが、Linuxを搭載するのにおすすめなスマートフォン5選を公開しています。 Escaping The Duopoly: Top Best 5 Linux Smartphones Without Performance and Security Excuses https://nixsanctuary.com/escaping-the-duopoly-top-best-5-linux-smartphones-withou
『シャニソン』の“『シャニマス』の3D化”という高難度ミッションは、いかに挑戦されたのか。違和感を生まないために活用されたＣＲＩ・ミドルウェアの技術とは - AUTOMATON
バンダイナムコエンターテインメントが2023年11月14日にリリースした『アイドルマスター シャイニーカラーズ Song for Prism』（以下、『シャニソン』）。2Dでの育成ゲームだった『アイドルマスター シャイニーカラーズ』（以下、『シャイニーカラーズ』）のキャラクターを3D化し、リズムゲームやMVが実装されたファン待望のタイトルである。 そんな『シャニソン』には、音声最適化ミドルウェア であるCRI ADXや、高圧縮高画質のムービーミドルウェアCRI Sofdec、音声解析およびリアルタイムリップシンクミドルウェアのCRI LipSyncが利用されている。ＣＲＩ・ミドルウェア製の技術は、28人のアイドルたちの飛躍を描くためにどのように使われたのか、ゲームメーカーズと共同でインタビューを実施した。ＣＲＩ・ミドルウェア製の技術を用いた、最適化やリップシンクに関するゲーム制作現場の最前
Next.js 14まとめ
基本的には以下のNext.js 14のブログを翻訳してまとめたものになります。 TL;DR Turbopack: App & Pagesルーター向けの5000のテストをパス ローカルサーバーの起動が53%高速化 Fast Refreshによるコードの更新が94%高速化 サーバーアクションの安定版: 進歩的に強化されたミューテーション キャッシュと再検証の統合 シンプルな関数呼び出し、またはフォームとネイティブに連動 部分的プリレンダリングのプレビュー版: 高速な初期の静的レスポンス+ストリーミングの動的コンテンツ Next.js Learnの新規追加: Appルーターや認証、データベースなどを教える無料のコース アップデート詳細 Next.jsコンパイラ Next.js 13以降、Next.jsではPagesとAppルーターの両方でローカル開発のパフォーマンスを向上させるように取り組んでき
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート2 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート2 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 2 を翻訳したものです。 最初のパートでは、 Amazon Aurora MySQL互換エディション v2 から v3 へのアップグレードの事前チェックが失敗する原因となる最も一般的な問題を説明しました。この投稿ではアップグレードが長引いて失敗する最も一般的な原因について説明します。 クラスターにプリ
■高速化されたSoC、メインメモリー、GPU まずはラズパイの中核をなす部品であるSoC（System on a Chip）からです。Pi 5が搭載する「Broadcom BCM2712」は、前モデルのPi 4Bが搭載する「Broadcom BCM2711」と比べて性能が大幅に向上しました。SoCとは、プログラムを実行するCPUやメインメモリー、メモリーの管理を担うメモリーコントローラー、ディスプレイへの画像表示および3D描画の処理を行うGPU（Graphics Processing Unit）など、複数の機能を一つのチップに集約した半導体部品の総称です。 Broadcom BCM2712には、クロック周波数2.4GHzで動作するクアッドコアCPU「Cortex-A76」が搭載されており、Pi 4Bが搭載する同1.8GHzの「Cortex-A72」と比べて約1.3倍高い周波数で動作可能です
関連URL Tanuki-8x8B Tanuki-8B 大規模言語モデルTanuki-8B, 8x8Bの位置づけや開発指針など 全体像 フルスクラッチで開発した大規模言語モデルTanuki-8B, 8x8Bの性能についての技術的な詳細 Japanese MT-Benchにおける性能の詳細とJasterに関する一部言及 ChatbotArena的なシステムでTanuki-8x8Bを始めとする大規模言語モデルの日本語性能を評価する(2024年8月) ブラインドテスト形式で種々のモデル出力の優劣を人手で評価した結果と､各種ベンチマークとの関係性 大規模言語モデルを開発するにあたっての事前・事後学習の戦略メモー特に合成データについてー 開発の鍵となった合成データ戦略に至るまでの試行錯誤など Tanuki-8B,8x8Bの開発完了までに考えていたことと､「科学の基盤モデル」の構築に向けた考え 開発時
メモリ内で「データ保存」と「計算処理」を実行する「CRAM」 実証実験に成功 AIタスクの消費電力を大幅削減へ
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 機械学習などのデータ集約型アプリケーションは、膨大な計算能力を必要とするが、従来のコンピューティングアーキテクチャでは、演算ユニットとメモリユニットの間で絶え間なくデータを転送する必要があり、この転送プロセスに多大な電力とエネルギーを消費している。 この課題に対処するため、研究者たちは「Computational Random-Access Memory」（CRAM）と呼ばれる技術に着目。CRAMの特徴は、メモリセル自体を使って論理演算を直接実行できる点で、データをメモリから外部に転送することなく、メモリ内で直接計算処理が可能。この方式により
IBMが合計20年かけて開発した「NorthPole」チップの存在が明らかに、脳にインスパイアされた設計でAIの高速化が可能
カリフォルニア州アルデマンにあるIBM研究所が、前身のチップと合わせると20年かけて研究してきたという新タイプのデジタルチップ「NorthPole」の存在が明らかになりました。開発陣のダルメンドラ・モーダ氏によると、脳の計算方法からインスピレーションを得ることで、コンピューターチップの基本構造を改めたとのことです。 Neural inference at the frontier of energy, space, and time | Science https://www.science.org/doi/10.1126/science.adh1174 IBM Research's new NorthPole AI chip | IBM Research Blog https://research.ibm.com/blog/northpole-ibm-ai-chip ‘Mind-blow
次世代Web BandlerのFarmが熱そう
はじめに 昨今、ビルドツールは様々なものが開発され、いかに高速化するか、開発者体験を上げられるかが注目されているように思います。2024年6月にState of JSが公開され、その中でBuild Toolsはwebpackが最も使用されており、次いでViteがランキングしています。 Viteの伸びがすごいですね...🔥 ビルドツールも様々ありますが、2024年4月にFarmというWeb Bandlerのv1.0がリリースされました。 気になってドキュメントサイトを覗いてみるとなんだか良さげな雰囲気を感じたので、Farmの特長と推せるポイントをまとめてみようと思います。 やること、やらないこと やること Farmの紹介 Farmの特長とおすすめポイントの紹介 やらないこと Farmの導入方法や詳細について （ドキュメントがわかりやすい） Farmとは？ Farmは、webpackやVit
「あなたのキャリアのなかで、特に印象に残るPull Requestは何ですか？」著名エンジニアの方々に聞いた - Findy Engineer Lab
特定のリポジトリに対して機能追加・変更やバグ修正などを行う場合、エンジニアはPull Requestを発行します。プログラミングを続ける過程で数えきれないほど発行されるPull Requestは「エンジニアが歩んできた道のりそのもの」と言っても過言ではありません。 ならば、オープンソースコミュニティで活躍する方々が「特に印象に残っているPull Request」には、その人のOSS活動への思いや日々の研鑽が結実しているのではないでしょうか。今回は8名の著名エンジニアの方々に回答していただきました。 ※人名の50音順に掲載。回答者は敬称略。 伊藤浩一が紹介『Change the max line length of Layout/LineLength to 120』 github.com OSSでの確実なマージを狙うには、時に戦略を練ってから送ります。 その一例として、Rubyのリンター/コ
デベロッパーエクスペリエンス（DevEx）とは: 開発生産性Conference 2024 に向けて - Findy Tech Blog
こんにちは！ ファインディの @Taka-bow です。 まもなく「開発生産性Conference 2024」が開催されます。2日目のキーノートスピーカーであるNicole Forsgren博士は、昨年はビデオ越しのご登壇でしたが、今回は来日してくださる予定です。 昨年は「SPACE：生産性フレームワーク」の研究についてご紹介いただきましたが、今回はどのようなお話を伺えるのでしょうか？ ご講演のタイトルは Mastering Developer Experience: A Roadmap to Success （デベロッパーエクスペリエンスを極める：成功へのロードマップ） とのこと。大変楽しみです。 dev-productivity-con.findy-code.io 博士は、書籍 "Accelerate" *1 の筆頭著者としても広く知られていますが、最近はデベロッパーエクスペリエンス（
BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する - Findy Tools
公開日 2024/08/26更新日 2024/08/26BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する はじめに株式会社プレイドのCore Platformチームに所属しているBrownです。このたびはプレイドでコアに使用しているBigQueryについて、なぜBigQueryをコアのアーキテクチャに置いているのかから、BigQueryの新しい機能であるAnalytics Hubを用いたストレージや管理コストの削減に関して記事を寄稿させていただきます。 本記事では、BigQueryを使う際に、近年よく耳にするようになった「データのサイロ化」をデータ分析の具体例として取り上げ、そのようなデータに対してどうやってBigQueryを活用するのかについて紹介します。 このブログの想定する読者の方 データ
新しいSQLフォーマッターであるuroboroSQL-fmtをリリースしました | フューチャー技術ブログ
コアテクノロジーグループの山田です。 先日、新しいSQLフォーマッターであるuroboroSQL-fmtをリリースしました 🎉 このツールは弊社が公開しているPostgreSQL向けのSQLコーディング規約に基づき、SQL文をフォーマットするツールです。 弊社でのSQLフォーマッター開発の取り組み元々弊社ではuroboroSQL Formatter（以下uroboroSQL Formatterを旧版、uroboroSQL-fmtを新版と呼ぶ）というSQLフォーマッターを公開していました。旧版は 字句解析して得られたトークンを基にフォーマットするという設計になっていたため、SELECT句のエイリアス補完といった文法を考慮する必要のある機能の追加が困難Pythonで書かれておりVSCodeの拡張機能として動作させるのが難しいという課題を抱えており、それを解消するため新たなSQLフォーマッター
結成たぶん10年くらいのチーム白金動物園（mirakui, sorah, rosylilly）として ISUCON 13 に参加してきました。ここ数年はなんだかんだ運営側であることが多かったので、いち選手としては随分久しぶりな気がします。 結果は694チーム中18位で、最終スコアは 103,838 でした。 ISUCON13 受賞チームおよび全チームスコア : ISUCON公式Blog 優勝経験のあるチームとしては満足のいく結果ではありませんが、Rubyを使ったチームの中では一番スコアが高かったようです。 上位30チームに限定すると以下となりました Go 29組 96.7% Ruby 1組 3.3% ISUCON13 利用言語比率 : ISUCON公式Blog この1組が我々です。 あとLINEヤフー社が提供してくださった会場に入場した順では僕が1位を取りました。 ISUCON
【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える｜カガミカミ水鏡👯
この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか？ 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi
ぐにゃぐにゃと曲げられる非シリコン製RISC-V CPU「Flex-RV」をペンに巻き付けながら動作させるデモ映像が公開中
イギリスの半導体メーカー・Pragmatic Semiconductorがハーバード大学などと共同で、ぐにゃぐにゃと曲げられるCPU「Flex-RV」を開発しました。このチップは一般的なシリコンチップとは違って柔軟な素材で作られており、Pragmatic Semiconductorは実際にFlex-RVをペンに巻きつけながら動作させる映像を公開しています。 Bendable non-silicon RISC-V microprocessor | Nature https://www.nature.com/articles/s41586-024-07976-y A Bendable Non-silicon RISC-V Microprocessor - Pragmatic Semiconductor, Qamcom, Harvard - YouTube Flex-RVは、オープンソースの命令
2年間止まってた要望を1週間で実現させた一言から得られた学び - ventus-incのブログ
こんにちは、開発組織の支援などの活動をしている冬鏡です。 この記事ではこの間遭遇した社内ツールの開発に関して得られた気づきについて書いていこうと思います。 要約 社内ツールが構築されていたが、リソース不足から次第に開発スピードが低下 「CLIでもいいよ」という一言で一気に実用化にこぎつけた 小さく試す方法の大切さ、身の回りにある気づきなどの学びが得られた 背景：社内ツール開発スピードの低下 弊社では約3年前（2021年春）に有志のエンジニアと運用・企画担当がほとんどその場のノリで作ったmiscと呼ばれる社内ツールがありました。ユーザーからの問い合わせに対応するための操作ができるツールです。 当初は1つのReactコンポーネントがサーバーにリクエストするだけの非常にシンプルな構成で、1日で作り上げられたツールでしたが、非常に利便性が高かったため、利用者、開発者ともに増加していきました。 それ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGで複数のLLMを使う「Speculative RAG」の解説
春だから「アルカナハート」の“全アルカナなんとなく解説”をどばばばーんとやっちゃうよ！！！
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT
【2024年6月版】フロントエンドアーキテクチャ界隈の必読記事まとめ【TechFeed】
ミニ四駆の「ルール無用JCJCタイムアタック」に続いて「ルール無用プラレールタイムアタック」が登場
「500年後に日本人が佐藤だけになる」という試算の問題と改善
開発生産性可視化の意義とPR TIMESの事例 発表資料 | PR TIMES 開発者ブログ
ExcelとChatGPTで実践！プロが指南する表組みの関数入力を爆速化する「AI壁打ち」の便利ワザ｜@DIME アットダイム
RAGで文書を1トークンに圧縮する「xRAG」について
検索エンジンをVespaへ移行しています - Stanby Tech Blog
8GB RAMは時代遅れ？専門家がMacBook批判 - iPhone Mania
RailsのCIのテスト実行時間を 10分から5分に高速化した話 - Findy Tech Blog
GitHub Actions を回してピザを頼みたい - いなにわうどん
ChatGPT Assistants API の使い方｜ChatGPT研究所
iOSやAndroidよりもパフォーマンス＆セキュリティに優れたLinuxを搭載するのにおすすめなスマートフォン5選
PC並みに高性能な新モデル「ラズパイ5」、ハードウエアと機能を知る
大規模言語モデルを開発するにあたっての事前・事後学習の戦略メモー特に合成データについてー
チーム白金動物園としてISUCON13に参加しました - 昼メシ物語