新NISA「やってはいけないこと」「すべきこと」最後の総点検
やまざき・はじめ／1958年、北海道生まれ。東京大学経済学部卒業。現在、楽天証券経済研究所客員研究員。株式会社マイベンチマーク代表取締役。東京大学を卒業後、三菱商事に入社。野村投信、住友生命、住友信託、メリルリンチ証券、パリバ証券、山一証券、明治生命、UFJ総研など、計12回の転職を経験。コンサルタントとして資産運用分野を専門に手掛けるほか、経済解説や資産運用を中心に、メディア出演、執筆、講演会、各種委員会委員等を務めた。2024年1月1日、永眠。 山崎元のマルチスコープ 旬のニュースをマクロからミクロまで、マルチな視点で山崎元氏が解説。経済・金融は言うに及ばず、世相・社会問題・事件まで、話題のネタを取り上げます。 バックナンバー一覧 来年からいよいよ期待の新制度である「新NISA」が始まる。そこで、新NISAを活用する上で「やってはいけないこと」と「すべきこと」について、最後の総点検をし
みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ
連日さまざまなサイバーセキュリティ犯罪のニュースが報じられる中、いまだに日本のセキュリティレベルは高いとは言えない状況にあります。一方で、企業がサイバーセキュリティ対策を進める上では、人材不足や経営層の意識・関心、コスト、導入による利便性の低下など、さまざまな壁が立ちはだかっています。 そこで今回は、株式会社網屋が主催する「Security BLAZE 2023」より、サイバーセキュリティのエキスパートによる講演をお届けします。本記事では、米金融大手で1億人以上の個人情報が漏えいした事件の背景をひもときながら、問題点とセキュリティ対策のポイントを解説します。 Webセキュリティの第一人者が語る、個人情報流出事件の裏側 徳丸浩氏：ただいまご紹介いただきました、EGセキュアソリューションズの徳丸でございます。本日は「米国金融機関を襲った個人情報大規模流出事件の真相」というテーマでお話をさせてい
クックパッドを退職しました - 昼メシ物語
2024年1月末まで在籍していますが昨年12月に業務は終えていて、いまは有休消化期間中です。2010年から約14年間勤めてきた、自分の生き様そのものとも言えるクックパッドを離れるのには、表現しきれないほど大きく、複雑な思いがあります。 僕がこの14年間でやってきたことを振り返ってみます。 入社 クックパッドに入社した時は新卒3年目相当で、26歳でした。もともと料理と Ruby が好きで、当時まだ珍しかった Ruby on Rails でサービス開発をしているらしいという点や、当時からネットウォッチしていた @ryo_katsuma さんが所属していること、直属の上司の井原さんが転職したことが決め手になり、体当たりで飛び込みました。当時の僕はほとんど実績もなく、入れてもらえるかギリギリのところだったと思いますが、おそらく井原さんが頑張って交渉してくれたのだと思います。本当に感謝しています。こ
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
AIを使った論文の読み方
近年の AI の進歩により、論文の読み方も大きく変化を遂げました。AI を活用することで以前と比べてはるかに簡単かつ早く論文が読めるようになりました。 以前私の個人ブログにて、論文の読み方やまとめ方を紹介しました。その時には要約ツールは用いていませんでしたが、最近はすっかり要約ツールを多用するようになりました。 本稿では、最新の AI を使った論文の読み方を丁寧に紹介します。 基本的な流れ 本稿でおすすめするのは ChatGPT か Claude で要約を生成して論文の概要をつかみ、Readable で精読するという方法です。ChatGPT や Claude では単に全体の要約を生成するだけでなく、肝となる箇所を特定したり理解するためにも用います。具体的な手順については後の項で解説します。 私が特定のテーマについて調査を行う場合には、テーマに関係する論文を被引用数の多いものを中心に 10
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
ShellScriptで自動化を楽にしたい時に知っておいても良いこと | sreake.com | 株式会社スリーシェイク
はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ
2024年3月29日、Linux向け圧縮ユーティリティとして広く利用されているXZ Utilsに深刻な脆弱性 CVE-2024-3094 が確認されたとして、研究者やベンダがセキュリティ情報を公開しました。この脆弱性は特定の条件下においてバックドアとして悪用される恐れがあるものとみられており、当該ソフトウエアのメンテナのアカウントにより実装されたソフトウエアサプライチェーン攻撃の可能性が指摘されています。ここでは関連する情報をまとめます。 脆弱性の概要 xzとは主要なLinuxディストリビューションに含まれる汎用的なデータ圧縮形式で、今回問題が確認されたのはその圧縮・解凍ユーティリティであるliblzma(API)を含むXZ Utils。CVE-2024-3094が採番されており、Red Hatによって評価されたCVSS基本値はフルスコアの10。影響を受けたライブラリをリンクしているssh
はじめに はじめまして、8月にコネヒトに入社したy.ikenoueです。 突然ですがみなさん、生成AIは使っておりますでしょうか？ ChatGPTやStable Diffusionといった代表的な生成AIの発表から約1年が経過し、そろそろブームも落ち着くかと思っていたのですが、つい先日もOpenAI DevDayにてChatGPTに関する様々なアップデートが発表されるなど、相変わらず目まぐるしい日々が続いていますね。 弊社における生成AIの活用状況はというと、以前に下記の記事にて、Slack上でChatGPTと会話できる環境を社内提供しているという取り組みをご紹介しました。 tech.connehito.com 本日は、上記の社内ツールに新たに追加した「社内文書の参照機能」についてご紹介します。 「社内文書の参照機能」の概要と開発動機 まずは「社内文書の参照機能」の概要と開発にいたった動機
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる GitHubが提供するGitHub.comは、世界最大のソースコード管理システムを始めとするソフトウェア開発者向け支援サービスを提供しています。 そのGitHub.comはRuby on Railsで構築されており、同社はつねにRubyとRuby on Railsをアップデートし続けていることを今年（2023年）4月に明らかにしています。 参考：GitHubは200万行規模のRailsアプリケーションであり、毎週RailsとRubyを最新版にアップデートし続けている そして同社はこのGitHub.comを支える1200台以上のMySQL 5.7を、GitHub.comのサービスレベルを維持したまま1年以上かけてMySQL 8.0にアップグレードしたことをブログで明らかにしました。 Up
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
こんにちは、Browncatです。 Googleは8月28日、画像生成AIの最新バージョン「Imagen3」をリリースしました。 Imagen3の画像を生成するための同社の画像生成AIサービスが「ImageFX」ですが、このImageFXをしばらく試用しましたので報告します。 Imagen3概要 Imagen3の概要は、Googleの以下のサイト によれば、 以前のモデルに比べプロンプト理解力が大幅に向上。自然な日常言語で書かれたプロンプトも理解するため、複雑なプロンプト・エンジニアリングを行わなくても、必要な出力を簡単に得ることができる 照明と構成が適切で、視覚的に豊かで高品質の画像を生成 テキストレンダリング機能の大幅な改善 データセット内の有害なコンテンツを最小限に抑え、有害な出力の可能性を減らすために、広範なフィルタリングとデータラベル付けを使用 Gemini app and we
自作PC2024
新しいPCを組んだ。 自作PCを組むのはこれで二台目。一台目については以下の記事で紹介している。 自作PC2021 前回の組み立て時に基本的な部分を学べたので、今回は一度やってみたかった本格水冷に挑戦してみることにした。 組み立て後 組み立て前 この記事では、利用した各部品を紹介していく。前半では水冷にあまり関係無い部分、後半では水冷に関係する部分に触れる。自作PC2027を書くことになる頃合いで読み返したい。 ケース Lian LiのO11 EVO RGBを利用した。 Amazon | LIANLI E-ATX対応ミドルタワーPCケース O11D EVO RGB Black リバーシブルデザイン E-ATX（幅280mm以下） / ATX/Micro ATX/Mini-ITX規格対応 RGBストリップ標準搭載 420mmラジエーター搭載可能 日本正規代理店品 | リアンリー(Li LIA
3月4日の公開以来、「Claudeやばくない？」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル（LLM）だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは？ 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau
0．はじめに 日本の国産二大RPG、といえば「ドラゴンクエスト」と「ファイナルファンタジー」であることに異論がある人は少ないだろう。これは両方ともスクウェア・エニックス社のIPであるが、スクウェア・エニックス社は元々スクウェアとエニックスの二社が合併してできたものだ（若い人はピンとこないかもしれない）。 ファイナルファンタジーはスクウェア社側のIPであったが、元々任天堂のファミリーコンピュータ（以下ファミコン）で誕生し、育ったIPだった。任天堂とスクウェアは初めのうちこそ蜜月といって良かったのだが、そこから関係をこじらせ、一時は出禁状態であったことが有名だ。 本記事はスクウェアがどのように歴史を紡ぎ、任天堂と近づき、そして破綻させ、そして再度関係を修復させたかを解説するものである。 1．誕生 スクウェア まず、スクウェアの創業から解説しよう。徳島県に株式会社電友社という、電気工事会社があっ
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
2024年新NISAのつみたて投資枠の対象商品は2023年10月26日現在合計で257銘柄あります。 インデックス投資信託：211種 アクティブ運用投資信託等：38種 上場株式投資信託（ETF）：8種 数多くの選択肢からよい銘柄を選ぶのは難しいですが、その中で、外国株銘柄の「S&P500指数」や「世界株式指数（オールカントリ―）」に連動した投資信託は現行のつみたてNISAで非常に人気が高い商品となっています。 そんな人気の銘柄で今回は「月に1万円をつみたてNISAで投資するなら」「全世界株式型投資信託」と「S&P500連動投資信託」はどちらがお得なのか？を探っていきたいと思います。商品はSBI証券でつみたてNISA対応の投資商品で比較ランキング形式でご紹介しています。 2024年スタートする新NISAのつみたて投資枠とは NISAは一定額までの投資から発生した利益を非課税にするという制度で
世界第2位の「漫画消費国」といわれるフランス。日本漫画が絶大な人気を誇るなか、これまであまり評価されてこなかったのが少女漫画だ。だが、ついに「shôjo」にも光が当てられはじめた。それには、熱烈なファンの力もある。 「絶対にアングレームに行かなくては」──ブログ「Club Shôjo」の管理人、オードリー・マニスカルコはそう決意していた。彼女が興奮する理由は、漫画家・萩尾望都（はぎお・もと）の来仏だ。2024年1月、フランス南西部の街アングレームで開催されたヨーロッパ最大級の漫画の祭典「アングレーム国際漫画祭」では、彼女の栄誉を称え、特別回顧展が催された。 1949年生まれの漫画界の巨匠、萩尾望都は、永遠の若さに囚われた吸血鬼一族を描いた『ポーの一族』（小学館）の作者だ。1970年代に日本で出版されたこの傑作がフランスに上陸したのは、2023年になってからだった。フランス語版を出版したアカ
Ryzenはゲーム用CPUとしては特に問題ないのだが、 ソフトウェア開発においてはIntelのCPUに比べて不便なポイントがいくつかある。 日々業務で使っていてあまりにもストレスが溜まるので、CPUをIntel Core i7に変更した。 このマシンは8年前に組んだ自作PC なのだが、使っていて不便を感じたパーツを差し替え続けた結果、 今回のアップデートで全てのパーツが当時とは違うものに変わったため、 それぞれ古い方のパーツで不便だったポイントなどを紹介したい。 仕事で使う自作PC 社内のサービスをいじる時は会社から貸与されているM1 MacBook Proを使うのだが、このマシンは不便である。 Rubyのビルドは自分のLinuxのマシンに比べ2倍以上遅いし、Reverse Debuggingができるデバッガが存在しないし、 慣れたツールであるLinux perfも使えないし、Podman
Linux Daily Topics xzパッケージに仕込まれた3年がかりのバックドア、スケール直前に見つけたのはMicrosoftの開発者 “アップストリームのxzリポジトリとxz tarballsはバックドア化されている（The upstream xz repository and the xz tarballs have been backdoored）”―2024年3月29日、Microsoftに所属する開発者 Andres Freundが「Openwall.com」メーリングリストに投稿したポストは世界中のオープンソース関係者に衝撃を与えた。 backdoor in upstream xz/liblzma leading to ssh server compromise -oss-security 主要なLinuxディストリビューションにはほぼ含まれているデータ圧縮プログラ
経理（決算）のパラダイムシフト｜ヒーホーくん
どうも伝統的日本企業（SNSではJTCとかいうらしい）の人は管理会計もM&Aも税務やらも「全部経理」などという雑な考えの人がある程度居るらしいのであえて経理＝決算業務と定義しておきます。組織のデザインをするうえで役割をうやむやにするこのような考え方は愚の骨頂としか言いようがありませんが、それはまた別の機会に。一方でなぜJob Discriptionもまともに無いのか少しわかった気がしますし、そんなやり方では給料レンジも明確な差がつけられず半端な人しか働けないだろう。 まあ都心のタワーマンションが限られた層にしか買えないように、多国籍企業で働くサラリーマンのファイナンス業務など大多数にとっては無関係な話かもしれないので変化が起きないと賭けるならば以下の駄文は無視しておけばいいでしょう。 前置きが長くなりましたが、これまでのキャリアで最大の試練は何か？という話題で人に話す機会があったので、多国
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
DeepLを超えるやさしい翻訳アプリとGPTsを作りました
DeepLを超えるやさしい翻訳アプリとGPTsを作りました 苦手な分野の英文を理解するのを助けてくれます。 なぜ翻訳アプリを作ったのか 私は最近ChatGPTのような大規模言語モデルに興味があり、AI開発者の方や、大規模言語モデル関連の情報を発信している方をフォローしていました。 すると最新の論文（英語）や英語のツイートが次々に流れてくるのですが、それらをGoogle翻訳したり、DeepLで翻訳しても、意味不明な場合が多いということに気づきました。 特に海外の方の1行だけのツイートなどは、DeepLで翻訳しても全く意味がわからない場合が多くて困っていました。 AI関連の論文は専門用語が多く、いちいち調べながら読んでいると、1日の大半の時間が情報収集だけで終わってしまいます。 これは要するに「自分の専門分野でない分野の英文を理解するのは大変」ということなので、例えば「Web制作初心者の方が海
話題のClaude「Artifacts」は対話型AIにおける「UX革命」である｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
ChatGPTのライバルサービスの一つである「Claude」が、彼らのサーバーが一時パンクするくらい話題になっている。 その理由は、運営元のAnthropicが発表した2つのリリースだ。 リリースの1つ目は新しい大規模言語モデル「Claude 3.5 Sonnet」のリリース。そしてもう一つが、今回の話題の中心である「Artifacts」機能のリリースだ。 「Claude 3.5 Sonnet」は、ほぼ全てのベンチマークでOpenAIの最新モデル「GPT-4o」を打ち負かしており、処理スピードは前モデルの「Claude 3 Opus」の2倍で、API費用は1/5程度に下がっている。 シンプルに性能、速度、費用面などの面でトップクラスの大規模言語モデルが登場したのだ。 しかし、今回Claudeが話題になっている理由は「Claude 3.5 Sonnet」というよりも、もうひとつのリリースであ
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
マジでポケスペ初めて読んだ｜ジスロマック
『ポケットモンスターSPECIAL』って漫画……読んだことあります？ ちぢめて『ポケスぺ』。実は私、読んだことなかったんです。ポケモンが結構好きなのに、人生で一度も読んだことがありませんでした。たしか小学生の頃に読んでいた友達はいたけど、私自身は読んでいませんでした。 だからなんかもう……「え、ポケスペ読んでないの！？」みたいなこと言われることも多くて、いい加減に悔しかったので読みました。 『ポケットモンスターSPECIAL』1巻より とりあえず、「出ている分」はおおかた読みました。 なので、シンプルに「赤緑～SVまで」の感想を書いていきます。 ゆめと ぼうけんと！ ポケットモンスター SPECIAL のせかいへ！ レッツゴー！ 第1章：赤・緑・青編『ポケットモンスターSPECIAL』1巻より この漫画、とにかくニョロゾが強い。 『ポケットモンスター 赤・緑』って、もうあらゆる媒体で翻案が
人工知能(AI)モデルが、人間の感情理解力を測るテストで人間並み、時に上回る成績を収めたことが分かった。ただ、訓練データにそうしたタスクが含まれていた可能性も否定できず、大規模言語モデルが「人のように」考えているわけではない。 by Rhiannon Williams2024.05.22 275 23 人間は複雑な存在だ。私たちのコミュニケーションの方法は多層的であり、心理学者たちは対話から意味や理解を推測する能力を測るためのテストを数多く考案してきた。 人工知能（AI）モデルは、こうしたテストでますます優れた結果を出している。ネイチャー・ヒューマン・ビヘイビア（Nature Human Behavior）に5月20日に掲載された新たな研究によると、一部の大規模言語モデル（LLM）は人の心理状態を追跡する能力（いわゆる「心の理論」と呼ばれる）を測るために設計されたタスクを与えられた場合、人
カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。 OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社AIモデルのAPIなどを提供している。 Command R+は、同社が3月に発表した「Command R」の後継となるモデルであり、Cohereが得意とする高い効率性と精度のバランスを重視したRシリーズの一部となる。 128K（12万
proxia.hateblo.jp ↑出した時点で「もう今年は短編集とかのほうのランキングはいいかな〜」みたいなムードだったんですが、村長から「マンガを怠けるな」とお叱りを受けたのでなんとかない気力を奮って作りました。 【レギュレーション】 ・1.2023年内に発売された日本語（翻訳含）作品の、短編集・単発長編（上下巻など第一巻発売時点で完結巻が明示されている作品。連作含む）。 ・2.2023年内に最終巻が発売された日本語（翻訳含）作品で、五巻以内で完結したもの。 ・基本的に電子版の出ている本のみ。 ・同人誌・自費出版は含まない。 【レギュレーション】 【短編集／単発長編】 1.ほそやゆきの『夏・ユートピアノ』 2.heisoku『春あかね高校定時制夜間部』 3.シャオナオナオ『守娘』 4.大武政夫『異世界発 東京行き』 5.ティリー・ウォルデン『are you listening?』 6
「Intelは欠陥のあるCPUを販売している」。第13～14世代CPUの不具合にゲームデベロッパーが苦言。リコールを促す | ニッチなPCゲーマーの環境構築Z
ゲームデベロッパーのAlderon Gamesは、「Intelは欠陥のあるCPUを販売している」と明言しました。以下、Alderon Gamesのアナウンスになります。 Intelは欠陥のある第13～14世代CPUを販売しています マルチプレイヤー恐竜サバイバルゲームであるPath of Titansの開発を行っている私たちAlderon Gamesのチームは、Intel CPUの安定性に関する重大な問題に直面しています。クラッシュしたり、不安定になったり、メモリ破損といった問題は、Intelの第13世代と第14世代プロセッサーでのみ発生します。リリースされたすべてのマイクロコード、BIOSなどのアップデートを行っても問題は解決しません。 私たちは以下の5つの範囲で不具合を確認しています。 エンドユーザー: 当社のクラッシュレポートツールは、Intel第13世代および第14世代環境で数千件
GPT-4o の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5
自作の、地道で普通の内容のベンチマークを走らせてみたら、M1 Mac miniがMacBook Pro（M3 Pro、RAM 36GB）に勝ってしまった。どうしよう。 「頭がおかしい」と言う人がいるかもしれないので説明まず、Apple Siliconの第1世代である「M1」とは何か？ それは、コンピュータの拡張性とか可能性を全部投げ捨てて、「コンピュータをワンチップですべて構成したい」というAppleの野望が、ストレートに実現し過ぎてしまった謎SoC（System on Chip）です。 そして、その最小単位のコンピュータは、RAM 16GBでGPUは速いものの外付けGPUと同じか、最上位のGPUには勝てないぐらい。バッテリー寿命はやたらともつ、無駄のない世界。 それだとRAMが少なすぎるとかムービー書き出し処理速度が不十分だというユーザーに向けて、複数のチップを貼り合わせて拡張（M1 M
「AI生成キャラクター」はいまどのレベルまで進んでいるのか？バンダイナムコ研究所が語るAIテキスト生成の光と影【CEDEC 2024】
頼展韜氏プロフィール 會田翔氏プロフィール バンダイナムコ研究所は、バンダイナムコエンターテインメントと協力して配信AIキャラクタープロジェクトを実施しており、「ゴー・ラウンド・ゲーム（ごらんげ）」という企画を進行している。その裏側で、あるいはゲームテキスト素材生成ツールを作る際において、どのようにAIテキスト生成を利用していたか解説が行われた。 ゲーム開発環境においてもAI生成は当たり前に 近年、LLMは目まぐるしい発展をしており、さまざまな領域を含む問題で構成されるベンチマーク「MMLU」において、人間の専門家を超えるスコアを達成しているという。 しかもこれは商用モデルのみならず、MetaのLlamaをはじめとするオープンモデルも性能差が縮まってきているという。ゆえに、ゲーム開発においても応用が効くわけだ。 ゲーム内のテキスト生成という分野においては、 『ダンジョンズ＆ドラゴンズ』のゲ
東京工業大学(東工大)と産業技術総合研究所(産総研)の両者は12月19日、現在公開されている中で、日本語に強い生成AIの基盤である「大規模言語モデル」(LLM)としては最大規模となる「Swallow」を、米・MetaのLLM「Llama 2」の日本語能力を拡張することで構築し、Webサイト「TokyoTech-LLM」にて一般公開したこと、またオープンで商用利用も可能なことを共同で発表した。 同成果は、東工大 情報理工学院 情報工学系の岡崎直観教授、同・横田理央教授、産総研の共同研究チームによるもの。今回、東工大は主にデータの語彙拡張によるモデル学習・推論効率の改善に取り組み、産総研はモデル構築に必須である大規模計算資源としてAI橋渡しクラウド(ABCI)を提供すると同時に、主に継続学習によるモデルの日本語能力の改善を担当したとしている。 産総研のAI橋渡しクラウド「ABCI」(出所:東工
Linux カーネルをバイパスして TCP 通信を 10 倍速くする | IIJ Engineers Blog
【IIJ 2023 TECHアドベントカレンダー 12/16の記事です】 この記事について 背景：TCP はコンピュータネットワークの通信において広く利用されているプロトコル・標準化された通信規格です。コンピュータは TCP/IP スタックと呼ばれるようなソフトウェアを実行することで、定められた規格に則って通信を行います。汎用 OS 環境では、TCP/IP スタックは多くの場合、カーネル空間に OS 機能の一部として実装されています。 課題：通信に関するソフトウェアの研究コミュニティでは、そのようなカーネル空間に実装されている TCP/IP スタックは、近年の高速な NIC の性能を十分に引き出すことが難しいという課題が指摘されてきました。 テクニックの紹介：当記事では、近年の研究コミュニティにおいて比較的一般的な高速化テクニックとされている「カーネルをバイパス（迂回）して TCP 通信を
2位とはなんだったのか
anond:20240625171138 2009年11月のいわいる事業仕分けから、もう13年も経った。「2位じゃダメなんですか？」の質問の発言で非常に曰く付きとなったアレだ。 ところが最近、13年も経ってまだなおナゼ「2位」という言葉が出てきたかが理解できてない人がかなりいる事を知った。 それどころか、事業仕分けによって日本のHPC分野が衰退したなどという認識まで飛び出す始末である。 ただ、資料もなしにどこが変だと言っても仕方あるまい。何がどうして「2位」なのか、少し語ろうじゃないか。 アーキテクチャ初期の次世代スーパーコンピュータ (この時点では名前が付いていなかったが、以下わかりやすく京と呼ぶ) 計画 は、補助金を投入してのHPC産業育成に目を向けられていた[1]。世界一の性能を出していた海洋研究開発機構の地球シミュレータが、NECのSXシリーズをベースにしたベクトル型であり、ベクト
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
ネットワーク パフォーマンスの解読: TCP と UDP のバルクフローのベンチマーク | Google Cloud 公式ブログ
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 6 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud ネットワーキング チームは長年にわたり、お客様のネットワークの構築、修正、強化の支援に深く携わってきました。その間に、ネットワークのパフォーマンスと効率を最大限に高める重要なパターンやベスト プラクティスを発見しました。この豊富な知見は、ただの理論的なリソースではありません。Google Cloud、クロスクラウド、オンプレミス、その他のクラウド プロバイダなどデプロイ先を問わず、お客様のビジネス目標達成を支援するよう設計された実用的なツールキットです。Google はこの専門知識を共有する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac やめて Linux PC を自作した - IT戦記
ITに強いはずのハイテク企業で、1億人超の個人情報が流出…… 「新技術こそ優れている」という思い込みが招いた大規模事件
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
Sakana AI
XZ Utilsの脆弱性 CVE-2024-3094 についてまとめてみた - piyolog
ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
Googleの画像生成AI「Imagen3」（ImageFX）の使用経験｜Browncat
ChatGPTのライバル「Claude 3」の使い方 良い点、悪い点まとめ (1/5)
二大企業大激突Ⅱ！！ スクウェアvs任天堂 前編｜初心カイ
『Winny』の金子勇さんの失われたED法を求めて - Qiita
月1万円でつみたてNISAを始めるならどっち？オールカントリ― vs S&P500
漫画大国フランスがついに「少女漫画」の魅力に気づきはじめた | 70年代の日本作品が半世紀を経て上陸
自作PC2023: Ryzenをやめた - k0kubun's blog
xzパッケージに仕込まれた3年がかりのバックドア、スケール直前に見つけたのはMicrosoftの開発者 | gihyo.jp
[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
RAGの実装戦略まとめ - Qiita
AIが「心の理論」テストで人間超え、この結果は何を意味するか
GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」
2023年読んだ新刊まんがベスト（短編集・単発長編／五巻以内完結篇） - 名馬であれば馬のうち
M3 Proに勝利。いまだに最強クラスのM1 Mac mini｜Piyomaru
東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開