近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
きれいなコードは互いに似通っているが、クソコードはどこもその趣が異なっている - きしだのHatena
先日のJJUG CCC 2023 Fallの懇親会でクソコードを研究しているという学生がいたのだけど、クソコードの研究は難しいという話をした。 人工的にクソコードを再現しても、あの野生のクソコードのクソさには全く足りないわけで。 トルストイが言うように「すべてきれいなコードは互いに似通っているが、クソコードはそれぞれにクソの趣を異にしているものである」なので、なかなか「これがクソコード」のように類型化するのも難しい。 典型的なクソコードを書いてみても、なんだかきれいなクソコードができてしまう。 クソコードはネットに出回らないので、資料の収集もまた難しい。ネットにないということは、ネットの情報に基づいている「AI」もホンモノのクソコードには触れていないことになる。 クソコード収集サイトをつくっても、実際のクソコードは業務固有処理も含まれるので、掲載できる形に整理していくと本来のクソさが薄れて
「CLANNADを愛する人は，Yahoo!掲示板にいた」 編集部：楽器 カメラマン：永山 亘 2004年4月28日。ビジュアルアーツのゲームブランド“Key”が，恋愛アドベンチャー「CLANNAD（クラナド）」を発売した。中身を知らない人でも「CLANNADは人生」なんてワードに聞き覚えはあるだろう。 2024年4月に入ってからのこと。梅雨を先取りした雨風に嫌気が差していたころ。私は“CLANNADが20周年”を迎えることに気付いた。語れる話はたくさんあったから，急いで文章をしたためた。でも。 5年に1回くらい思い出す過去に邪魔されて。 ふと，自語りしたくなり，すべて消した。 中学の生をTVアニメ「シスタープリンセス」で破壊され，Keyの恋愛ADV「Kanon」で再構築し，「AIR」で再始動した10代前半。とあるヤツのせいでネット上の人付き合いに深刻な障害を抱えていた時分。 当時のネットコ
VTuberを選ばなかった私たち皆さまはVRアイドル「えのぐ」をご存知でしょうか。 私たちは2017年に活動を開始し、今年の3月で活動8年目 / グループを結成して7年目を迎えた、バーチャル空間を拠点にライブや音楽活動をおこなうバーチャルアイドルグループです。 活動を開始した2017年の年末にキズナアイさまを中心とした「バーチャルYouTuber（VTuber）ブーム」が到来し、当時バーチャルで活動していた方々がその波に乗ってYouTubeチャンネル登録者数やSNSフォロワー数を大幅に伸ばす一方で ── 私たちは「VRアイドル」を名乗り続けたことでそのカテゴリに入ることができず、検索エンジンにもひっかからず、後から活動を開始した方々にもことごとく数字で追い抜かれていきました。 当時、私たちを応援してくださっていたファンの皆さまからも「なぜバーチャルYouTuberを名乗らないのか」「変なプ
こんにちは。 株式会社CHILLNNという京都のスタートアップにてCTOを務めております永田と申します。 弊社では宿泊施設様向けに宿泊施設の予約管理用のSaaSを提供しており、現時点で1000近くの施設様にご利用いただいています。 現在、これまでに溜め込んだ日本最大級の宿泊コンテンツの検索エンジンを構築しており、その過程でさまざまなデータベースを探索しています。 本記事では、AWSのKVSであるDynamoDBを題材に、公式ドキュメントに書かれているキー設計のベストプラクティスの背景を理解することを目的とします。 なお、本記事の執筆にあたって、こちらの動画を大変参考にさせていただきました。 DynamoDBとは DynamoDBとは、AWSで利用できる、あらゆる規模に対応する高速で柔軟なNoSQLデータベースサービスです。 DynamoDBが登場した背景は、アプリケーションの大規模化です。
デモとして、このブログに Pagefind を導入してみました。ヘッダーの検索アイコンをクリックすると検索フォームが表示されるので、キーワードを入力して検索してみてください。 使い方 Pagefind は構築済みの UI ライブラリと、CLI コマンドとしてインデックスを作成するためのツールから構成されています。まずは UI ライブラリの部分から見てみましょう。 UI ライブラリ Pagefind の UI ライブラリは、検索フォームと検索結果を表示するためのコンポーネントから構成されています。この UI は以下のコードを追加するだけで簡単に利用できます。 <link href="/pagefind/pagefind-ui.css" rel="stylesheet" /> <script src="/pagefind/pagefind-ui.js"></script> <div id="s
Pluralistic Google検索を初めて使ったときのことを覚えているだろうか。まるで魔法にかかったようだった。Altavistaや Yahooの検索品質が徐々に劣化していく中にあって、Googleは文字通り卒倒ものだった。インターネットへの最高の入り口だったのだ。 今日、Googleは検索市場の90%のシェアを占めている。彼らはその地位を力ずくで手に入れた。Googleは数百億ドルを賄賂に費やして、あらゆるデバイス、あらゆるサービス、あらゆるウェブサイトの検索ボックスの裏側にあるデフォルト検索エンジンの地位を確実にしている。 https://pluralistic.net/2023/10/03/not-feeling-lucky/#fundamental-laws-of-economics 偶然ではないが、Google検索は着実に劣化の一途を辿っている。いまや検索結果は、botsh
![なぜGoogleは“あなたの不満”を無視できるのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/df1fbcfb853756284b40841e70fc320268975ba8/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2F04Apr2024.jpg)
FBIがみんなに広告ブロッカーを使って欲しい理由
FBIがみんなに広告ブロッカーを使って欲しい理由2023.11.15 16:3598,228 Thomas Germain - Gizmodo US ［原文］ （ Kenji P. Miyajima ） 2022年12月26日の記事を編集して再掲載しています。 みなさんは広告ブロッカー、使ってますか？ 凶悪犯罪の捜査で忙しいはずの米連邦捜査局（FBI）が、公式サイトで広告ブロッカーを使用するように呼びかけました。 広告ブロッカーはネット詐欺防止に効果的GoogleやBingなどの検索結果にブランドや企業の広告が表示されるじゃないですか。インターネット犯罪苦情センターによると、広告のブランドになりすました犯罪者が何の疑いも持たないユーザーを本物そっくりの偽サイトに誘導して、ランサムウエアやフィッシング攻撃の餌食にするそうです。FBIは、対応策として広告ブロッカーが効果的としています。 FBI
この記事で書きたいことは、以下のような内容です。 ・昔SEの先輩に、「技術の詳細に通じていなくても、「そういう技術、そういう解決法がある」ということを把握しているだけで十分役立つ」と教わりました ・エンジニアの能力を測る尺度の一つとして、「課題」「問題」に対するアプローチをどれだけ思いつけるか、というものがあると思います ・「こういうやり方があった筈だ」「こういうアプローチが出来る筈だ」ということがなんとなくでも分かっていれば、それをとっかかりに調べることが出来ます ・その「そういう解決法があるということはなんとなく分かる」という状態を広げる為に、基盤技術に関する知識が重要です ・これは、生成AIに色々聞けるようになった今でも変わらないというか、むしろ昔以上に「とっかかり」の重要性が増しているような気がします ・「引き出しを増やす」という視点での勉強と、それを活かす為の基礎の重要性を、新人
転職のお知らせ、あるいは個人の日記です。 6月から以下のように所属変更となっています。 From 株式会社はてな To 株式会社一休 マネージャではなく、とくに役職のないソフトウェアエンジニアとして働きます。いわゆるIC (individual contributor)というやつです。 きっかけ はてなには新卒として入社して以来11年も勤めて、インターンやアルバイトとして関わった時期から数えると16年になります。出入りの激しいこの業界でずっと1社しか知らずに過ごすのは負い目に感じていました。また、年齢的にも今年で40歳になることもあって、そろそろ転職を経験しておかないとまずいという焦りもありました。 そんなときに、大学の同期でプライベートでも仲良くさせてもらっているid:suzakから声をかけてもらい、ちょっと真剣に転職を考えたのがきっかけでした。 できることではなくやりたいこと はてなで
これに対し、今回のデモを組織した団体「No Tech For Apartheid」は「自分たちの労働がアパルトヘイトや大虐殺の原動力となることは望まない」と訴える。Googleに対してイスラエル政府との契約の中止を求めるのは、発端となったプロジェクト・ニンバスの契約を「ガザのパレスチナ人を虐殺するイスラエルへの支援」と見なしていることによるものだ。 社員の解雇について同団体は「言語道断の報復行為」「Googleが自社の社員よりも、虐殺行為をしているイスラエル政府および軍との12億ドルの契約の方を大切にしていることが、これではっきりした」と反発した。 また抗議デモは平和的に行われ、Google社内で器物を損壊したり、同僚を妨害したりもしていないと主張。社員の解雇はGoogleのいう「開かれた文化」の虚偽をさらけ出したと訴え、解雇は不当だったとし全米労働関係委員会（NLRB）に不服を申し立てて
OpenAIがGPT Store開設、早速「SEOブログ記事自動生成」「AI検出回避に人間らしく加工」等が人気。レベニューシェア収益化も | テクノエッジ TechnoEdge
OpenAIが、かねてから予告していたGPT Store をようやく開設しました。 個人や企業が作ったカスタム版ChatGPTであるGPTsを分野ごとにブラウズ・検索して利用でき、自分が作ったGPTを公開することもできます。 現状では有料プランのChatGPT Plus加入ユーザーのみ、メニューの「Explore GPTs」から利用可能です。 ストアといっても利用に別途料金が必要なGPTsは今のところありませんが※、OpenAIは今四半期のうちにも、GPTsが利用された回数に応じて制作者に収益を分配するレベニューシェアを開始予定です。 (※ サードパーティーと接続したGPTsなどでは、チャットの過程で有料サービスに案内されることはあります。) 開設されたばかりのGPT Store でトップにフィーチャーされているのは、 AllTrails 世界中のトレッキングコースやアウトドア体験を場所・
生成AIを用いた開発者向けの検索エンジン「Phind」が、コーディング能力でOpenAIのGPT-4を上回ったことが明らかになりました。 Phind - AI Search Engine and Pair Programmer https://www.phind.com/blog/phind-model-beats-gpt4-fast Our GPT-4-beating coding model is now the default on https://t.co/epkoFW8Ozz. It's also 5x faster than GPT-4. Learn more in our blog post: https://t.co/PrOFETEbvd— Phind (@phindsearch) PhindはもともとHello Cognition(beta.sayhello.so)として
死ぬまでhttp://って無くならないのかな
家を整理してたら大昔の雑誌が出てきたんだけど、インターネットが流行り始めてた時期のものだったみたいでいろんな広告にデカデカと「http://www.なんたらかんたら.net」 みたいなURLが記載されてて、わー懐かしいと思ってたのね。 けどよくよく考えたら令和になった今の広告やら名刺やらにもhttps://って載ってたりするな、ということに気が付いて、なんだかちょっと不思議な気持ちになった。この表記思いの外長寿じゃない？ インターネット出始めの頃ってhttp://www.っていう部分がいかにも一般向けのことは考えずに作った仕組みです感があって、仮っぽいというか生っぽいというか、良くも悪くもちょっと怪しい感覚があって、まあそのうち仕組みも整えられるだろう位に思ってたんだけど、検索エンジンが出てきてもなおhttp://は生き残り続けてるわけだ。 インターネットを作った人は全世界の人が使うように
Google検索結果からAIによるまとめを排除するフィルタ「&udm=14」 - YAMDAS現更新履歴
udm14.com このサイトのドメイン名にもなっている「&udm=14」とは何かということだが、その前に the disenshittification Konami code というサイト名にも注意する必要がある。 disenshittification とは、ワタシも何度も（その1、その2）取り上げているコリイ・ドクトロウによるオンラインプラットフォームの質低下を指す造語 enshittification（メタクソ化）の対義語である。 そして、Konami code だが、もちろんコナミに由来する言葉で、いわゆる「隠しコマンド」全般を指すフレーズになってるそうな。 つまりは、「メタクソ化に抗う隠しコマンド」、それが「&udm=14」というわけだ。サイトデザインを見れば分かることだが、ここで対象となっているのは Google である。 検索エンジンとしての Google の質低下につい
先日、静的サイトに特化した全文検索ライブラリとして「Pagefind」というソフトウェアがあることを、下記の記事が話題になったことで知りました。 参考：静的サイトに特化した検索ライブラリ Pagefind を試す | grip on minds 実は、いまお読みのPublickeyはまさに、Movable TypeというCMSを用いて生成された静的なWebサイトです。現在、PublickeyではGoogleが提供している「Googleカスタム検索エンジン」を全文検索エンジンとして採用しています（右上の虫眼鏡アイコンから呼び出せます）。 しかしPublickeyでは以前からGoogleに依存しない、自前の全文検索エンジンを持てないかと模索しており、まさにPagefindは私が探し求めていたソフトウェアだったと言えます。 そこでさっそくPagefindがPublickeyに導入できるかどうか、
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
最終更新日: 2024年05月07日(火) 1. ご挨拶 2. 本記事執筆のモチベーション 3. ワークショップを通じて得たフィードバック 3-1. Pains -過去抱えた/現在進行形で抱えている辛み- 3-2. Approaches/Solutions -Pains を解消するために取った方策や導き出した解決策- 3-2-1. えいやで場所を決め打ちしてしまう(e.g., GitHub Wiki + Google docs しか使わない) 3-2-2. 個人的に、2023/12/05時点で〜みたいな書き方を心がけている 3-3. Tips -効果的な手法- 4. オーディエンスからの反響 4-1. 気づきや学び・NEXT ACTIONS 4-2. プレゼンター(@hayat01sh1da)へのフィードバック 4-3. Slack での反応 5. おわりに 1. ご挨拶 初投稿となります
はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセットで入力して回答させる技術のことです。 各企業ではこの RAG システムを積極的に導入していますが、ほぼ確実に課題になるのが検索部分の精度です。そして検索精度を上げるためには検索エンジンの知識が必要不可欠です。 本記事では検索エンジンの筆頭サービスである Azure AI Search を題材に、検索エンジンの基本的な仕組みや検索クエリの書き方について初学者向けに解説します。 RAG の検索部分を "Retriever" と呼びますが、この語源
症状検索エンジン「ユビー」 では、ローンチ当初から Firebase Auth (GCP Identity Platform) を使っていましたが、OIDCに準拠した内製の認証認可基盤に移行しました。 認証認可基盤そのものは m_mizutani と nerocrux と toshi0607(退職済) が作ってくれたため、僕は移行のみを担当しました。 結果として、強制ログアウトなし・無停止でビジネス影響を出さずに、年間1000万円以上のコスト削減に成功しました[1]。その移行プロセスについて紹介します。認証認可基盤そのものの紹介はあまりしません。 移行した理由 大量の匿名アカウント ユビーでは、アクセスした全ユーザーに対して自動的に匿名アカウントを発行しています。これにより、ユーザーがアカウント登録しているかどうかに関わらず、同じID体系で透過的に履歴情報等を扱うことができます。アカウント
No.1 blog.tinect.jp No.2 nlab.itmedia.co.jp No.3 diamond.jp No.4 diamond.jp No.5 biz-journal.jp No.6-10 論文を剽窃されて 1 年半かけて撤回させた話 - 宇宙線実験の覚え書き 論文海賊版サイト、日本の違法ダウンロード720万件 5年で5倍超 | 毎日新聞 本探しのプロ「図書館司書」の力で、子どもの頃の本棚を再現する | オモコロ ASCII.jp：国会図書館デジタルコレクションのリニュアルとChatGPT 「AIがあれば司書なんていらない」という人間の意見を見かけたので、AI側の見解を聞いてみたら至極真っ当な意見が返ってきた - Togetter No.11-20 「PC入力できる学生で十分」ある大学図書館で事務長が司書をクビにして学生に目録を任せた結果、大変なことになった話 - Tog
はじめに 2023年4月に基盤エンジニアとして Ubie に入社しました nerocrux です。主に Ubie の ID 基盤の開発と保守運用を担当しています。 この記事は、2023 Ubie Engineers アドベントカレンダー 5 日目の記事となります。 Ubie では、モジュラモノリスを採用しつつ、マイクロサービスアーキテクチャも採用しており、領域によってサービスを分けて、それぞれの担当チームが開発と保守運用をしています。 クライアントから一つのリクエストを受け取ったあとに、Ubie のバックエンドではリクエストを受け取ったサービスだけがそのリクエストを処理することもあれば、別のサービスにディスパッチし、複数のサービスがひとつのリクエストを処理して結果を返すこともあります。 マイクロサービス間の通信が Ubie の内部で発生したとしても、必ずしも無制限で自由に行われていいわけで
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
退屈じゃないこともAIに任せる
「AIによる業務効率化」がブームだ。といってもAIが仕事に使える、使わなければという機運が高まったのもこの1年足らずのことだし、技術動向が目まぐるしく変わっていることもあって、いまだ「定番」と呼べるスキルは生まれていない。プロンプトエンジニアリングが大事になるぞとか言われていたかと思えば、データ分析、画像生成、直近では動画の生成などが話題になり、「何に使える技術なのか」というイメージすら明確ではないのが現状だ。 こういうときに、新しもの好きというか、アーリーアダプター層とマジョリティの間の「キャズム」はずいぶん大きなものになると思われる。マジョリティ層が「使い方や規制の動向がはっきりするまで待っておこう」と考えるのに対し、アーリーアダプター層は次々と新しいものを試し、それによってAI活用の「コツ」のようなものを掴んでいく。おそらくそれはかつての「検索エンジンの使い方」と一緒で、言語化しづら
マツコの知らない LINE ログインの世界
Ubie プロダクトプラットフォーム所属の nerocrux です。今回は Ubie において、 LINE ログインを成功させるために工夫したことをいくつか紹介したいと思います。 面白いこともすごいこともやってないし、対象読者もよくわかりませんが、興味があったら読んでみてください。 はじめに 症状検索エンジン「ユビー」について Ubie では、症状検索エンジン「ユビー」（以下、ユビーと呼ぶ）という一般ユーザー向けのサービスを展開しています。ユーザーが簡単な質問を回答することで、関連する病名や、適切な受診先情報を得ることができるサービスとなっています。 ユビーは Web ブラウザ経由で利用されることが多いですが、iOS / Android のネイティブアプリも提供しています。 ユーザーがユビーを利用する際に、ユビーのアカウントを作成することで、一貫性のある問診・受診・受診後のフォローアップ体
自宅で運用されるメールサーバ 「WebとDNSとメールは自分で運用しなさい」「仕事で運用しているものを自宅で運用してはいけない」という教義に基づいて、我が家ではmacOSをサーバとしてWeb/DNS/メールを運用している。 このサーバにはMac Miniを使用しHeadless (ディスプレイを繋がない状態)で運用しているが、筐体が古くmacOSのサポート対象外となり、macportsの依存関係も壊れ始めていたため、Gmailのスパム対応強化の対応のためのメールサーバのDKIM導入を機に、重い腰を上げて新しく買って１年ほど放置していたM1 Mac Mini + macOS Sonomaに式年遷宮を試みた。 いくつかのトラブルはあったが、DNSとメールを新しいMac Miniに移行して、無事に運用を開始することができた。 新しいMac Mini (上)と古いMac Mini (下) いつのま
これでもうUIデザイン用のSVGアイコンに困らない！ 商用無料のSVGアイコンを横断検索・ダウンロードでき、カスタマイズもできる便利サイト -Iconbuddy
商用で無料利用できる、MITライセンスなどのオープンソースで利用できるSVGアイコンは、たくさんのサイトからリリースされています。これらをまとめて検索してダウンロードでき、しかもカスタマイズもできてしまう便利サイトを紹介します。 FigmaとVS Codeのプラグインも揃っており、そこから直接アイコンを利用することもできるので、かなり便利です。 Iconbuddy -200K+ open source free svg icons Iconbuddyの特徴 SVGアイコンの利用方法 Iconbuddyで利用できるSVGアイコン Iconbuddyの特徴 Iconbuddyは、オープンソースで利用できる200,000種類以上のSVGアイコンを無料で検索、ダウンロード、さらにアイコンのカスタマイズもできるアイコン検索エンジンです。 Iconbuddy -200K+ open source fr
この記事はNuco Advent Calendar 2023の12日目の記事です。 はじめに 技術は目まぐるしく変化・進歩していて、トレンドに追いつくには、まず信頼できる情報源が必要です。 このリンク集では、エンジニア向けのコンテンツを種類別に紹介します。業界の最新ニュース、学術論文、実践的な動画解説、そして専門家のコミュニティなど多様なリソースをまとめました。 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 知識共有コミュニティ Qiita 言わずもがな、国内最大級のコミュニティサービスです。言語・分野ごとのタグがあり、どのエンジニアにとっても使いやすいサイトになっています。 Zenn 「知識を共有するエンジニアに対価
【スクープ】グーグルが日本のマスコミに「宣戦布告」か…新聞社に突きつけた「不平等条約」の中身と「AI記者」驚愕の実力（週刊現代） @moneygendai
新聞記者はAIにとってかわられる。そんな未来予測は、まず日本から現実になるのか。世界最大の検索エンジンが、この国の新聞社に突きつけた条件は、業界の存亡をも左右しかねないものだった。 人工知能を積んだ黒船 1854年早春、黒光りする9隻の軍艦が浦賀沖に現れた。武力を背景に、アメリカが日本に「不平等条約」を強いたことは、日本人であれば誰もが知るとおりだ。 それから170年。多くの国民が気づかぬうちに、いま新たな「不平等条約」が結ばれようとしている。もっとも、かつてのように軍艦や大砲をちらつかせて、ではない。舞台は、いまや生活の必需品となった「ネット検索」なのだ。 この春、新聞各社に静かな衝撃が走っている。ある全国紙の関係者が明かす。 「'21年以降、国内の主要紙と地方紙あわせて50社以上が米グーグルと契約して、同社の『ニュース ショーケース』という記事配信サービスに記事を提供してきました。 今
ラピダスから振り返る日本の国家プロジェクト
日本がラストチャンスとばかりに開始した「日の丸半導体」ラピダスに多大な公費が追加されていることが話題を集めている今日この頃。 心無い専門家たちからは必ず失敗するだの金ドブだの批判殺到中だが、本当に日本（経済産業省）主導の国家プロジェクトは今まで成功しなかったのだろうか？ この記事では主に経済産業省、旧・通商産業省が中心となって始めた国家プロジェクトを振り返る。 超LSI国家プロジェクト（1976年）結論:成功簡単に:半導体製造の基礎研究に成功 大規模集積回路（LSI）の研究、特に基礎研究に力を入れた国家プロジェクト。 当時、半導体弱小国であった日本で700億円以上の金を基礎研究に投資するのは挑戦的であったが、電子ビーム露光技術などの研究レベルのアイディアを実用・量産レベルに持ってくることに成功。 よく「日本は半導体生産はダメだが、生産機械はまだシェアがある」というが、この40年前の国家プロ
今回の発表で強く感じたことは、やはりOpenAIの目指すChatGPTが単なるチャットアプリケーションではないということだ。 従来のオペレーティングシステム（OS）はハードウェアとアプリケーションの架け橋である。だがOpenAIはChatGPTを「言語で命令できるオペレーティングエージェント」と位置付け、人生のあらゆるタッチポイントで新たなゲートキーパーとなろうとしているように思える。 IT競争は手前の取り合い歴史を振り返れば、IT競争の常道とは、ゲートウェイを手前に築くことにあったようだ。PCの争いをOSが無意味化し、OSの争いをブラウザが、ブラウザの争いを検索エンジンがと、そしてそれをスマホとアプリが…このようにITの争いは常に手前を争うものだった。こうして一番手前を抑えた企業は、大きな利益を手に入れた。 今、OpenAIの動きは、このメタゲームに大きな変化を加えつつある。 OpenA
2024年7月17日 一般社団法人日本新聞協会 日本新聞協会は、生成AIの事業者に対して、報道コンテンツを生成AIの学習等に利用する場合には許諾を得るよう繰り返し求めてきました。しかしながら事態は一向に改善されないまま、サービスの拡大が図られています。ウェブ上の検索に連動させてAIが回答を生成するサービス（検索連動型の生成AIサービス、検索拡張生成＝RAG）では情報源として、報道コンテンツを無断で利用しているうえ、記事に類似した回答が表示されることが多く、著作権侵害に該当する可能性が高いと言えます。 報道コンテンツは、新聞社や通信社が多大な労力とコストをかけて作成した知的財産であり、報道各社が著作権等の法的権利を有します。報道コンテンツを利用するのであれば、利用者が報道各社から許諾を得て、対価を支払うのが原則です。新聞協会は報道機関の努力へのタダ乗り（フリーライド）が許容されるべきではない
個人向け「Windows Copilot」が12月1日にやってくる 生成AIはPCの使い方をどう変えるのか？
日本マイクロソフトが、生成AIを活用したアシスタントツール「Copilot」の個人向け正式版を12月1日にリリースする。現在のプレビュー版に引き続き、Webブラウザやアプリからアクセスして利用できるだけでなく、Windows 11に一機能として組み込まれる。これまでのPCの使い方に大きな変化を及ぼす、生成AIの新機能に触れる人口が大きく増えそうだ。では、具体的にどのような機能が使えるのか。 GPT-4ベースのCopilot Copilotは、人間と会話するような自然な言葉で物事を調べたり、コンテンツを創作したり、アプリの操作を指示したりできる米Microsoftの独自技術だが、ベースとなっているのは「ChatGPT」で一世を風靡（ふうび）した米OpenAIの大規模言語モデル（LLM）「GPT-4」だ。 2社の協業によって、GPT-4に検索エンジン「Bing」のアルゴリズムを統合したものがC
米アップルは、アルファベット傘下グーグルの生成ＡＩ（人工知能）サービス「ジェミニ（ Ｇｅｍｉｎｉ）」の「ｉＰｈｏｎｅ（アイフォーン）」への搭載に向け交渉しており、ＡＩ業界を揺るがす大型合意につながる可能性がある。事情に詳しい複数の関係者が明らかにした。 非公開情報を理由に関係者が匿名を条件に語ったところでは、両社はアイフォーンのソフトウエアに今年搭載する新たな機能を強化するため、グーグルの生成ＡＩモデル、ジェミニの使用許可（ライセンス）をアップルに与える交渉を活発に行っている。 関係者によれば、アップルは対話型ＡＩ「ChatGPT（チャットＧＰＴ）」を開発した米オープンＡＩとも最近話し合いを持ち、同社のモデルの使用も検討しているという。 アップルとグーグルとの合意が実現すれば、両社の検索エンジンでのパートナーシップがさらに強化される。グーグルは同社の検索エンジンをアイフォーンや他のデバイス
自由民主党 競争政策調査会で事務局長を務める衆議院議員の小林史明氏は2月29日、iPhoneアプリを純正ストア以外からもダウンロード可能にするなどの内容を盛り込んだ法律案について、党内での議論と手続きを経たうえで、今通常国会中の提出を目指すと明らかにした。可決されれば1〜2年後に施行される見通しだ。 この法律案は、スマートフォンにおける特定企業の寡占を防ぐためもので、公正取引委員会が概要を取りまとめた。 具体的には、ソフトウェア、モバイルOS、アプリストア、ブラウザー、検索エンジンの計5つを「特定ソフトウェア」と定義し、その種類ごとに政令で定めた規模以上の事業者を「特定事業者」に指定。主にAppleやGoogleを念頭に置いており、違反した場合には課徴金の納付命令も出せるようにする。 例えばアプリストアでは、iPhoneアプリについて、Apple以外のアプリストアからダウンロード可能にする
1.プロンプトエンジニアリングとは 1-1.プロンプトとは 1-2.プロンプトの構成要素 2.プロンプトエンジニアリングの代表的な手法 2-1.Zero-shot prompting 2-2.Few-shot prompting 2-3.CoT（Chain-of-Thought） Prompting 2-4.Zero-shot CoT 2-5.Self-Consistency 2-6.Generate Knowledge Prompting 2-7.ReAct 2-8.Directional-Stimulus -Prompting 2-9.Multimodal CoT Prompting 3.敵対的プロンプトエンジニアリングの代表的な手法 3-1.Prompt-Injection 3-2.Prompt-Leaking 3-3.Jailbreak 3-4.Do Anything Now 3-
米アップルは同社ウェブブラウザー「サファリ」のプライベートモード向け標準検索エンジンについて、アルファベット傘下のグーグルからダックダックゴーに変更する可能性を協議していた。事情に詳しい関係者が明らかにした。 グーグルの検索事業を巡る反トラスト法（独占禁止法）訴訟を担当するアミット・メータ判事が４日、ダックダックゴーのガブリエル・ワインバーグ最高経営責任者（ＣＥＯ）とアップル幹部のジョン・ジャナンドレア氏の証言を非公開にしないとの判断を示した。これら協議の詳細は週内に発表される見込み。
Nintendo Switch『スイカゲーム』の“ニセモノ被害”が深刻化。公式サイトより目立ってしまう厄介すぎるニセモノゲーム - AUTOMATON
突如として人気が爆発し、2023年最大級のダークホースとなった『スイカゲーム』。同作のニセモノゲームの増殖が悪化しているようだ。本家が対応に苦慮していることがうかがえる。ゲーム開発者Yanase氏などが伝えている。 『スイカゲーム』は、箱にフルーツを投入しながらスコアを稼ぐパズルゲームだ。現在はAladdin Xがパブリッシャーを担当している。対応プラットフォームはAladdin X/Nintendo Switch。本作では同じフルーツ同士がくっつくと、ひと回り大きな別のフルーツに進化することが特徴で、もっとも小さなさくらんぼから、もっとも大きなスイカまで11種類のフルーツが存在。箱からフルーツが溢れ出てしまうとゲーム終了となるため、無駄のないようにうまくくっつけながらハイスコアを目指すのだ。 本作は2021年12月にリリースされた作品ながら、今年9月に入りインフルエンサーを中心に人気が爆
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGの性能を改善するための8つの戦略 | Fintan
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
「CLANNADを愛する人は，Yahoo!掲示板にいた」
6年前、VTuberを選ばなかった私たちの現在｜えのぐ
DynamoDBのベストプラクティスを技術的詳細から理解する
静的サイト向けの全文検索エンジンと UI ライブラリの Pagefind
なぜGoogleは“あなたの不満”を無視できるのか | p2ptk[.]org
解決法の「とっかかり」をなんとなく把握しておくことが大事だという話
株式会社一休に入社しました - 貳佰伍拾陸夜日記
Googleオフィスに警察、社員50人超を解雇 抗議デモ対応が見せつけた“IT界の巨人”の変貌ぶりとは
大規模言語モデル「Phind」がコーディングにおいてGPT-4を上回る
静的サイトに特化した全文検索ライブラリ「Pagefind」、さくらのレンタルサーバで動かしてみた
社内技術ドキュメンテーションを科学する - スタディサプリ Product Team Blog
RAGは検索エンジンが命！Azure AI Search初心者入門 - Qiita
Firebase Authから内製認証基盤に無停止移行して年間1000万円以上削減した
2023年図書館系はてなブックマーク ベスト100 - やわらか図書館学
マイクロサービス間通信における認証認可およびアクセス制御
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
話題のGraphRAGとは - 内部構造の解析と実用性の考察
一時間以上家を離れるとメールサーバがダウンする問題 - show log @yuyarin
全エンジニア必見！情報収集のためのリンク集 - Qiita
オペレーティング・システムから、オペレーティング・エージェントへ｜深津 貴之 (fladdict)
生成AIにおける報道コンテンツの無断利用等に関する声明｜通信・放送｜声明・見解｜日本新聞協会
アップル、 iPhoneへのグーグルＡＩ「Gemini 」搭載で交渉中－関係者
iPhoneアプリを純正ストア以外からも入手可能にする法律「今通常国会中の成立めざす」と自民党調査会
プロンプトエンジニアリングとは？ 16種類の手法を記述例とともに解説
アップル、グーグルからダックダックゴーへの切り替え検討－関係者