安全で信頼できる対話AIのためのアプローチ：InstructGPT, Sparrow, Galactica - どこから見てもメンダコ
OpenAIのInstructGPT, DeepMindのSparrow, MetaのGalacticaにおける対話AIの信頼性/安全性向上のためのアプローチをまとめます Words have the power to both destroy and heal. When words are both true and kind, they can change our world. 言葉は人を傷つける事も癒す事も出来る。言葉から憎しみと偽りが消えた時、それは世界を変える力になる ― 仏陀 CivilizationⅣ "アルファベット" 言語モデル論文あるある; 格言引用しがち 安全で信頼できる対話とは何か？ 対話AIの実用化のために 虚言と毒性の問題 安全性ベンチマーク OpenAIのInstruct GPT 強化学習 from Human Feedback （RLHF） 指示によって
日本経済新聞社での事前学習済み言語モデルの構築と活用 — HACK The Nikkei
研究開発部署「日経イノベーション・ラボ」の石原です。 Nikkei Advent Calendar 2022の 23 日目を担当します。 日本経済新聞社では、ユーザへより良いサービス利用体験を提供するため、広くデータの利活用を進めています。 本記事では特に「自然言語処理」と呼ばれる領域に焦点を当て、2022 年の主要な取り組みの一つとして、昨今の急速な進展の根幹を担う「事前学習済み言語モデル」の構築と活用に関する事例を紹介します。 最初に自然言語処理や事前学習済み言語モデルの概要を説明し、その後に日本経済新聞社での取り組みをまとめます。 日本経済新聞社では積極的な対外発表が推奨されており、本記事は技術ブログ・外部登壇・論文発表で公表済みの内容をもとに構成しています。 自然言語処理とは 自然言語処理とは、人間が日常的に使っている言語（自然言語）をコンピュータで処理するための一連の技術です。
[論文読み] GRAPH-BERT: Only Attention is Needed for Learning Graph Representations - Qiita
[論文読み] GRAPH-BERT: Only Attention is Needed for Learning Graph Representations機械学習DeepLearning論文読み はじめに GRAPH-BERTの論文を読んだので簡単に内容をまとめておきたいと思います。 論文： GRAPH-BERT: Only Attention is Needed for Learning Graph Representations 公式リポジトリ： https://github.com/jwzhanggy/Graph-Bert 注意事項として、必ずしも私が正しい理解をできている保証はありません。論文も公式実装も易しめなので気になった方は公式をご覧ください。 論文概要 GRAPH-BERTとは、グラフデータをBERTで学習しようというGraph Neural Network（GNN）です
![[論文読み] GRAPH-BERT: Only Attention is Needed for Learning Graph Representations - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/298a85002fc4060e83eabcedd94dad73c835960c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU4JUFBJUFEJUUzJTgxJUJGJTVEJTIwR1JBUEgtQkVSVCUzQSUyME9ubHklMjBBdHRlbnRpb24lMjBpcyUyME5lZWRlZCUyMGZvciUyMExlYXJuaW5nJTIwR3JhcGglMjBSZXByZXNlbnRhdGlvbnMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTVhYWU5NTBmMDkwNTJiN2M2NjgwN2Y3YjAwOGI5MjM1%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwY2h5b25ldnZpJTIwaW4lMjAlRTYlOTclQTUlRTklODklODQlRTMlODIlQkQlRTMlODMlQUElRTMlODMlQTUlRTMlODMlQkMlRTMlODIlQjclRTMlODMlQTclRTMlODMlQjMlRTMlODIlQkElRTYlQTAlQUElRTUlQkMlOEYlRTQlQkMlOUElRTclQTQlQkUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTMwNGUzMmZlMDBiOTgyZGU0ZTJlYzQ5ZTgxNDU4NjBh%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0e867035f9808d7a4da4cfba20536446)
僕はいつからホームページを作り始めたのだろう？ - Neo's World
僕はいつからホームページを作り始めたのだろう？ このサイトの開設以前にも、父が作っていた家族のサイトの中に自分のページを作っていたことは過去記事などで何度か触れてきたが、「初めてホームページというモノを作った日」が分かるデータが現存していない。そこで、記憶だけでなく、家族写真に写り込んでいる情報や製品自体の発売日など各種資料をかき集めて、「自分が初めてホームページを作った日」がいつ頃なのか、可能な限り正確な時期を算出してみようと思う。 年月日 記録 記憶・推測
Mastodon 体験記
Twitter から Mastodon に移住して一ヶ月ほど経ち、あんまり Twitter に戻る気がなくなってきた。せっかくなので、備忘録と案内を兼ねて、Mastodon への移住経緯とその後のことや、いろいろ感想などをまとめておこうと思う。とりあえず、一言で言うと Twitter には多分戻らんと思うのでよろしくという感じ。 Mastodon への移住 正直きっかけは今でもよく分からない。2023/01/30 に毎度ながら Twitter を開いて TL を見てたんだが、ふと寂しさを覚えた。割と、流速は速かったと思うので人がいなかったわけでも無さそう。そもそも「フォロー中」のタブが増えてから、割と Twitter で寂しさを覚えることは多かった。凍結騒動で色んな人が凍結され Mastodon に行ったみたいなことも聞いていたので、なんかあまり「フォロー中」のタブの人口がいないことが原因
若者の有意性検定離れ｜Yuki Yamada
っていうニュースがいつか出るのかな。 本日，Natureに以下のような意見が出ました。 Scientists rise up against statistical significance これについてのエディトリアルも。 It’s time to talk about ditching statistical significance 52カ国，854人の賛同者が署名しており，私もしました。 簡単に言うと，有意性検定やめようぜということです("Retire Statistical Significance")。そもそもこの問題については以前より脈々と議論が続いてきており，2016年のアメリカ統計学会 (ASA) の声明を皮切りに，有意水準を0.005にしようぜ，いやいやそれ本質的な解決にならんて (私はこちら側)，などのやり取りが起こり，今回の意見に至りました。まあ言ってることはASA
APA Publication Manualで学ぶ経営学研究法 - 講義のページへようこそ
APA Publication Manualは、米国心理学会が標準としている論文作成のための規則であるAPA styleを詳細に解説したマニュアルである。米国心理学会による標準だといっても、心理学にとどまらず、経営学やその他多くの社会科学などのジャーナルで標準になっている論文フォーマットである。この書籍はそもそも、研究者がAPA styleを用いてジャーナルに投稿するための論文原稿を作成するためのマニュアル書であるわけだが、実は、単なるマニュアルに留まることなく、経営学を含む学術研究を志向している人にとって非常に有益な情報が網羅されているため、研究方法論の標準テキストとして指定してもよいくらいの良書であるといえる。 APA Publication Manualは、プロの研究者として優れた論文を執筆するためのマニュアル書である。ここでいう優れた論文とは、当然のことながら学術的に優れているとい
GPT Index のナレッジグラフ機能を試す｜npaka
GPT Index のナレッジグラフ機能を試したので、まとめました。 1. ナレッジグラフ「ナレッジグラフ」 (Knowledge Graph) は、さまざまな知識の関係をグラフ構造で表したものです。知的システムの基盤となるデータベースとして用いられます。 「GPT Index」は、RDF フレームワークと直接互換性のある「トリプル」 (主語、述語、目的語) として表されるナレッジグラフデータをサポートします。内部的には、グラフデータは有向グラフとして管理されます。 現在、「GPT Index」は、LLMがサポートするトリプルの操作を2つ提供しています。 ・グラフ抽出 (Graph extraction) : 与えられたテキストからトリプルを抽出 ・グラフQ&A (Graph Q&A) : グラフデータを応答合成のコンテキストとして利用 2. グラフ抽出Google Colabでの「GPT
TabPFN - Qiita
初めに このシリーズでは、機械学習や数理最適化などの数理モデルのざっくりとした理論と実装コードを紹介します． 今回紹介するのは，TabPFNというテーブルデータのためのTransformerモデルです．論文では「小さな表形式データに対して1秒以内に教師あり分類タスクを実行でき，ハイパーパラメータのチューニングがいらない高精度のモデル」と紹介されています．精度としてはOpenML-CC18というデータセットの中の30個のデータセットでGBDTの性能を上回ったほか，AutoMLに対して同等の精度を70倍の速度で達成したそうです． 論文：TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second 目次 1. 概要 2. ざっくり理論 3. 実装 4. おわりに 5. 参考文献 1. 概要
BARTxiv (論文要約) x fugumt (翻訳) x GROBID (PDF論文抽出)で論文要約を自動化する
こちらでBARTxivを使えばGPT-3.5を使わなくても要約できると書いたが、実際にやってみた。 Google colab 使い方 ランタイムからすべてのセルを実行をクリックし、最初のセルの下に出てくるファイル選択で任意のpdfを選択するだけ 実装 基本的にモデル呼び出して適用させるだけ # ArXiv論文要約モデル: BARTxiv from transformers import pipeline summarizer = pipeline("summarization", model="kworts/BARTxiv") # 翻訳モデル: fugumt from transformers import pipeline translator = pipeline('translation', model='staka/fugumt-en-ja') # 表示させるためのmarkdown
Flan-PaLMの学習に使われているpromptの手法を使ってAIに褒めてもらう｜oshizo
以前の記事で、AIのべりすとを使って頑張ったことを褒めてもらえないかを試していました。 GPT-3などの大規模言語モデルでは、推論タスクの性能を高めるためにいろいろな工夫が研究されており、今回はそれらの研究結果をまねることで褒められの精度を上げられないか試してみました。 Flan-PaLMの論文を参考にしているので、まずはこの論文に含まれている手法を少し説明します。 Flan-PaLMの論文2022/10に、Scaling Instruction-Finetuned Language Modelsというタイトルで、難しい推論タスクで高い性能をもつ言語モデルが発表されました。 これは、540Bパラメタを持つPaLMを Instruction finetuning という手法で訓練したものです。 論文のFig.3に、学習データの作り方のアイデアが記載されています（以下はDeepLで日本語訳した
データの質感 - n0te
情報にもモノと同質の「所有する喜び」があって良いんじゃないか。 本も、ニュースも、音楽も、デジタルデータとして購入する事が多くなった。かつては、発売日にお店まで時間をかけて買いに行ったものだけど、今や、どこにも出かけること無く、ダウンロードで手に入れる事ができる。場所も取らず、楽しんだ後に保管する場所にも困らない。購入や保管に関する様々な面倒から解放されて、気軽にコンテンツを楽しむ事ができる。これは、とても大きな環境変化だと思う。 しかし、音楽というコンテンツだけでなく、音楽を記録した媒体やブックレットなどの付属品まで含めて、パッケージとして「音楽を買いたい」と思うことがある。僕たちは、データとしてコンテンツを買うようになってから、コンテンツ以外の要素からも何らかの満足を得ていたことに改めて気づかされた。 モノは手に取ることができる。コンテンツそのものに対する感動とは別に、手触りから伝わる
KDDCUP 2020 ML Track2入賞手法の紹介（グラフニューラルネットへの攻撃と防御） - Qiita
みなさん、今年の4月、5月は何してましたか？ 緊急事態宣言が出てステイホームしていた人も多いと思いますが、在宅でできるデータ分析の仕事と言えばKDD CUPですよね！（無理矢理） ドコモの落合です。KDD Cupはデータマイニングの国際学術会議であるKDDで開催されている、1997年からの歴史がある世界最高峰のデータ分析コンペです。 ドコモR&DではAI・データサイエンス分野での実力向上のために2016年から毎年KDD CUPに参加していて（KDD CUPは業務時間内に取り組んでいいことになっています）、昨年は1つのトラックで優勝しました。今年は、3部門で入賞1,2することができました。ML Track1については初日の記事で紹介しています。 この記事では、ML Track2で446チームが参加したなかで4位に入賞した手法について解説します。 KDD Cup 2020 ML Track2
to 不定詞と from doing の関係
前回、to 不定詞が未来志向性を持ち、動名詞が未来志向性を持たないことを述べました。今回は、それを少し発展させたいと思います。 I want to finish the job by ten.（10時までに仕事を仕上げたい）という文の場合、未来志向性が感じられるわけですが、これと同じように、I want you to finish the job by ten.（10 時までに仕事を仕上げてもらいたい）という文でも、「仕上げる」のは「これから」のことであり、やはり、未来志向であることが分かります。この "V O to do" という形で使う動詞は、非常にたくさんあります。以下に主なものを挙げます。 force ≒ compel ≒ oblige O to do（O に～することを余儀なくさせる、O に無理やり～させる） tell ≒ command ≒ order O to do（O に～
10日間大学時代の気分に戻ってLTLで仕様を書いてみた - cloverrose's blog
会社のイベントで1週間何しててもいい期間があったので、大学時代に研究していた形式手法の1分野であるLTL仕様からオートマトン合成の分野に触れていました。 タイムライン 以前使っていたAcacia+というツールがリンク切れになっていたことに驚く LTLからオートマトン合成のコンペティションが2014年から開催されており使いやすく高性能なLTL合成ツールの発展に貢献していた TLSFという生のLTLをラップした仕様形式がベンチマークの共通形式として普及していた。入出力のシグナルとオプションがLTLとセットで管理できる。 Strixというツールが2019年のコンペで1位になっていたのでOnlineでもページで遊んでみる Strixが良さそうなのでDockerfile作ってインストールして触ってみる Strixの内部でowlというLTLパースとωオートマトン変換をやるJavaライブラリ使っていて、
プロンプトは頑張らず雑コラで始める stable diffusion でのAIイラスト生成 - MANA-DOT
実は最近StableDiffusionで画像生成を楽しんでいます。 おそらく多くの人とは違い、自分はtxt2imgでプロンプトを頑張ることはせず、img2imgメインでイラスト生成をしています。覚書の意味も含めてイラスト生成の手順を紹介します。 今回は｢商店街のど真ん中でダイソンのコードレス掃除機を自慢する緑髪の魔女の女の子｣を生成します。 利用しているのは AUTOMATIC1111/stable-diffusion-webui 、モデルは Delcos/Hentai-Diffusion です。HentaiDiffusionは名前はいかがわしいですが、かわいいイラストを出しやすいです。 完成形 ｢商店街のど真ん中でダイソンのコードレス掃除機を自慢する緑髪の魔女の女の子｣です。 0. 元絵の準備 素材の用意 構図を大雑把に脳内でイメージし、必要な素材を集めます。 魔女の女の子のポーズを取ら
経験は「実体験の量」というより「考えた時間」 - やしお
先日、外科手術を終えた後、体を動かせないので病室のベッドで4時間ほど天井を眺めていた。こんなに時間が過ぎるのを遅く感じるのかと思った。それで何となく考えていたことのメモ。 医者からは手術に伴うリスクのあれこれを事前に説明されていた。そうしたリスクの最良と最悪の振れ幅のあいだで言えば、手術の結果はかなり良かった。とてもうれしい。本当にお医者さんに感謝している。 もし事前に「難しいこと」が伝えられていなければ、良い結果だったとしても当たり前だとしか思わなかったかもしれない。依頼を受けたプロが、素人に「どういう難しさがあるか」をある程度説明しておけば、うまくできた時には正しく感謝されるし、残念な結果になっても正しく受け入れてもらえる。 たまにネットで、プログラマやデザイナーや絵描きがクライアントから理不尽な要求を受ける話を見かける。こうした場面でも必要なことかもしれない。（そもそも依頼する側が相
優先度という言葉を雑に使わないでほしい - 橋本商会
昔から「優先度」という言葉を見ると直感的にイラッとするshokai なぜなのかよくわかってなかったので考えてみる 要因 1. 「度」と言ってるくせに、数値で表現されることがほぼない 「重要」「重要ではない」の2種類のラベルで十分だと思う 2. 最適な作業順に対する指標のひとつでしかないくせに、態度がデカい 優先度低のタスクからやった方が良い場合がけっこうある 最終的に全体の設計の整合性が取れたり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いま小中学生に人気のSNSとは…！？ | aqz/tamaina
CNET Japan Blog - 梅田望夫・英語で読むITトレンド：ポストバブルのネットビジネスとして注目集めるSocial Networking