生成AI以後
生成AI以後 2023.09.21 Updated by Ryo Shimizu on September 21, 2023, 10:05 am JST 生成AIが「民主化」されたと言えるのは、昨年8月24日のStableDiffusionの公開を起点として良いだろう。 StableDiffusionは破格の性能のAIを、誰でも買える程度のコンピューティングパワーのコンピュータで、自由に改造して使うことができると言う意味で、真の民主化を達成した。 それから一年が経過して、昨年末にはChatGPTが注目を集め、現在では単に「AI」と言えば生成AIを指すようになった。 生成AIであるかそうでないかの違いは、その構造というよりも扱う情報量の違いでしかない。 AIが扱うデータは全て行列の集合の集合(またはその集合)、これをテンソルと呼ぶが、あるテンソルを入力したときに別のテンソルに変換するというも
グーグル、検索サービスにAI 文章の意味も理解
日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 【シリコンバレー=白石武志】米グーグルは25日、検索サービスに文章の意味を理解する人工知能（AI）技術を取り入れると発表した。これまでは入力されたキーワードをもとに検索していたが、ユーザーが単語をつなぎ合わせた文章を入力すると、AIが文の意味を理解し、求める情報を検索ランキングの上位に表示できるようになるという。当初は英語版に限られるが、将来は日本語など多言語に展開する。 グーグルが2018年に発表した「BERT」と呼ぶ自然言語処理技術を、自社の検索サービスに応用する。インターネット上にある大量のデータを用いてAIが自然言語を効率的に学習できる技術で、検索結果の一部を強調表示する機能で使い始めていたが、検索結果のランキング表示の仕組みにも応用を始め
2018年9月20日、Quanta Magazine "Titans of Mathematics Clash Over Epic Proof of ABC Conjecture" の翻訳
tar0log.tumblr.com tar0.tumblr.com | taro.haun.org | @tar0zzz | @4bungi | @4bungi | suzuri Tags: abc, eht, life, mini, prfm, photo, ringo, sci, writing Feb 21, 2023: My blog has moved to 4bungi.jp/blog/. I will keep this tumblr so the links will not be broken, but I am also copying the articles I have posted here to 4bungi.jp. Life is like riding a bicycle. To keep your balance you must keep movin
こんにちは！逆瀬川 ( @gyakuse ) です。 今日は最近作ったもの、書いたもの、勉強したことを備忘録的にまとめていきたいと思います。 なぜ書くのか、なぜ学ぶのか DeepLearningの普及以降、Attention Is All You Need以降、Hugging Faceでの民主化以降、そしてStable DiffusionやChatGPTの登場以降、どんどんAGIへの距離が短くなってきています。未来は想定より大きく変わりそうです。どったんばったん大騒ぎのときはみんなが分かっておくべきことは効率的に共有すべきで、そのために書いています。書くためには論文等を読む必要があります。そしてそのためには基礎からしっかり学ぶことが大事です。次の一歩をみんなで歩んでいくために、学び、書いています。 間違ったことを言うかもしれませんが、それでも誰かのためになれば嬉しいです。あと、個人的にはこ
マネーフォワードCTOが考えていること（2021年9月） - Money Forward Developers Blog
こんにちは。 マネーフォワード CTOの中出（なかで）です。 CTOの私が、普段「なにを感じて、どんなことを考えているか」について、四半期に一回社内へ共有している内容を一部編集し、エンジニアブログに公開したいと思います。 前回はこちら：マネーフォワードCTOが考えていること（2021年6月） 目次 エンジニア組織の英語化 VPoEがベトナム拠点に赴任 AI領域のエンジニアの採用拡大 名古屋拠点の設立準備 エンジニア組織の英語化 マネーフォワードはグローバル企業を目指します。 今後、より積極的に世界中から優秀なエンジニアの方の採用を進めていく目的で、2024年度中を目処に、社内エンジニア組織における仕事上のコミュニケーション言語を英語にすることを決定しました。 ※ 全社のコミュニケーション言語はこれまで通り日本語となります。 今後の実施イメージ： 英語話者が配属されるチームから順次開始(20
「臨床も研究も、向かう先は同じ」 脳外科から基礎研究に転身した大須賀覚氏が語る、アメリカでの新薬開発 大須賀 覚 氏（がん研究者／アラバマ大学バーミンハム校 助教授） 2020.04.21 「ほとんどのがんの基礎研究者は、新薬を一生で一つも作れない」――。自身が携わる研究の道を、大須賀覚氏はそのように語る。 かつては日本で脳神経外科医として、脳腫瘍患者の手術・治療に従事していた大須賀氏だが、その後、基礎研究者に転身。現在はアメリカのアラバマ大学バーミンハム校（UAB）医学部脳神経外科助教授として、脳腫瘍の新規薬剤の研究開発に従事している。 2018年からは研究者の立場から、がん治療に関する情報の発信もしており、4月2日には共著『世界中の医学研究を徹底的に比較してわかった最高のがん治療』（ダイヤモンド社）が出版された。 困難な研究の道に、なぜ、自分の一生をかけるのか。拠点をアメリカに移した理
rinna社、日本語に特化した画像生成モデル「Japanese Stable Diffusion」を公開〜日本語画像生成モデルの公開と画像生成サービスの開始〜 rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化した画像生成モデル「Japanese Stable Diffusion」を公開します。また、このモデルを用いた画像生成サービスも提供開始します。 ■背景 rinna株式会社は「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指しています。その取り組みの中で、画像などの非言語コミュニケーションを重要視し、かねてよりAIりんなをはじめとしたAIキャラクターが発信する画像生成や、研究成果として学習済みの言語画像モデル
突撃！隣のキーボード Studyplus 2019 - Studyplus Engineering Blog
こんにちは。今年の5月に入社したiOSエンジニアの大石(id:k_oishi)です。 私は入社時のオリエンテーション終了後、最初にしたことが社内のSlackでキーボードチャンネルの検索という程度にキーボードが好きな者です。 当然ではありますが、以前から他のエンジニアがどのようなキーボードを使っているのか気になっていました。 そこで今回は弊社のエンジニアに社内で使用しているキーボードやこだわりなどを聞いてみました。 現在使用しているキーボード エンジニアは入社時に希望するPCやスペックを選択することができますが、現在は全員がMacBook Proを使用しています。 まずはオフィスでどのようなキーボードを使用しているか聞いてみました。 やはりMacBook Proにビルドインされているキーボードを使っている人が多く、それ以外のキーボードを使っている人は少数派であることがわかりました。 また、外
「なぜそうなるのか」がわかりたい。 ご褒美を見つけられる能力。 プログラムの経験が会社の経営に活きている。 それが合理的ならさっさと覚悟を決める。 「プログラマーはノーと言ってはいけない」発言。 当事者として後悔のないように優先順位をつける。 ◆岩田さんのことばのかけら。その３ 第一章岩田さんが社長になるまで。 高校時代。プログラムできる電卓との出会い。 高校生のとき、まだパソコンということばもないような時代に、わたしは「プログラムできる電卓」というものに出会いました。それで授業中にゲームをつくって、隣の席の友だちと遊んでいたのですが、思えば、それがゲームやプログラムとの出会いですね。 その電卓はヒューレット・パッカードという会社がつくったもので、アポロ・ソユーズテスト計画のときに宇宙飛行士が持っていって、アンテナの角度の計算につかったというふうに語られていました。当時、とても高かったんで
前回、プログラミング力とは何か、そしてそれがいかに重要であるかについてお話ししました。今回は、プレイヤーの視点から、どの程度のプログラミング力を目指すべきなのか、そこに到達するために、どれぐらいの時間がかかるのか、どのようにプログラミング力をつけるかについてお話ししたいと思います。 はじめに 株式会社ナレッジワーク CTO、株式会社ラムダボックス CEOの@mayahjpです。前回の記事では、プログラミング力とは何か、プログラミング力がなぜ重要なのかについてお話ししました。今回は、プログラミング力をどうつけるか、どれぐらい学べば良いかについてお話しできればと思います。 対象読者 プログラミング力をつけたいが、何をどれぐらいやればいいのか指針が分からない方 プログラミング力をつけることは難しい 単刀直入に言います。プログラミング力をつけることは易しくはありません。学んでおくべきことは広範囲に
II-6 「被害者意識の文化」と「マイクロアグレッション」
いまわたしたちが直面している社会的諸問題の裏には、「心理学や進化生物学から見た、動物としての人間」と「哲学や社会や経済の担い手としての人間」のあいだにある「乖離」の存在がある。そこに横たわるギャップを埋めるにはどうしたらよいのか？ ポリティカル・コレクトネス、優生思想、道徳、人種、ジェンダーなどにかかわる様々な難問に対する回答を、アカデミアや論壇で埋もれがちで、ときに不愉快で不都合でもある書物を紹介しながら探る論考、そのシーズン２の開始です。 前回の記事では、昨今の学問や言論の世界では「危害」と見なされる行為や主張の範囲が拡がっている、という問題に触れた。 これまでは危険だとされていなかった物事に危害を見出すための概念や考え方はさまざまに登場しているが、この潮流をとくに象徴するのが「マイクロアグレッション」理論である。 危害の範囲が拡大されると、「個人の自由は、他人に危害を与えない範囲内に
サブカルがオタクを憎む理由｜喜多野土竜
宅八郎氏が亡くなり、Twitter上ではオタク側から彼に対する怨嗟の声が、かなり出ています。宮崎勤死刑囚の犯した東京・埼玉連続幼女誘拐殺人事件（警察庁広域重要指定第117号事件）と、宅八郎氏が演じたステレオタイプのオタク像が、オタクの悪いイメージを定着させた原因なんだ、と。あるいは「そもそも宅はオタクを馬鹿にしていたサブカル側の人間だ」と。そう、オタクとサブカルは90年代、憎み合っていました。それは、小山晃弘氏のこのnoteの指摘どおりです。 実態は、憎み合ってたというより、サブカルの側（の一部。和製サブカルと、別途呼んだほうが良さ気ですが）が、一方的にオタクを馬鹿にしていた攻撃していたのが事実です。小山氏の元記事、月額有料マガジンなので、申し訳ないんですが有料部分は読んでいません。ですが、自分が過去に何度か言及した点とも被る、重要な部分ですので。議論の切っ掛けとして背乗りさせていただきま
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
はじめに 弊社ではScalaを本番環境に導入して大体１年になる。 導入以前に社内的にScalaに関する知識はゼロだった。 Scalaという言語は巷では色々言われているが愛好者とそれ以外の壁が非常に大きな言語のように思える。 ここはコミュニティの努力によって埋められようとしているが、他の言語に比べてまだまだなのが現状である。 弊社でのScala導入経験に関する情報がその壁を取り払う一助になることを祈る。 導入経緯 Railsの運用コスト もともとはプロダクトのバックエンドはRailsで書いていた。 Railsは非常に高速にプロダクトを開発できるのだが、長期的に見るとその高速性よりも運用困難性、堅牢性の欠如が目立つようになってきた。 MVCアーキテクチャは複雑なプロダクトを構成するのにはシンプルすぎた。 特にRailsの中核をなすアクティブレコードモデルのせいで問題の分割が難しかった。 じゃあ
人間ならではの領域に踏み込むAI AI（人工知能）が言葉の意味を理解する方向へと大きく舵を切った。 先日、シリコンバレーで限定的にリリースされた「GPT-3」という言語モデルを使うと、コンピュータ（AI）がかなり高度な文章を書いたり、私たち人間の言葉による命令に従って簡単なアプリ開発などの仕事ができるようになる。 GPT-3は現時点で米国のプレスや一部関係者らに限ってリリースされたが、実際にそれを使ってみた人たちからは驚くべき結果が報告されている。 たとえば、「この度、一身上の都合により退社することを決めました」あるいは「ベン、ごめんね、あたし貴方と別れなければならない」という冒頭の一文を入力するだけで、GPT-3はそれに続く文章をしたためて、普通なら書くのが気が重い退職願や別れの手紙を手際よく仕上げてくれるという。 これらの機能は、一般にAIの中でも「自然言語処理」と呼ばれる分野に属する
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編
はじめに こんにちは。ELYZAの研究開発チームの佐々木 (@hikomimo)、中村 (@tyo_yo_)、堀江 (@eemon18)、平川 (@h__must__) です。 先日弊社株式会社ELYZAでは以下のようなリリースをさせていただきました。 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 上記のリリースには、Metaの「Llama 2」をベースとした以下のモデルが含まれます。 日本語追加事前学習済みモデル ELYZA-japanese-Llama-2-7b ELYZA-japanese-Llama-2-7b-fast 上記の事前学習済みモデルに事後学習 (instruction tuning) を実施したモデル ELYZA-japanese-Llama-2-7b-instruct (デモ)
始まったばかりだと思っていた21世紀も、気がつけばすでに1/4が経過しようとしているが、われわれが未来の象徴のように思っていた「新世紀」は、9.11のテロで幕を開け、リーマンショック、3.11の未曾有の災害と続き、挙句の果ては新型コロナという感染症の流行と前世紀の冷戦の影を引きずるようなウクライナ戦争の勃発で先が見えない。 その一方でデジタル化やネット化が確実に進行し、スマホやSNSが広く社会に普及し続け、AIが将棋や囲碁で人間の世界チャンピオンを打ち負かし、ついには誰もが、絵を描いてくれたり、ChatGPTのようなどんな質問にも卒なく答えてくれたりするAIソフトを自由に使えるようになり、コンピューターの能力が人間の知力を上回るとされる「シンギュラリティー」がもうすぐ実現するという声も聞かれる。 多くの人にとって、こうした「デジタル」が象徴するイメージは、AIで仕事が奪われるという悲観論は
映画『男はつらいよ お帰り 寅さん』ネタバレ・あらすじ・結末。山田洋次版『ニュー・シネマ・パラダイス』横尾忠則さん激怒はなぜ？昭和回顧。
映画『男はつらいよ お帰り 寅さん』の感想・評価・内容・結末 横尾忠則さんが怒る理由がわからない 本映画の公開と当時に横尾忠則さんが、山田洋次監督に対して不平不満をメディアを通して言っていますが、それも映画の宣伝戦略？なのでしょうか。 もし言うのであれば公開前にして欲しいです。 また横尾忠則さんの訴えている内容は「アイデアを無断でとられた。一言も相談がなかった。山田洋次監督は作家ではない」などです。 要するに、もうかれこれ数年前に山田洋次さんに「渥美清さんの過去の映像をコラージュして映画を作ったらどうか」と提案したそうで、本作はそれを無断で作った山田洋次が許せない、となります。 でもわたしは思うのです。 過去の映像をアーカイブして新たな作品を作ると言う発想は映画業界で働く者は誰でも考えることです。 横尾忠則さんだけが考えるアイデアではありません。 素人のわたしでも考えることです。 ましては
GitHub Universe 2022における新発表のすべて
開発者と企業がイノベーションを容易に推進することができる、最も統合された開発者向けプラットフォームを強化するために、私たちがどのような取組みをしているのかご覧ください。 15年前、GitHubを構築するために最初のコード行がコミットされました。それ以来、私たちの目的は、開発者がベストを尽くすために必要なすべてのものをプラットフォームに装備することです。このミッションは、GitHubプラットフォームのすべてのイテレーションを通じて変わっておりません。しかし、私たちの仕事や生活のあらゆる場面でソフトウェアが進歩を続ける中、世界中の人々のためにソフトウェアを実行、維持、構築することは、開発者にとって計り知れない複雑さを生み出します。 私たちは今、転換期を迎えています。新たな開発者体験を提供する時が来ています。 GitHubは、開発者が創造性を発揮し、より幸せになるとともに、人生で最高の仕事をする
はじめに 旅行に行っているだけではそうでもなかったのだが、海外、特に東南アジアのアジャイル系のカンファレンスやコミュニティイベントに参加するようになってから特に、英会話力のなさを痛感させられている。 そういう場所には同じ興味を持つ人同士が集まっているので、基本的に好意的だし、交流をしたがっている。そこは日本も海外も同じだ。 そこではビジネス会話ほどフォーマルなものは必要なくて、買い物と飲食のための旅行英語みたいなものでは足りなくて、コンテキストが共通しているからこそ繊細な意思表示が必要になるし、非ネイティブ同士ボキャブラリーを探り合ってコミュニケーションしていくみたいな力が必要だと思うのだ。そういう機会を通じて英会話力を向上させていくのはとてもやりがいがある。 それほど英ペ*1でもないわたしがそんな場で交流するときに"持ち玉"としてよく使う言い回しや表現をいくつか紹介しようと思う。 背景
自分のゲームを笑われたって構わない。『Everything』『Mountain』にこめられたアートとは何か？鬼才の開発者David O'Reilly氏ロングインタビュー - AUTOMATON
弊社アクティブゲーミングメディアが展開するインディーパブリッシャーPLAYISMは今年3月、『Everything』の日本語版をリリースした。対応プラットフォームはPS4/Nintendo Switch。PLAYISMは販売には関わっていないが、PC（Steam/Epic Gamesストア）向けにもリリースされている。 『Everything』と『Mountain』。両作は同じクリエイターが手がけた、ユニークな作品だ。すべてのものになれるゲームと、山になれるゲーム。一見シュールなテーマのゲームであるが、マルチメディアアーティストDavid O’Reilly氏の強き想いが込められている。そんなDavid氏に、同氏と親交のあるBaiyon氏との対談を介して、改めて『Everything』について語ってもらった。聞き手として、同作の英日ローカライズを手がけたPLAYISMの山中琢氏が参加している
ポスト安倍時代のポリコレのあり方について。ゴーストオブツシマと欧米のフェミニズム本「BOYS」と「萌え絵」問題と悪役令嬢ストーリーとサムライカルチャーにハマる外国人についてなど｜倉本圭造
ポスト安倍時代のポリコレのあり方について。ゴーストオブツシマと欧米のフェミニズム本「BOYS」と「萌え絵」問題と悪役令嬢ストーリーとサムライカルチャーにハマる外国人についてなど （トップ画像は「ゴーストオブツシマ」公式サイトより） ・はじめに この記事は一週間前ぐらいに概ね書き上げていたんですが、なんか「記事の最後の着地をどうしようかなあ・・・」というところで何かピンとこないまま放置していたら、安倍氏の辞任のニュースが流れて驚きました。 安倍氏辞任については、いずれまたそれ自体を深く別記事で扱いたいと思いますが、手短に今月の「世界的大変化」について考えてみると、 アメリカで次の四年間の方向を決める巨大な鍔迫り合いが始まっていて、また安倍氏の辞任もあると、今回のテーマである「意識高い系の社会変革運動（”ポリコレ＝政治的正しさ”的なもの）」と「その社会の伝統的な価値観」との間をどう取り持ってい
以下の文章は、コリイ・ドクトロウの「Linkrot」という記事を翻訳したものである。 Pluralistic 過小評価されている認知的美徳がある。それは「対象の永続性（object permanence）」、つまり以前に物事をどのように認識したかを継続的に記憶していることだ。ライリー・クインがしばしば思い出させてくれるように、左派は「対象の永続性」のイデオロギーだ。左派であるということは、CIAが一時的にトランプを苦しめている時でさえも、CIAを嫌い、信用しないことであり、あるいは、かつて労働者が自分の賃金で家族を養えていたことを覚えていることだ。 https://pluralistic.net/2023/10/27/six-sells/#youre-holding-it-wrong 問題は、対象の永続性が難しいということだ。光陰矢の如し。事実を覚えておくのは難しく、それらの事実がどの順番
![“リンク切れ”――インターネットは砂上の図書館である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4a4b517a3c63d5a8577bd37a06e534e16b7884dd/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2F21May2024.jpg)
翻訳中の本に、影響力の強い文として出てきたので、座興でやってみた。んー、いまだとそんなにすごい感じではないのと、ChatGPTとか出てきて、人間計算機共生のありかたそのものの、歴史的前提が崩れ始めている感じではある。とはいえ、60年以上前の話だから…… むしろ、この中で出てくる、人間で拡張された機械、という概念の方が妥当性が高いんじゃないかとさえ思う。 人と計算機の共生 Man‑Computer Symbiosis J. C. R. リックライダー 山形浩生訳 (hiyori13@alum.mit.edu) IRE Transactions on Human Factors in Electronics, volume HFE-1, pages 4-11, March 1960 groups.csail.mit.edu 要約 人と計算機の共生は、人と電子計算機との協力的な相互作用の中で、予
EJOをお読みのみなさん、こんにちは。翻訳家で通訳者の平野暁人です。 今回は、前回の続き＝後編です！ ▼前編（主に日本語の「自称詞（一人称）」の話）はこちら 実は英語もバイナリーなのでしてさて、前編は日本語の自称詞がバイナリーであることから生まれうるさまざまな悩みや不便について考えてみました。繰り返しになりますが、「Je」や「I」ならこうした不都合に悩まされずに済むのです。ちっ楽でいいよなあいつらはよぅ（急にグレる）。 でも、日本語以外の言語には男女二分システムによる不都合はまったく生じないのでしょうか？ なーんて問いはさすがにEJO読者のみなさんをバカにし過ぎですよね。すまんすまん。義務教育で英語を学んだことのある人なら、英語にもhe（彼）／she（彼女）があるじゃん！とピンとくるはず。そうです、英語に限らず多くの西洋諸語では、自称詞よりも他称詞（いわゆる三人称）の方に男女二分システムが
OSSなどから学んだヒューマンスキルと経験を武器に。人生最大の挫折を越えてなおも歩む螺旋のキャリア - Findy Engineer Lab
サーバーサイドからインフラ領域を中心としたWebエンジニアとして、リードエンジニアからプロダクトマネージャー、CTOと、順調にマネジメントの階段を上がってきた松木雅幸（Songmu）さん。その後、再びプレイヤーとして転職し、現在またマネジメントに取り組んでいます。この螺旋（らせん）のキャリアと呼ぶ働き方の変遷と、それを支えるOSSへの取り組み方について寄稿いただきました。 ▲ベストスピーカーを獲得したYAPC::Tokyo 2019での登壇（写真提供：Japan Perl Association） 私は、小粒ながら多くのOSSを開発してきました。他にも技術的な情報発信や、ISUCONでの優勝経験、エンジニア向けSaaSのプロダクトマネージャーやCTOといった経歴があるため、技術力でキャリアを築いてきた人間だと思われがちです。しかし実は、エンジニアの中では相対的に高めなヒューマンスキルを武器
本記事では、私が2020年10月に読んだ書籍の内容や感想を紹介・解説します。 はじめに 私がこの1カ月間に読んだ、書籍の内容と感想のまとめ記事です （これらの読書は仕事ではなくプライベートの趣味です） Twitterでリアルタイムに投稿した内容を、1カ月分まとめます。 ※Twitterでは、書籍感想以外にも、IT・AI・Biz関連の情報をたくさんつぶやいているので、 これらの情報を収集したい方はぜひフォローください♪（海外の情報が多めです） Twitterアカウント：小川雄太郎@ISID_AI_team 2020年10月に読んだ書籍（はじめに） （過去記事） ●20年7月分の記事はこちら ●20年8月分の記事はこちら ●20年9月分の記事はこちら （書影） 版元ドットコムで公開されている場合のみ掲載しています （書籍分野） AI：機械学習&ディープラーニングのアルゴリズム、研究能力、開発・
ついに解放された最強自然言語AI、GPT-3を味見する。 2021.04.22 Updated by Ryo Shimizu on April 22, 2021, 14:34 pm JST 恐るべき巧みなマーケティングにより、前評判は世界最強と名高いGPT-3のオープンベータテストのアカウントがついに筆者にも解放されたので試してみた結果をここで共有したい。 ただし、GPT-3の利用にあたってはかなり厳しい利用規約があるので、それを踏まえて記事を執筆したい。 パッとみたところ、GPT-3のAPIの利用方法は非常に簡単だ。 わずか数行で試せてしまう。 サンプルも、単純なチャットものから、要約、翻訳、映画のタイトルから絵文字を出力するなんていうものまである。 スタートレックとスターウォーズが完全に同じものになってしまうのはなんだか釈然としない。 こんなふうに、ブラウザだけでGPT-3の成果を確か
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。ここで登壇したのは、株式会社レアゾン・ホールディングス 執行役員の赤川未來氏。新卒で入社したApple社、現職menu社での経験について話しました。全2回。前半は、学生時代に気づいた、自分の人生におけるやりがいについて。 本日のアジェンダ 赤川未來氏：株式会社レアゾン・ホールディングス執行役員の赤川未來です。よろしくお願いします。本日はAppleに入社した経緯やmenuに転職した経緯などいろいろと話そうと思っています。 僕のセッションは、一方的に話すと不安というか、つまらなくなってしまうので、みなさんの考えも聞きたいと思っています。途中質問や写真を用意しているので、Zoomのチャットから気兼ねなくコメントをください。答えに正解はないので、率直に思ったことを言ってもらいたいと思って
特定のワードが大学の論文で出現しまくっておりChatGPTなどの生成AIが使用されたことを示す危険信号となりつつあることが明らかに
学生の論文でAIが使用されていないかどうかを調査する「論文コンサルタント」によると、「タペストリー」「ビーコン」「充実したカリキュラム」「尊敬する教授陣」「活気に満ちた学術コミュニティ」といった特定のワードが、論文執筆にChatGPTをはじめとする生成AIツールを利用した兆候となりつつあるそうです。 Did You Use ChatGPT On Your School Applications? These Words May Tip Off Admissions - Slashdot https://tech.slashdot.org/story/24/02/06/1645228/did-you-use-chatgpt-on-your-school-applications-these-words-may-tip-off-admissions 2024年の冬および春は、ChatGPTやそ
進歩がすさまじい「機械翻訳」、その理由をトップ技術者に聞く
リクルート入社後、事業企画に携わる。独立後、経営・組織コンサルタントとして、各種業界のトップ企業からベンチャー企業、外資、財団法人など様々な団体のＣＥＯ補佐、事業構造改革、経営理念の策定などの業務に従事。現在は、経営リスク診断をベースに、組織設計、事業継続計画、コンプライアンス、サーベイ開発、エグゼクティブコーチング、人材育成などを提供するプリンシプル・コンサルティング・グループの代表を務める。京都大学卒。国際大学ＧＬＯＣＯＭ客員研究員。麹町アカデミア学頭。 著書に『「一体感」が会社を潰す』『それでも不祥事は起こる』『転職後、最初の1年にやるべきこと』『社長！それは「法律」問題です』『インディペンデント・コントラクター』『愛社精神ってなに？』などがある。 組織の病気～成長を止める真犯人～ 秋山進 日本には数多の組織があり、多くの人がその中に属しています。組織は、ある目的のために集まった人た
誰もが知っていて、誰の目にも明らかにもかかわらず、誰も言及したくない、そういう物議を醸すような物事を英語で「部屋の中の象」（the elephant in the room）と呼ぶが、学術界の見えざる巨象といえば、Sci-Hubであろう。 カザフスタンの研究者兼プログラマ、アレクサンドリア・エルバキアンが2011年に開設したSci-Hubは、学術論文の（違法）集積サイトである。大学や研究機関等で行われる学術研究は、同業の専門家による査読を経た学術論文という形で共有されるが、こうした学術論文を扱う出版社は世界的に寡占状態で、ScienceAlertの記事によれば、全世界の学術論文の50パーセント以上がElsevierやSpringerといったわずか5社によってコントロールされているという。 寡占が価格のつり上げにつながるのは言うまでもなく、学術論文はA4数ページのものでも、単品で買えて30ド
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた
プログラミング教育は「プログラミング言語を学ぶものでなく、プログラミング的思考（論理的思考）力を学ぶもので、思考を整理したり手順を考えたり・・・」とある小学校の校長先生の話を「学校だより」で知ったのがこの記事のキッカケです。 個人的にはプログラミングやシステム開発などIT関連の実務とマネージメントに何十年も関わった。その経験がプログラミング教育に少しでも参考になればという思いで自分なりに題材を考えてみました。 ただ、私自身が文部科学省の意図を正しく理解していないかも知れないので的外れの題材であるならばご容赦願いたい。 文部科学省のプログラミング的思考力の定義 プログラミング教育の狙い 今の時代、情報リテラシー（情報活用能力）は必須 コンピュータ・システム開発手法 プログラミング教育例：掃除を効率化して早く帰宅しよう 「掃除を効率化して早く帰宅しよう」の実現プロセス プログラミング的（論理的
ヘンリー・キッシンジャー氏が決して理解しなかったこと
（ＣＮＮ） 彼の送った生涯は、ありそうにないものだったと同様に、重要な結果を社会へもたらした。ヘンリー・キッシンジャー氏は、ドイツの小さな町フュルトにある小規模なゲットー（強制居住区）で生まれた。祖父母はナチスに殺害されたが、同氏は何とか逃げ延びた。本人と両親、弟は１９３８年後半に米ニューヨークへ移住した。ドイツを出たいなどとは全く思わなかったが、一家に選択の余地はなかった。 他の多くの避難民と同様、一家には新しい暮らしへの備えがなかった。華奢（きゃしゃ）な体つきだった１５歳のヘンリー少年は英語が一言も話せず、将来への期待もほとんど持てずにいた。マンハッタンの公立高校に通い、夜は働いて家計を助けた。同時に会計士になるための準備も進めていた。それはニューヨークに住むユダヤ人移民としての無理のない目標だった。 日本軍による真珠湾攻撃並びに米国の第２次世界大戦参戦は、米国と同様にキッシンジャー氏
「ソードワールドRPG」考 (1999年執筆)
本論考は、1999年2月１日と2月28日とに発表されたものです。文中の趣旨が、現在の筆者の考察とは異なる場合もありますので、ご注意願います。 はじめに "「ソードワールドRPG」は日本の標準的RPGに成り得ない"あるいは"そうすべきでない"と言ったら驚かれるでしょうか？ 国産RPGの内、日本で最もプレイされているゲームシステムは「ソードワールドRPG」であるといえましょう。発表(1989年)より十年もの間、日本のRPG界の枢軸を担ってきたこのゲームの功績は少なくありません。「上級ルール」や「完全版」、更にはワールドガイドも各種出版され、今なお続く人気の高さが伺われます。 が、それでも私は先に述べた見解を掲げざるを得ません。何故なのか？ 以下、このゲームシステムについての考察を、三回に分けて述べていきます。最初に、私とこのゲームの関係について。次に、そのルールシステムの持つ指向性について。そ
じゃがいも警察単語 1件 ジャガイモケイサツ 3.8千文字の記事 28 0pt ほめる 掲示板へ 記事編集 中世ヨーロッパ風ファンタジーについてじゃがいも警察の由来よく指摘されること関連項目脚注掲示板 じゃがいも警察とは、史実厨の一種である。中世警察、ジャガトマ警察とも。 中世ヨーロッパ風ファンタジーについて まずファンタジー小説やなろう系などの異世界物は、中世ヨーロッパ風異世界であることがほとんどである。古代ギリシャ、古代エジプト風ファンタジーなんて物は少ない。それも西欧っぽいことがほとんどである。マケドニアとかトラキアなんてバルカン半島以東を出すのはファイアーエムブレムくらいである。 理由としては単に西欧コンプだとか、ドラクエやゼルダの影響だとか、ギリシャとかウクライナとかよりイギリスやフランスの方ががなんとなくおしゃれでかっこいいよね程度の認識があるからだと言われている。また、近世以
![じゃがいも警察とは (ジャガイモケイサツとは) [単語記事] - ニコニコ大百科](https://cdn-ak-scissors.b.st-hatena.com/image/square/fed26b196f4c226e823a4a8f00932983bfc84bfa/height=288;version=1;width=512/https%3A%2F%2Fdic.nicovideo.jp%2Foekaki%2F458270.png)
GPTシリーズの限界と非連続的な進歩について
GPTシリーズの限界と非連続的な進歩について 2023.02.28 Updated by Ryo Shimizu on February 28, 2023, 09:04 am JST 先日、秋葉原の3331で開催されたテクノエッジ主催イベントでは、StableDiffusionを開発したStability.AIのジェリー・チーさんと、THE GUILDの深津貴之さんと筆者の三人で鼎談した。 残念ながらイベントのアーカイブは残っておらず、80人の席は全て即完売。 改めて考えると、会場が小さすぎるしチケットが安すぎる。 まあそれはいいとして、懇親会ではTwitterやnoteでしか見たことがなかった生成AI業界のスターたちに挨拶できて非常に嬉しかった。 講演の感想をいただく中で、「Scaling Lawについての話が一番面白かった」と言われたので、昔もこの連載でとりあげた気がするが、再度この段
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeepLearningについて、最近作ったもの、書いたもの、勉強したこと
脳外科から基礎研究に転身した大須賀覚氏が語る、アメリカでの新薬開発｜医師のキャリア情報サイト【エピロギ】
rinna社、日本語に特化した画像生成モデル「Japanese Stable Diffusion」を公開
【無料公開】第一章〜第三章 - 岩田さん - ほぼ日刊イトイ新聞
プログラミング力を伸ばすには、結局何をどれだけ勉強すればいいのか
0からScalaを本番導入して感じたこと・考えたこと - k.dev
AIの「自然言語処理」技術がここへきて劇的な進化を遂げている（小林 雅一） @gendai_biz
『アナロジア AIの次に来るもの』アナログ王国序説ーーデジタルを超えた次の時代を読む方法 - HONZ
ボキャ貧非ネイティブ英語話者のための国際化第一歩 - ナイスビア珍道記
“リンク切れ”――インターネットは砂上の図書館である | p2ptk[.]org
リックライダー「人と計算機の共生」 - 山形浩生の「経済のトリセツ」
英語のtheyだけじゃない！フランス語とイタリア語のノンバイナリーな表現 - ENGLISH JOURNAL
（20年10月新刊メイン）IT・AIエンジニア&PdMにおすすめの書籍集 - Qiita
ついに解放された最強自然言語AI、GPT-3を味見する。
ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
勉強をがんばれば、いい会社に入れると思っていた スティーブ・ジョブズの言葉で気づいた、自分の生きがい
見えない巨象としての Sci-Hub（八田真行） - エキスパート - Yahoo!ニュース
最近の7B小型日本語LLMはエージェントになれるのか？
2020年度から小学校でプログラミング教育が必修化、その題材を考えてみた - Ippo-san’s diary
じゃがいも警察とは (ジャガイモケイサツとは) [単語記事] - ニコニコ大百科
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場