推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
AIは監視資本主義とデジタル封建主義を完成させるか
AIは監視資本主義とデジタル封建主義を完成させるか 2023.04.13 Updated by yomoyomo on April 13, 2023, 18:16 pm JST 先週、朝日新聞デジタルに掲載されたメレディス・ウィテカーのインタビュー記事「ChatGPT、何が問題か 元グーグル社員「非常に無責任で無謀」」が話題となりました。記事内容は、ChatGPTに代表される今話題のAIサービスの多くが、巨大な消費者市場から得られたデータ資源とそれを握るビッグテックへの権限の集中の結果生まれたもので、中立的でも民主的でもなく、倫理的な懸念があることを訴えるものです（今週になって、朝日新聞デジタルにほぼ同内容の「AI開発、中立的でも民主的でもない 元グーグル専門家」、「「チャットGPT、全世界が実験台」「データ集中と監視、強まる恐れ」 元グーグルの専門家が警告」という二つの記事が公開されてい
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学
格下の相手には手を抜く対戦AI
格下の相手には手を抜く対戦AI 2018.02.21 Updated by Ryo Shimizu on February 21, 2018, 08:17 am JST 筆者が経営するギリア株式会社と株式会社UEIでは、週に1回程度、個人の研究発表をする場を設けています。たまにインターンも参加します。 深層学習はあまりにもできることが多く、その可能性を少しでも効率的に探るため、個々人がそれぞれの仮説を持って研究した成果や知見を交換しておくことは非常に重要だからです。 AlphaZeroをベースとした深層強化学習の研究をしていた開発者が、面白い発見を報告してくれました。 「どうもAIからみて相手が格下だと、手を抜く傾向がある」 彼は決定論的問題の一つである迷路をAlphaZeroに解かせようとしていました。 ただし、迷路は毎回作り直されます。 左上からスタートして、右下のゴールを目指します。
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
税制で貧富格差の拡大を防ぐことはできるか
税制で貧富格差の拡大を防ぐことはできるか 人と技術と情報の境界面を探る #009 2017.06.19 Updated by Shinya Matsuura on June 19, 2017, 07:00 am JST 貧富の格差を放置して良いと思う人はいないだろう。だが、なぜ放置してはいけないのだろうか。 答えは、「貧富格差が拡大すると、社会が荒廃し、さらには経済が回らなくなるから」だ。 富める者と貧しき者の間の格差が大きくなると、2つの社会階層が分離する。食べ物や飲み水の質、居住地域の治安、子弟が受けることのできる教育——すべてが二極分化する。 格差の拡大は同時に社会を「我々とあいつら」に分断する。「あいつらは、我々が手に入れることができない寝床に寝て、手に入れることができない高級車に乗り、手に入れることができない食い物を食べている」という恨みと、「あいつらは、臭くて汚いところに済み、
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ
ドワンゴで産まれた超人工生命LIS、ハッカソンでカンブリア紀に突入!
ドワンゴで産まれた超人工生命LIS、ハッカソンでカンブリア紀に突入! Childhood's End. she's rising to real life 2016.04.12 Updated by Ryo Shimizu on April 12, 2016, 02:51 am JST ニコニコ動画で知られるドワンゴは日本のベンチャー企業としては珍しく２つの専門的な学術研究機関を設置しています。 ひとつは、筆者が設立した西田友是東大名誉教授を所長とするコンピュータグラフィックスの専門研究機関、UEIリサーチであり、もう一つは、全能アーキテクチャイニシアチブの山川宏氏を所長とするドワンゴ人工知能研究所です。 全能アーキテクチャイニシアチブとは、これまで個別の要素技術としてしか発展してこなかったAI(人工知能)技術を、それぞれ視覚野、運動野、言語野、海馬などの役割をもたせ、全体として一つの人間
プログラマーだけがやっている効率的な仕事のやり方
プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
サラリーマンプログラマに向かない人の生きる道
サラリーマンプログラマに向かない人の生きる道 2015.03.31 Updated by Ryo Shimizu on March 31, 2015, 14:44 pm JST 元日立で現VA Linuxの社員プログラマーらしき人が日立を辞めた後の転職を猛烈に後悔していることが話題になりました。 「年功序列などで働きづらい」として転職した元日立社員、転職後「日立のほうが良かった」と後悔して話題に/Slashdot この騒動を受けた本人のブログエントリを拝見しましたが、個人的にはあまり同情できません。 騒動の内容と今後について 上記のエントリを読んでいただければ私の言いたいことはだいたい伝わると思います。 残念ながら、世の中には、どれだけそれが好きでも、また、それに関する才能があったとしても、会社員には向いていないタイプの人が居るのです。たぶん今回の騒動の主となる人は会社員としてプログラマを
日本でデスマーチが発生する理由とW杯コートジボアール戦のゴミ拾いの関係 - WirelessWire News（ワイヤレスワイヤーニュース）
先日のワールドカップの日本対コートジボアール戦で、日本のファンが、試合に負けたのにも関わらず、スタジアムのゴミを拾ったことが、様々な国のサッカーファンやメディアに驚かれました。 Japanese fans stayed behind after the game last night to clean their section of the stadium. Class act. pic.twitter.com/av1hzs4eXY— World Cup 2014 (@Brazil14WC) June 15, 2014 Japanese fans cleaning near the seats where they were sitting. Such an admirable civilisation. Massive respect. pic.twitter.com/leAYPuEK
イジメはあるが祝福する文化のない日本 - WirelessWire News（ワイヤレスワイヤーニュース）
インフルエンザにかかったらしいので、家でフラフラとしながらネットを見ておりましたら、峯岸みなみ丸刈り謝罪 という記事が目につきました。私はAKBは詳しくないので、ことの詳細は良くわかりませんが、グループの決まりを破って男性とお泊まり旅行に行ってしまったので謝罪するために丸刈りになった、ということだそうであります。 これを見ていて、なんだかいや〜な感じがしました。たとえ綿密な計算の上での演出だったとしても、越えては行けない線を越えてしまった気がします。 まず始めに、これを見みて、イギリスの歴史番組で繰り返し放送される「第二次世界大戦後にナチに協力した、ドイツ兵と恋人関係にあった、という理由で公衆の面前で丸刈りにされ、屈辱を与えられた女性達を思い浮かべたからです。男性達は丸刈りにされませんでしたが、女性達はされました。それが最大の屈辱の一つだったからです。ナチに協力したわけではなく、自分や家族
【5】モバイルソーシャルアプリ市場のゴールドラッシュを読み解く - WirelessWire News（ワイヤレスワイヤーニュース）
本稿は、山上俊彦氏の著書「仮想世界錬金術―モバイルソーシャルアプリに見る現代ディジタルコンテンツ革命」（2011年2月発売予定）より、著者および出版社の了承を得て一部を抜粋したものである。 現段階での市場 モバイルソーシャルアプリの市場成長は非常に大きい。では、どれくらいの市場規模があるのであろう。Web マーケティングガイドとメディアインタラクティブの共同調査結果の報道発表が[16] にある。これによるとネットユーザの課金許容度は以下のとおりである。 ▼表4.1: ソーシャルゲームに関するマーケティングガイドとメディアインタラクティブの共同調査 全体をどう考えるかによって違うが、今や、全国民もインターネットユーザもケータイインターネットユーザもそんなに数は違わなくて1 億人オーダなので、ざっくり、これをケータイインターネットユーザ、すなわち、携帯電話を持っていて、IP 接続サービスに加
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
