加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である

ポケモンGO禁止令で考える日本企業に優秀者が来ない理由 Pokemon Go ban: Why tech guys do not want to join Japanese companies 2016.08.30 Updated by Mayumi Tanimoto on August 30, 2016, 11:49 am JST ポケモンGO熱が若干落ち着いてきましたが、認知が広まってきたので、様々なニュースを耳にする様になりました。ところで一部の日本企業や大学ではポケモンGoが禁止されていますが、それを追っていると、日本の組織のリスク管理やITガバナンスに対する施策のズレまくった感覚がわかり興味深いです。 例えば名古屋市の住友理工は、全世界の従業員約2万4000人にポケモンGO禁止令を出しており、就業中だけではなく、休息時間、通退時間にも適用しています。それが就業中の事故防止や機密漏

プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A

プログラムは思った通りには動かない。書いたとおりに動くのだ Any code doesn't run as you thought, run as it wrote 2015.06.17 Updated by Ryo Shimizu on June 17, 2015, 10:13 am JST

先週は World Wide Web が誕生して25年というのが話題になりましたが、今回はその話ではなく、2年前に誕生25周年を迎えている HyperCard というソフトウェアについて書きたいと思います。 HyperCard は、初代 Macintosh の開発者の一人にして、かのドナルド・クヌースに「この世で書かれた最高のプログラム」と言わしめた MacPaint の作者であるビル・アトキンソンが作り上げたマルチメディアオーサリングソフトウェアです。 HyperCard は内蔵する HyperTalk というスクリプト言語を利用することで、カードを積み重ねる形で簡単にアプリケーション（スタックと呼ばれた）を作ることができました。名作アドベンチャーゲーム『MYSY』も最初は HyperCard を使って制作されたことが知られています。当初 Macintosh に標準添付されたこともあり、

9leap(ナインリープ)という学生向けコンテストを今年も開催することになりました。 25歳以下の学生を対象に、ゲームプログラミングを行うコンテストです。 UEI、スマホゲーム開発コンテスト「9leap夏休みチャレンジ」を開催 http://codezine.jp/article/detail/7885 なぜゲームプログラミングのコンテストをしているのかというと、ゲーム開発を通してプログラミングの楽しさを一人でも多くの若い人に知って欲しいと考えているからです。 漠然と「プログラミングを勉強したいなあ」と思っても、実はなかなか身に付くものではありません。 よく、映画「ソーシャルネットワーク」のマーク・ザッカーバーグに憧れて、「ソーシャルネットワークサービスを作りたい」と相談してくる学生がいるのですが、ソーシャルネットワークサービスは初心者がいきなり作ろうとするにはハードルが高過ぎます。 こ