加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

AIエンジニアになる方法 How to change job to AI engineer. 2017.02.26 Updated by Ryo Shimizu on February 26, 2017, 15:03 pm JST AIに関することで、多くの研究者にとって不都合な真実が、まだ世間には理解されていません。 それは、AI研究者の大半は深層学習を専門にして「いない」ということです。 深層学習はAI研究の中では、機械学習という分野の、ニューラルネットワークという分野の、さらに一分野に過ぎません。 比率で言えば、95:5くらいの確率で、これまで「AIの専門家」と言われてきた人は深層学習の専門家「ではない」確率が高いわけです。 この些細な事実がなぜ「不都合」なのかというと、こうしてなにもかも一緒くたにされた結果、これまでほとんど成果の上げることができてなかった旧来のAI研究者に大量の予

ハードウェア開発の「伽藍とバザール」 The Cathedral and the Bazaar on the Hardware development 2016.09.30 Updated by Masakazu Takasu on September 30, 2016, 17:00 pm JST ぼくが仕事を始めた20世紀末頃、オープンソースという考え方が少し広まり始めた。それまではソフトウェアというのはお金を払って買い、サポート契約を結ぶもので、または非合法に割ってこっそり使うものだった。無料とオープンは同じような意味で扱われていて、FreeBSDのFreeが何を指すのかもあまり気にされていなかった。 1999年の「伽藍とバザール」 「開発者たちが、自分たちが使うソフトを自分たちで開発し、開発コミュニティを大きくすること（共有すること）によってソフトウェアの品質を上げる」というオープン

プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A

イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを

誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ