We are building a world class AI research lab in Tokyo, Japan. We are creating a new kind of foundation model based on nature-inspired intelligence. For more information, please visit our blog and careers page, or contact info@sakana.ai

米Googleの著名な2人の元研究者、リオン・ジョーンズ氏とデビッド・ハー氏が8月17日、東京に拠点を置く新AI企業を設立したとX（旧Twitter）で発表した。 ジョーンズ氏は、Googleが2017年に発表した生成AI革命のきっかけとなったと評価されている論文「Attention Is All You Need」（PDF）の8人の著者の1人。この論文では、後にChatGPTなどの製品開発の基礎となった深層学習アーキテクチャー、Transformerを紹介している。ジョーンズ氏は8月に10年以上勤めたGoogleを退社した。これで論文を書いた著者全員がGoogleからいなくなった。 ハー氏は2016年にGoogle Brain入りし、機械学習などの研究に取り組んだ後、2017年にGoogle Brainが東京チームを設立した際、そのトップとして来日した。2022年にGoogleを辞め、S

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。しかし、Transformerにも解決すべき問題が存在しています。そこで、これらのアプローチを結びつけて進化させていく必要が出てきました。 まず、RNNの利点と欠点を見てみましょう。RNNは、文章の長さにほとんど制約がなく、計算コストも比較的小さいという利点があります。しかし、以前の入力を正確に記憶することが難しく（長期依存性を捉えられない）、学習を高速化することも難しい（学習並列化が困難）という欠点も存在します。 一方、Transformerは長期依存性を捉え

「台湾バーチャルフェスティバル2023」がVRChatで開催 台湾文化と最新テクノロジーを楽しめる 日本語にも対応 台湾エクセレンスによる「台湾バーチャルフェスティバル2023」が、9月23日（土）〜12月25日（月）にVRChatなどで開催されます。 本イベントは台湾文化と最新テクノロジーを楽しめる体験型エンターテイメントです。VRChatでは世、界中から参加し交流ができるメイン会場として、未来を感じるバーチャル遊園地「TAIWAN EXCELLENCE WORLD」がオープンします。 「TAIWAN EXCELLENCE WORLD」では、様々なゲームやアトラクションで遊びながら、未来に向けて進化し続ける台湾文化や台湾製品を体験・見学可能。ワールドは、日本語、英語、中国語（繁体字）に対応しています。 また、日本向けにはバーチャル上だけでなく、リアルや、PC・スマートフォンからも楽しめる

歯はエナメル質・象牙質・セメント質からできており、歯茎から露出している歯冠部を覆っているエナメル質は人間の身体組織の中で最も硬い組織の1つです。しかし、このエナメル質は口の中に住み着いているミュータンス菌が糖質を分解して生み出す酸によって簡単に溶かされ、虫歯になってしまいます。従来の虫歯治療は虫歯に冒された部分を削って詰め物で補うしかありませんでしたが、ワシントン大学の研究チームが幹細胞からエナメル質を作り出すことに成功したと報告しており、再生医療による新たな虫歯治療法の確立が期待されます。 Single-cell census of human tooth development enables generation of human enamel - ScienceDirect https://doi.org/10.1016/j.devcel.2023.07.013 No More C

長崎県は8月17日、県内の地形を計測した3D点群データを掲載したWebサイト「オープンナガサキ」を公開した。営利・非営利問わず利用できる。 同県は3月14日に長崎地区（長崎市、時津町、長与町）の3D点群データを試験的に公開していたが、今回は県内のほぼ全域に拡大した。「自由に活用していただきたい、という思いから県が今までの業務で取得した成果品をクリエイティブ・コモンズ・ライセンスのオープンデータにした」としている。 公開した3D点群データは、2012年度から2020年度にかけて計測したもの。LAS形式のファイルとして提供する。点密度は4点／m2以上で、場所によって異なる。 3D点群データは「UAV写真測量、地上レーザースキャナなどによる3次元測量によって得られた3次元座標を持った点データの集合」（国土交通省の資料より）。建物や設備などの姿を3次元空間に表現できるため、建設業界の生産性向上など