Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし

京都の古い資料を見ていると京都盆地はかつて湖だったといいう文言をよく目にします。奈良盆地に関しても、以前の関西高低差大学の講義終了後の質疑応答で、「奈良盆地には、万葉集が詠まれた時代に湖があったのですか？」という質問があり、「湖と呼べる規模のものがあったかは懐疑的だが、今度調べてみますね」とお答えし、私・新之介の宿題になっていました。地形のなりたちを遡っていくと京都や奈良にも海水が侵入した時期がありましたが、それらは何十万年も前の話で、インターネット上にはその痕跡として湖が残っていたというような記事が存在しているようです。今回は、学校では教えてくれなかった京都盆地や奈良盆地の湖のお話です。 まずは大阪層群の変遷のはなし大阪平野や京都盆地、奈良盆地などの地下には、「大阪層群」と呼ばれる地層が存在しています。礫・砂・粘土を主とする厚い地層で、その中に「海成粘土層」と呼ばれる地層が複数存在し、そ

坂野りんこ @Mtan_ 出版業界の片隅で生きる健康オタクです。ライター仕事とデザイン仕事が主で、漫画の著書もあり。ただいま漫画仕事がんばり中。 https://t.co/Oomd1UIPkc https://t.co/aYYQIl3DhQ Linco @Mtan_ うちの子の学校も女子でもパンツスタイルが選べるようになったんだけど、「パンツを選んだ生徒の髪型は短髪のみ」って校則に書かれててびっくりした。ジェンダーフリーどころか別の押し付けが始まってた twitter.com/sankei_news/st… 2024-02-11 08:52:44

2024年2月5日、フィンランドの老舗ガラスメーカーイッタラが新しく生まれ変わることを発表したのですが、これがフィンランド中で大きな議論を巻き起こしています。 わたしも思うところがたくさんあったので、いったい今何が起きているのか整理して、なるべく中立的な目線からブログを書いてみようと思いました。 まず何が新しくなったのかは、大きく分けて3つと言えると思います。 ロゴ カラー コンセプト 加えて、SNSの過去の投稿は全て消し去られてしまいました。 ひとつひとつ、詳しくみていきましょう。 1. ロゴ Iittala Facebookより引用 Finnish Design Shopより引用 最もわかりやすいのが、そのロゴ。 1956年にティモ・サルパネヴァがデザインしたこのあまりに有名なロゴ（左）は、吹きガラス職人が使う吹き竿と、竿の先の熟せられたガラスの玉をイメージしたものです。 およそ70年

YOASOBIの「アイドル」の世界的大ヒットや、 1970年代後半から1980年代にかけて制作された、 いわゆる「シティ・ポップ」のリバイバルブームなど、 特に近年はJ-POPが世界的に注目されています。 米国のヘヴィ・メタルバンド、メガデスの元メンバーである、 ギタリストのマーティ・フリードマンさんは以前、 欧米とは一線を画すJ-POPのコード進行の異質性を解説しており、 その際の映像が、海外のネット上でたびたび話題になります。 フリードマンさんはまず、 欧米の曲の典型的なコード進行を紹介してから、 以下の発言をしています。 「我々はこの（欧米の）コード進行を数えきれないくらい聴いてる。 それでもずっと使われ続けているんだ。 欧米のアーティストの曲のほとんどは、 4つのコードから成る進行で構成されている。 短いサイクルで、4つのコードが繰り返されるわけだ。 一方で日本のポップスやロックを

悪しき因習としてネット上で有名な“おじろく・おばさ”について、長野県民が実際に論文を取り寄せて調べてみました。 なぜ調べようとしたのか、その動機や、長野県の地理的特色などをまとめたものが、前回の記事となります。 この記事は最後まで無料で読めます。 1. “おじろく・おばさ”は誇張されているのではないか？1.1. 調べることになった発端ネットロア（インターネットの都市伝説）やオカルト系サイトで有名な「おじろく・おばさ」ですが、それについてのしっかりとした論文があるということから、“実在した忌まわしい因習”として時々ネットにて話題になります。 正直、長野県民として微妙な気持ちでしたが、論文があるのだから本当なのだろうとぼんやり思っていました。しかし、最近その論文自体に疑問を呈する動画を発見しました。 簡単に動画の内容を要約します。 ・「おじろく・おばさ」は1960年代に書かれた２つの論文、①水

『日経ものづくり』2024年2月号の特集テーマは「シニア再始動」。社会的な労働力不足により、雇用延長などによってシニアを退職させず活用する動きを紹介した。業種にもよるが、早期退職させるよりも労働力として維持する選択肢のほうが主流になりつつある。 同特集で、シニアが活躍する企業として登場するHIOKI（日置電機）と住友電設に共通していたのが「40歳代の従業者が特に少ない」ことだった。企業や産業の高齢化を表現するときは、普通は「高齢就業者数（65歳以上）は20年間で32万人増加」（2023年版ものづくり白書）のように、一定年齢以上の人数なり割合なりが増えた、などと形容される場合が多い。しかし実態はもう一歩複雑で、単に若手が少ないのではなく、次世代のリーダーを担う中間の年齢層が特に少ないのだという。 これまでも、同じような話を取材で耳にしたことはあった。40歳代といえば、就職氷河期といわれる20

図1：データベースとJavaプログラミング言語のミスマッチ このギャップを埋め、Javaアプリケーションとデータベースのシームレスな接続を実現するために、私たちはさまざまなデザインパターンとアーキテクチャアプローチに依存している。これらのパターンはトランスレータとして機能し、インピーダンスのミスマッチの影響を軽減し、2つの世界を調和して動作させるのに役立つ。 これらのデザインパターンは、車輪の再発明ではない。これらは、アプリケーションとデータベースのパラダイム間のインピーダンスのミスマッチを緩和するのに有効であることが証明されている、確立されたソリューションである。Driverパターン、Mapperパターン、Active Recordパターン、Repositoryパターンなどがある。 Java Persistenceにおけるデータパターンのナビゲート このセクションでは、アプリケーション開

人類が共通して欲しているものを1つ挙げるなら、それは「幸せ」です。アメリカ人にとって、「幸福の追及」は独立宣言のなかに明記されているほどです。 しかし幸せを追及した結果は人によって大きく異なります。ある人は最悪の状況下でも明るくて、ある人は恵まれた環境にありながら不幸せです。 その違いの一部は遺伝的な体質によるものかもしれませんが、40%の幸せは私たちがコントロールできる行動や考え方に左右されると言われています。 では、幸せな人々は幸福感を高めるためになにをしているのでしょうか？ 1. 余裕がある幸せな人々は立ち止まってその瞬間を楽しむ方法を知っています。 彼らはペースを遅め、違うことに注意を向けて自分の見える範囲内だけに留まりません。 すべての瞬間に意味があることを理解しているので、辛いときでさえ逃げ出さずそこから美しいものやポジティブなものを見つけてそれに集中することができるのです。

しゃのん@ぐだぐだますたー @syanon_sam @inknoshimi 姉ちゃんの企画と動きを担当して、母ちゃんが声優を担当すれば、すごいことになりそうだな…！ 息子は地獄だろうけど。 2024-01-27 03:21:50

能登半島地震で一般から募った災害ボランティアが27日から石川県穴水町、七尾市、志賀町で活動する。被害が大きい6市町に一般ボランティアが入るのは初めて。2月2日までは各日計80人が、石川県が用意するバスで向かい、災害廃棄物の片付けや運搬に当たる。 県によると1日当たり穴水町で15人、七尾市で20人、志賀町で45人ほどが活動する。県の特設サイトで事前登録した人を対象に、24日から2月2日までの分を募ったところ、数分で定員に達したという。初日の27日に活動する人は3分の1が県内で、他は県外からだった。 県は2月3日以降の分を今月31日から募集する。事前登録しているのは25日時点で県内4千人、県外1万500人の計1万4500人。県によると、被害が大きい輪島市と能登町もボランティアのニーズ調査を始め、能登町では住民によるボランティア活動も26日に始まった。珠洲市はめどが立っていない。

「どん兵衛」はレンチンすると生麺に近い、ツルツルモチモチの食感になるらしい。そんな話がX（Twitter）で話題になっている。 起点となったのは、お笑い芸人の阿蘇山大噴火さんが2020年に投稿した調理法。どん兵衛の麺と粉末スープをどんぶりに入れ、熱湯を注いだあとに電子レンジで3分レンチンすると、ツルツルで稲庭うどんみたいな食感に変わるのだとか。 ※【注意喚起】どん兵衛を「容器のまま」レンチンしてはいけない（溶ける）。絶対に、どんぶりなどの耐熱容器に移し替えてやろう！ マヤ暦とインド暦だと明日で世界が終わるので、今夜が最後の晩餐。迷った挙句どん兵衛を買ってきて、丼にスープと麺と熱湯入れて、あげを乗せたら電子レンジで３分。ツルッツルで稲庭うどんみたいな食感のどん兵衛が完成！店で食べてるかのよう。相変わらず美味い。 https://t.co/CCtcvviL6L — 阿曽山大噴火 (@asoza

能登半島地震に関して24日、初めて行われた国会の集中審議。道路の寸断による初動の遅れが指摘される中、国が道路啓開（緊急復旧）の計画を作っていなかったことが明らかになった。集落の孤立も招いた道路問題は過去の地震でもたびたび取り上げられ、法整備も行われている。繰り返された半島の震災で、立法府は責任を果たせたのか。（西田直晃、岸本拓也）

「頼清徳さんの勝利を祝って、カンパーイ！！」 私の目の前に、一斉にビールジョッキが差し出された。一瞬逡巡して周囲を見回したが、店内に他の客はあまりおらず、近くにいる台湾人は私の連れのO君だけだ。ここはやむを得ない。私は表情筋を笑みの形に変え、ジョッキを掲げておくことにした。 台湾総統選が実施された1月13日夜、台北市内の話である。私は日本人の知人から夕食に誘われ、取材現場を離れて約束の店にやってきた。すると、現場には主に保守系の日本人15人ほどが集まり、民進党陣営の勝利を祝っていたのだ。 1月11日、台北の総統府前で開かれた頼清徳陣営の造勢活動（選挙集会）　©安田峰俊 著名なジャーナリストや尊敬する同業者の方もおられた場なので、この宴会自体の是非は論評しない。ただ、海外の選挙の開票当日にわざわざ現地に渡航して、志を同じくする日本人同士で集まり（私の友人のO君を除いて現地人は誰もいない）、現

「ビジネス英語って独学で身につくの？」 「英語上級者じゃないと、ビジネス英語なんて話せるようにならないでしょう？」 ビジネス英語というとなんだか難しそう。そう思う方も多いかもしれません。 たしかにビジネス英語は「なんとなく意味が通じれば良い」という曖昧さが許されない分、敷居が高く感じられるのは事実だと思います。 しかし勉強の仕方によっては、英語初心者からでも充分独学でビジネス英語を習得することは可能です。 この記事では、無料アプリやラジオなど身近なものを教材として活用して、今のあなたの英語力をぐっとビジネスレベルに近づけていく方法をお伝えしていきます。 勉強方法のポイントをしっかり抑え、仕事で役に立つビジネス英語を習得していきましょう！ 執筆者：Lin 小4までアメリカの現地校に通い、帰国後は「英語はネイティブ並みでしょう？」という周囲の誤解とプレッシャーゆえに、英語の勉強から遠ざかった過

『街場の成熟論』が話題を呼ぶ内田樹さんと、『一億三千万人のための「歎異抄」』を上梓した高橋源一郎さん。長年の盟友である二人が「成熟」をテーマに縦横無尽に語り合った。 ◆◆◆ 高橋　内田さんに会うのは数年ぶりですが、以前今や休刊になった『SIGHT』という雑誌で対談シリーズをずっと一緒にやっていました。そのときにはだいたい、まず僕から話して内田さんがレシーブする習慣でしたので、今日もそのスタイルでいきたいと思います。 内田　はい、よろしくお願いします。 高橋　僕も最近、『一億三千万人のための「歎異抄」』という本を出しました。「一億三千万人」という冠がついた本はこれで3冊目ですが、前の本の『論語』に続いて、親鸞の『歎異抄』を訳したんですね。本が出た後、そういえば、どちらも〈先生と弟子の話〉であることに気がついた。僕はいままで、いわゆる「翻訳」は3つくらいしか手掛けてなくて、『論語』の前は80年

自民党派閥の政治資金パーティー裏金事件で、所属議員や会計責任者らの立件を受け、安倍、二階、岸田の3派閥の幹部は19日、ようやく記者会見を開き、政治資金収支報告書への虚偽記載について語った。幹部らはいずれも陳謝したものの、議員辞職は否定。なぜ政治資金収支報告書にうその記載を続け、国民の目を欺いたのかなどは詳しく説明せず、多くの疑問が残ったままだ。（大杉はるか）

パフォーマンス集団「電撃ネットワーク」の南部虎弾（なんぶ・とらた、本名・佐藤道彦＝さとう・みちひこ）さんが20日午後11時55分、脳卒中のため都内の病院で死去した。72歳。山形県出身。葬儀・告別式は近親者のみで行う。後日お別れの会を予定している。 【写真】結成当時の「ダチョウ倶楽部」肥後克広、南部虎弾さん、寺門ジモン、上島竜兵さん グループは公式サイトで「突然ではございますが、電撃ネットワークを長年牽引してきたリーダー南部虎弾　昨日23:55　脳卒中の為、帰らぬ人となりました」と報告。 「通夜、葬儀につきましては、近親者のみで行わせていただきます。後日、お別れの会を予定しておりますので、詳細は追ってご報告いたします」とした。 突然の訃報にあたり「突然の悲しい出来事に、困惑しておりますが、ファンの皆様を大事にしてきた南部虎弾に代わり、思いをお伝えいたします。長い間、応援ありがとうございました