対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み

同時期以前の古い車両は図面も部品の補給体制もなく、交換するには新たに図面を引き直して製作するしかない＊。個別対応の単品製作になるため費用もかかり、対応可能な技術や態勢を持つ工場も減ってきている。そこでアディティブ製造装置（3Dプリンター）を使った部品製作が選択肢として浮上してくる。元の部品を3Dスキャナーで測定し、3Dの形状データを得て、これを基に金属3Dプリンターで造形するリバースエンジニアリングによる方法だ。 モ351形は、新造当時はなかった冷房装置を1980年代に搭載した他、2010年代には行き先表示装置（方向幕）をLEDによるものに交換し、交通系ICカードの読み取り装置の設置、乗降口の段差を緩和する補助ステップの設置など、さまざまな改造を受けつつ長年活躍してきた。今後も適切に維持管理していけば、当分は走り続けられるとみられる。 品質は十分確保可能に リバースエンジニアリングは、基本