大規模言語モデルの自然言語処理「Transformer」モデルの仕組み
第3回は、Transformerモデルのアーキテクチャーやデコーダーの処理内容、RLHFを使ったお作法の訓練を中心に解説します。 はじめに 前回は、大規模言語モデル(LLC)の概要のついて説明しました。今回は、GPTシリーズなどの大規模言語モデルが採用している「Transformer」という自然言語処理について解説します。 RNNやLSTMなどの回帰型ニューラルネットワークが中心だったところに彗星のように現れたTransformerは、どのような仕組みでGPTのような言語モデルを生み出したのでしょうか。 回帰型ニューラルネットワーク 私が2017年にThink ITの連載「ビジネスに活用するためのAIを学ぶ」を書いていた頃は、自然言語処理(NLP)と言えば次の2つが主流でした。拙書『エンジニアなら知っておきたいAIのキホン』にも、この2つの技術解説をしています。 RNN(Recurrent
Rustでコードを書くゲームエンジンのBevyを使ってインベーダーゲームを作る動画を紹介
Rustはメモリーセーフを目指すシステムプログラミングとして知られているが、用途はそれだけに限らない。今回は、Rustがゲームにも使えるプログラミング言語であることを、インベーダーゲームを作りながら解説する動画を紹介する。これはBevyというゲームエンジンを利用して開発するもので、RustのマスコットであるFerrisがシューターとして、ランダムに飛来してくるインベーダーをレーザーで攻撃して撃墜するというゲームだ。 動画は1時間20分程度という長さであるが、ゲーム開発の手法のひとつであるEntity Component System（ECS）によって徐々にゲームの要素を組み上げていくという内容になっている。ソースコードの構造はゲームの要素であるシューターをPlayer、インベーダーをEnemy、シューターが使うレーザー光線をLaserなどに分離して、それぞれ属性やロジックを組み上げていくと
UXデザインはじめの一歩 ーインタビュー技術を磨こう！
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
ITエンジニアに刺さる「ポッドキャスト6選」
はじめに 皆さんは「ポッドキャスト」を聞いていますか? ポッドキャストは個人でも配信できる音声メディアのことです。特定のサービスを指すわけではなく、音声ファイルをWebサーバーに置き、RSSフィードで更新情報を配信すればポッドキャストとして認識されます。ポッドキャストのアプリでは、そのRSSフィードのURLを登録すると随時更新された音声データを聴くことができる、という仕組みです。専用のアプリをインストールしておくと番組が更新された時点でプッシュ通知されるため、常に最新の音声データをチェックできます。 ポッドキャストという名前の通り、「iPod」時代の遺物といったイメージもあるかもしれません。しかし昨今、ポッドキャストが見直されているようです。大きな流れとしては、2018年に「Anchor」というポッドキャスト配信サービスが広まったことに起因すると思われます。録音から配信までを1つのサービス
IBMとRed Hatが推進するレガシーアプリケーションをKubernetesに移行するためのツールKonveyorを紹介
IBMとRed Hatが推進するレガシーアプリケーションをKubernetesに移行するためのツールKonveyorを紹介 Cloud Native Computing Foundation（CNCF）が公開している動画シリーズから、Red HatとIBMが推進するオープンソースソフトウェアKonveyor（コンベア）の概要を解説する動画を紹介する。Konveyorは、レガシーなモノリシックアプリケーションをクラウドネイティブなアプリケーションに移行させるためのツールだ。Konveyorを使って3層構造のレガシーなWebアプリを移行させる例を示すことで、具体的な移行方法を解説するものとなっている。 レガシーシステムのモダン化を助けるKonveyor Konveyorは、単にリフト＆シフト（レガシーシステムをそのままクラウドに持ち込み、少しずつ調整していく手法）するだけではない。中途半端に分
CNCFのCTO、Chris氏の「Cloud Native Predictions for 2021 and Beyond」に見る、クラウドネイティブに関する予測【前編】
CNCFのCTO、Chris氏の「Cloud Native Predictions for 2021 and Beyond」に見る、クラウドネイティブに関する予測【前編】 はじめに 国内外で「クラウドネイティブ」に取り組む企業やエンジニアが増え、クラウドネイティブ関連のイベントへの参加者も活況を呈しています。一方で「クラウドネイティブとは、なんでしょうか?」という疑問を持っている方々も多くいます。 そこで本連載では、クラウドネイティブについて解説するとともに、それを支える基本的なテクノロジーやソフトウェア、そして、特にエンジニア視点として、どのように学んでいくかを紹介していきます。 今回は、クラウドネイティブの普及を支援するCloud Native Computing Foundation(以下、CNCF)のCTOを務めるChris Aniszczyk氏が、2021年年初に公開したブログ「
「前例がないことへの挑戦」ー まつもとゆきひろ氏インタビュー 15周年を迎えた「Ruby City MATSUEプロジェクト」のこれまでとこれから
「前例がないことへの挑戦」ー まつもとゆきひろ氏インタビュー 15周年を迎えた「Ruby City MATSUEプロジェクト」のこれまでとこれから はじめに 「ITエンジニアが集まる街」として、長く注目を集めている松江市。昨今のコロナ禍において、特に「二拠点生活」「移住」「ワーケーション」といったキーワードで再注目されているようだ。 その背景にあるのは、2006年から松江市が取り組んでいる「Ruby City MATSUEプロジェクト」の存在だろう。プログラミング言語「Ruby」を核としたIT産業振興を開始し、本プロジェクトをきっかけに松江市に進出したIT企業は40社以上にも及ぶ。松江市の支援制度も手厚く、その内容も高く評価されている。 また「Ruby City MATSUEプロジェクト」で忘れてはいけないのが、Rubyの父、まつもとゆきひろ氏だ。「Rubyといえば松江」というブランディン
ITの英語：ITエンジニアが知っておきたい英単語と表現
はじめに ITエンジニアとして英語を使う際に、単語や表現の知識が足りないと困ることはありませんか。ITエンジニアに必要な専門知識は持っていても、英語の単語や表現が分からないために、業務がスムーズに行えないのは悔しいですよね。 しかし、数多くある英単語や表現の中から、何を覚えるべきか判断するのも簡単ではありません。そこで今回は、ITエンジニアとして知っておきたい英単語と表現を、3つの場面から紹介します。これらの単語や表現は他の場面でも応用できるものなので、ぜひ覚えておきましょう。 また、単語や表現の日本語訳だけを覚えても、文中での使い方が分からない場合もあります。今回は、単語や表現の意味を確認した後に会話動画で用法をご確認いただけるので、使い方のイメージをしっかりと持つことができます。 提案について 上司と打ち合わせをする際の単語と表現 最初に取り上げる場面は、顧客に対して提案する内容につい
Kubernetes 1.20から始まるDockerランタイムの非推奨化に備えよう！我々が知っておくべきこと・すべきこと
Kubernetes 1.20から始まるDockerランタイムの非推奨化に備えよう！我々が知っておくべきこと・すべきこと はじめに Kubernetesの次のマイナーバージョン1.20が、2020年12月8日にリリースされました。今回のリリースではGraceful Node Shutdownの追加やkubectl debugのBeta昇格など、運用に嬉しいさまざまな機能のアップデートがあります。その中でも、12月初頭にGitHubや公式Slack、Twitterなどを賑わせたのがDockershimの非推奨化でした。公式のリリースノートには以下のように書かれています。 Docker support in the kubelet is now deprecated and will be removed in a future release. The kubelet uses a modu
注目のSPIFFE、その概要とKubernetesへの導入方法
はじめに 「KubeCon + CloudNativeCon」でのセキュリティに関するセッションで紹介されたり、IstioをはじめとしたService MeshプロダクトのWorkload Identityとして採用されたりと、最近になりCloud NativeコミュニティでSPIFFEの名を耳にすることが多くなってきました。本記事では、SPIFFEが求められた背景やSPIFFEの概要、Kubernetesへの導入方法などを紹介していきます。 SPIFFEが求められた背景 マイクロサービスアーキテクチャ、コンテナオーケストレーター、クラウドコンピューティングのような分散システムを利用している環境では、サービスのスケーリングなどに伴いノードやアプリケーションが頻繁かつ動的に分散配置されるため、アプリケーションに割り当てられるIPアドレスが短期間で変化してきます。 このような環境では、ネットワ
リアクティブシステムが注目を集める理由
第1回となる今回は、「リアクティブシステム」が登場した背景や注目を集めている理由などの概略を紹介します。 リアクティブシステムとは何か？ ここ最近、「リアクティブ」という言葉を耳にしたり、SNS上で目にしたりという機会が増えたのではないでしょうか？ リアクティブは、目まぐるしく進化するソフトウェア構築技術の中で、次世代ソフトウェア構築のためのベースとなる技術の一つとして注目されています。しかし、ひとくちにリアクティブといっても、単にリアクティブと言ってみたり、リアクティブプログラミング、React.js、リアクティブストリームなど様々で、リアクティブの明確な定義が存在せず、その捉え方もまた様々です。そこで本連載では「リアクティブシステム」にフォーカスして、「リアクティブシステム」とは何なのか、どうやって作るのか、「リアクティブシステム」によって誰がどんなふうに幸せになれるのかを紹介していき
詳解KubernetesにおけるPersistentVolume
はじめに コンテナはデータを持つアプリケーション(ステートフルアプリケーション)には不向きと言われてきました。しかし、Kubernetesの進化に伴い、ステートフルアプリケーションも動作できるようになってきました。 そこで本記事では、ステートフルアプリケーションをKubernetesで動作させるために重要となるストレージについて解説します。 ストレージのモデル Kubernetesは、データを永続化するためのストレージを抽象度の高いモデルで表現しています。これにより、ユーザはストレージの詳細を知らなくても、Pod内のコンテナにボリュームを割り当てて使うことができます。 PersistentVolumeClaim, PersistentVolume, StorageClass Kubernetesではストレージの基本モデルとして、次の3つのリソースがあります。 PersistnetVolum
WebAssemblyとRustが作るサーバーレスの未来
注目を集めるWebAssemblyとRustそしてサーバーレスに結びつく未来を、Cloudflareのエンジニアが解説する。 JavaScriptの登場によって、Webブラウザーはスタティック（静的）なWebページを表示するだけの存在から、より動的なアプリケーションを実行するプラットフォームに進化した。そしてそれをさらに進化させるために登場したのがWebAssemblyだ。WebAssemblyは2015年にMozilla Foundationによって発表され、その後2019年12月にW3Cのレコメンデーションとして採択されたブラウザーで実行されるコードのバイナリーフォーマットの標準だ。 HTML、CSS、そしてJavaScriptに続く進化のための要素の一つとして紹介されるWebAssemblyは、動的型付けのインタープリター言語であるJavaScriptと比較してコードのサイズが小さく
クックパッド流「ユーザーファースト」の秘訣について聞いてみました
クックパッドの、その「ユーザーファースト」は、どのようにして推進されているのだろう か。ユーザーファースト推進室の倉光 美和さん（HCD-Net認定 人間 中心設計専門家）に聞いた。 クックパッドは、日本最大の料理レシピサービスであるとともに、「ユーザーファースト」を最も重要な価値観と位置付け、徹底してユーザーの方と向き合いながらサービスを展開している企業だ。 サービス産業生産性協議会が発表する「JCSI（日本版顧客満足度指数）」の2015年版では、インターネットサービス部門で、Google や Yahoo! JAPAN を上回り、全指標で1位を獲得、さらに顧客満足度では3年連続で1位など、ユーザーから高い支持を集めている。 ――ユーザーファースト推進室というのは、どのような部署なのでしょうか クックパッドは社員の行動指針として「ユーザーファースト」であることを掲げています。「提供している
Serverspecテストコード実例の紹介とコード記述の際のポイント
第1回では、Serverspecの概要とテストコードを書くまでの事前準備についてご紹介しました。第2回では、より具体的な環境を例として、実際に即したServerspecのテストコードの書き方をご紹介します。テストコードを記述する際のポイント等をまとめ、テストコードの記述をスムーズに実施できるようになることを目的として解説します。 LAMP構成のシステムのテスト 具体的なシステムとして、LAMP（Linux、Apache HTTP server、MySQL、PHP）構成の環境を想定し、この環境に対するテストコードの一例を紹介します。 LAMPの構成を採るシステムの例として、今回は統合監視ソフトウェアのZabbixを稼働させるための環境を取り上げます。LAMP環境のベースとなるLinuxは、CentOS 6.5を想定しています。 稼働状況のテストとして、大まかに以下の4つの部分に分けて各部分の
CSS3のWebフォントを使ってみよう
EOF形式以外のフォーマットへ変換したい場合には、「@font-face Generator」がお勧めです。さまざまなオプションがあり、文字を限定できるサブセット化の機能もついていますが、その分、ttf2eotより多少時間がかかります。 WOFF形式を優先して複数のフォーマットを指定する 先述したように、WOFF形式のフォントはWeb用に開発されており、データが軽く、著作権情報を盛り込むことができるというメリットがあります。Webフォントを使う上で、これから普及してくるフォーマットだと思われます。現状、ひとつのフォント形式だけで主要ブラウザのすべてをカバーすることはできませんが、WOFF形式を優先して指定しておくのが良いでしょう。 @font-faceのsrcディスクリプタでは、複数のフォントファイルをカンマで区切って指定できます。優先度は記述順になっており、その中から利用できるものが選択
「まずは可視化コード書きから」めんどくさがり屋必見！できるだけ作業時間を減らすデバッグ術
筑波大学 システム情報工学研究科 コンピュータサイエンス専攻 非数値アルゴリズム研究室(NPAL) 五十嵐 悠紀 2004年度下期、2005年度下期とIPA未踏ソフトに採択された、『天才プログラマー/スーパークリエータ』。筑波大学 システム情報工学研究科 コンピュータサイエンス専攻 非数値アルゴリズム研究室（NPAL）に在籍し、CG／UIの研究・開発に従事する。プライベートでは二児の母でもある プログラミングの本は多々出版されていますが、デバッグの本はあまりありません。また、プログラミングは大学の授業や企業セミナーなどでも習得できますが、デバッグを教えてくれる教室などはあるのでしょうか？ デバッグさえなければプログラミングは楽しいのに、と感じているエンジニアは多いと思います。しかしデバッグは避けて通れないのも事実。そして、おそらくみんな、自己流で身に付けていくものだと思います。 私も
CSSだけでできる？の判断スキル向上など、失敗から得た5つの気づき
前回の記事では、ぼくらの自社サイトリニューアルがいったん失敗に終わり、ゼロから作り直す羽目になった顛末をお話しました。失敗はつらくて、恥ずかしい。今も、こうして記事を書いている中で、「できれば失敗せずに済ませたかったな」という複雑な思いが胸にこみ上げてきます。 せめてその失敗を反省し、「繰り返すべきでないこと」と「今後も継続すべきこと」をきちんと言語化しておくことで、失敗の経験を「成長」につなげたい。そういう思いから、こうして失敗談を記事にさせていただくことにしました。 今回の後編では、その失敗から得られた5つの気づきをお話ししたいと思います。もし、これらの気づきがみなさんを楽しませたり、お役に立てたりすれば幸いです。とは言えたった一度の経験から得られたものですので、まだまだ洞察が深まっていないところもあるかと思います。至らぬ点や誤りなどがあったら、@Shumpeiまでお気軽にご指摘くださ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
