この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるということにもやもやした気持ちを感じていました。 そこで自分もモデルを一から作ってみたらよくわかるんじゃないかな？という気持ちでこのプロジェクトをスタートしました。 既にローカルLLMのコミュニティでは一からモデルを作っている方は複数いるものの、今回は自身のTransformerに対する理解を深めることが目的ですから、なるべく頼らずにいこうと決めました。 (これが一番の過ちだったかもしれません...。) かなり長くなってしまったので「まとめ」へのリンクを貼っておきます。 ま

AWS、コンソールの操作をコードに変換してくれる「AWS Console-to-Code」正式リリース Amazon Web Services（AWS）は、AWSコンソールでの操作をコードに変換してくれる「AWS Console-to-Code」の正式リリースを発表しました。 AWSコンソールの操作をコードに変換 AWS Console-to-Codeを利用することでAWSコンソールで操作した内容を記録し、コマンドラインで実行できるコードを生成してくれます。さらに生成AIのAmazon Qによって数クリックで AWS CloudFormationのテンプレートやAWS Cloud Development Kit（AWS CDK）を用いたTypeScriptやPython、Javaコードも生成されます。 これによりAWSコンソールでの操作を保存しておいて確実に再現できるだけでなく、コードをカ

Google日本法人は10月3日、大規模言語モデル（LLM）「Gemma 2 2B」の日本語版を公開した。Gemma 2 2Bは、米GoogleのLLM「Gemini」と同じ技術を活用した軽量版LLM「Gemma」シリーズの最新版。今回公開したのは、Gemma 2 2Bを日本語でファインチューニングしたモデルで、利用規約の下、モデルの変更や配布などもできるとしている。

世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを

「人付き合いが得意です」という方は、どの程度いるでしょう。 個人的には、 「何を話したらいいかよくわからない」 「人と話すと消耗する」 という気持ちはよくわかります。 ところで先日、シロクマ先生が、次のような記事を書いていました。 結局、人と話すとＭＰは増えるか、減るか ・人と話すと精神力(MP)が増えるか減るかは、話す内容。状況によって左右される ・もちろん、その人の性質や気質によっても左右される ・体力によっても左右される。その体力の一番無難な回復法は「休息」 この投稿の中で気になったのは、冒頭で引用されていた、以下のツイートです。 多分人と話すとMPが回復していく生き物と、人と話すとMP削れていく生き物は根本的に分かり合えないのだと思う。 — 前島賢(大樹連司) (@MAEZIMAS) August 30, 2024 「人と過ごすのが大好き」な人たちを見ると、確かに「別の人種だなあ」

はじめに 会社員として働く上で評価は最も大きな関心事の1つでしょう。評価によって自身の職位や給料が決まるのでそれも当然です。 しかしながら、「納得感のある評価を受けられていますか？」と問うと明確にYesと答えられる人は稀でしょう。「成果を出したのに正しく評価されていない」と不満を持っていたり「評価は偉い人が勝手に決めるものだから…」と諦めている人もいるのではないでしょうか。少なくとも過去の私はそうでした。 そもそも、評価をどのように受けるべきか指導や研修を受けたことはありますか？私にはその記憶はなく、自身が評価者の立場になって初めて評価というシステムに真剣に向き合うことになりました。 評価の際に被評価者としてできることは、評価者に自分の成果や成長を適切にアピールすることです。そして、アピールの方法として最も確実かつ重要なのは伝わる自己評価を書くことです このエントリは、被評価者が評価者に正

相手に話が通じず物事を前に進めにくいと感じることがある。特に、階層化された組織の違うレイヤーの相手や他部署の相手の場合にありがちかもしれない。 そういう時はついついヒートアップしてしまい相手のせいにしてハレーションを生むような話し方をしてしまいがち。"相手が理解してくれないのは相手の頭が悪くて理解できないから"みたいな態度は相手に伝わり、関係がこじれてより一層物事を前に進めにくくなってしまう。 こういう時に感情的になってうまく対処できないのは解決のための引き出しが少ないのが原因なので、思いつく対処法を雑に書きとめておく。 いったん自責思考に切り替える あまりに話が通じないと感じると自分の方が賢くて相手が悪いみたいなスタンスになりがちなのでまずはリセットする 相手に勝とうとするのではなく、目的を思い出して相手も自分も勝つにはどうすればよいかを考えるよう切り替える ほぼ相手に非があることももち

はじめに こんにちは、Watanabe Jin (@Sicut_study)です。 突然ですが、あなたは人に自分の考えを伝えることは得意でしょうか？ エンジニアの方は職場によってはコミュニケーションをリアルに取ることがそもそもない。そんな方もそこそこいるかと思います。 今回は最近注目されている言語化について紹介してきます。 言語化に関して書籍もたくさん出版されており、世間的にも注目度が高いものです。 私も言語化に魅了されている1人で4年にかけて言語化力を磨いてきました。 記事を600本以上投稿 音声配信を180日連続で投稿 100以上のアイデアから4つ起業 LTに2ヶ月で13回登壇 おそらくエンジニアの中でも1位をあらそえるような活動量だと思っています。 そんな言語化オタクの私が 「言語化力がつくメリット」 「エンジニアにとっての言語化」 「どうすれば身につくのか」 を実際に私が言語化力を

ITエンジニアがLLMベースの生成AIを使いこなせるようになることを目指した本です。 まずはLLMの仕組みの理解してメンタルモデルを構築し、次に代表的なプロンプトエンジニアリング手法を学ぶことで基礎を固めます。 最後に、ITエンジニアならではのプロンプトテクニックを紹介しますので、応用力を身につけましょう。

はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、

An IDE built on top of a canvas, Haystack takes care of the tedious and confusing parts of coding for you

2024年6月9日、KADOKAWAやニコニコ動画などを運営するドワンゴは、同グループの複数のWebサイトが6月8日未明より利用できない事象が発生と公表しました。システム障害の原因はランサムウエアによるもので、ニコニコ動画は復旧まで約2か月を要しました。またリークサイトから盗まれたとみられる情報を取得してSNSへ公開するなど悪質な情報拡散が確認されました。ここでは関連する情報をまとめます。 １．KADOKAWAグループのデータセンターでランサムウエア被害 公式及び報道より、データ暗号化の被害にあったのはKADOKAWAグループ企業 KADOKAWA Connectedのデータセンター（DC6）で運用されていたプライベートクラウドやそのクラウド上で稼働していたドワンゴ専用サーバー。またドワンゴの認証基盤であったActive Direcotryサーバーも攻撃者の制御下に置かれた。 侵害活動の拡

六年目の浦島太郎 高森みなも 【アフタヌーン四季賞2024夏 四季大賞】高校生の理咲は、仲の良い家族や友達、彼氏に囲まれ暮らしていたが、ある日余命3ヵ月と宣告を受ける。母親の懇願もあり、一家は一般に普及し始めたコールドスリープマシンを購入し、理咲は1年に4日間だけ起きて過ごすことに。だが、起きる度に周りとのズレが大きくなり……。

対象読者 様々なプロダクトへ AWS アカウントや環境を提供する SRE / CCoE チームを想定しています。 マルチAWSアカウント環境 SRE / CCoE は各プロダクトが安全かつ便利に AWS を利用できるよう、AWS アカウントの設定・払い出しや周辺コンポーネントの提供（踏み台・ID管理・ログ収集 etc...）を行います。 個別プロダクトの基盤設計や構築は行いません。 私の担当案件では 100 以上の AWS アカウントを提供しています。これでも多いとは言えず、例えば NTT ドコモでは 2,000 以上の AWS アカウントを管理[1]しているそうです。 セキュリティ対応方針 セキュリティグループの全開放や S3 バケットのパブリック公開など、AWS リソースの不適切な設定についての対応を考えます。 ゲート型 IAM ポリシーやサービスコントロールポリシー (SCP) で

人には、どの人にもある「思考のクセ」が存在しています。 そうしたクセは、普段あまり意識されることはありませんが、「知っている」人は、それを良くも悪くも「実態を隠す技術」や「他人を操作する技術」として使うことがあります。 例えば、「アンカー効果」として知られている思考のクセがあります。 これは「予測を立てる直前に見た数字をアンカー（よりどころ）にしやすい」という傾向です。 当然これは、金儲けにも利用できます。 数年前、アイオワ州スーシティーのスーパーマーケットがキャンベル・スープのセールを行い、定価から約一〇％引きで販売した。数日間は「お一人様12個まで」の張り紙が出され、残り数日間は「お一人何個でもどうぞ」の張り紙に変わった。 すると、制限されていた日の平均購入数は七缶で、制限なしの日の二倍に達したのである。 ファスト＆スロー　（上） このように、心理に関する知識は、成果を大きく左右するこ

最近なぜか中々寝付けなくて手持ち無沙汰にスマホを眺め続け　うっかりこのエントリを見つけたそこのお前　そう、お前だ 明日も仕事があるくせに寝付けないからとか言ってダラダラスマホを眺めてこんな新着エントリをわざわざ開いてるそこのお前だ 早く寝ないとどうせ明日になって後悔する事は　お前も分かっている事だろう だからな　2つでいい　試してみて欲しいことがある ①足を暖めろ いいか　最近急に猛暑になって　日中は勿論だがお前は夜中もエアコンをつけっぱなしで寝ているはずだ (逆にエアコンをつけていないのなら熱中症で死ぬから今すぐつけろ　ニュースの主役になりたくないのならな　いいな？) 当然だが　エアコンは体を冷やす機械だ　部屋が暑すぎて寝苦しいなんてことはなくなるだろう だがな　それじゃダメなんだ 本来眠気ってのは　日中の高い体温から夜中の低い体温に移り変わることで「眠気」が来て　そして「交感神経」から

はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル（LLM）を活用したアプリ

前回のブログ冒頭で記載した通り、弊社では今年からサイバーセキュリティチームを立ち上げました。今回はチーム立ち上げにあたって考えたことを共有します。 目指す姿〈Vision〉 目についた課題に対処するだけでは中長期的な成長は望めません。チームとして目指すべき到達点、Visionが抽象的なレベルでもあると、活動の軸になりますし、チームとして自分たちが前進していることを実感できると思います。 では、どういったVisionがよいか。当チームでは、『The Sliding Scale of Cyber Security』[1]を採用しました。このモデルではサイバーセキュリティの防御態勢を大きく5段階で表現しており、チームとして目指すべき姿を認識するうえで良いモデルだなと感じています。当社では少しだけ表現を変え[2]、下の絵のようにしました。 このうち、Offenceは事業会社としてはNGですので、そ