多段 ssh するなら ProxyCommand じゃなくて ProxyJump を使おう
概要 AWS とかで踏み台ホスト経由（ここでは AWS っぽく bastion と呼ぶ）で ssh する必要があるなら ~/.ssh/config は↓みたいにしとくのが良いんじゃないかな？ Host bastion Hostname bastionのIPアドレス User bastionのユーザ名 # ↓は規定のファイルだったり ssh-agent 使ってれば不要 IdentityFile bastion接続用の秘密鍵ファイル名 # ↓の3つはWindowsでは使えないので諦めて ControlMaster auto ControlPath ~/.ssh/cp-%r@%h:%p ControlPersist 10m Host 好きな接続先名 Hostname 接続先のIPアドレス User 接続先のユーザ名 # ↓は規定のファイルだったり ssh-agent 使ってれば不要 Identi
Going deeper with Image Transformers
Transformers have been recently adapted for large scale image classification, achieving high scores shaking up the long supremacy of convolutional neural networks. However the optimization of image transformers has been little studied so far. In this work, we build and optimize deeper transformer networks for image classification. In particular, we investigate the interplay of architecture and opt
Netflixによるインスタンス負荷改善のための解析事例 - FPGA開発日記
LinkedInの記事をめぐっているうちに見つけた、マイクロアーキテクチャに関する面白い事例。 CPUのマイクロアーキテクチャのさらに奥深くまで理解が必要な問題を解決するために、どのようなツールをつかってどのように解決したかの話。 netflixtechblog.com Netflix内でのワークロード最適化のため、AWSのインスタンスサイズを移行(16 vCPUから48 vCPU)し、CPUがボトルネックとなるワークロードの性能向上を図った。 このインスタンスの移行により、性能をほぼ直線的に増加させることを想定し、スループットがおよそ3倍になると予想した。 しかし、結果としてこの移行で想定する性能は達成できなかった。 https://netflixtechblog.com/seeing-through-hardware-counters-a-journey-to-threefold-pe
RAGを専門用語に強くする手法「Golden-Retriever」
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG（Retrieval Augmented Generation）を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム
Qwen/Qwen2-72B-Instruct · Hugging Face
system\nYou are a helpful assistant.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n' }}{% endif %}","eos_token":"<|im_end|>","pad_token":"<|endoftext|>","unk_token":null}},"createdAt":"2024-05-28T03:48:49.000Z","discussionsDisabled":false,"downloads":75702,"downloa
生成AI時代のデータセンターネットワーク 「計算資源の一部」へ役割が変化｜BUSINESS NETWORK
通信ネットワークの役割は“データを伝える”ことだ。だが、桁違いの計算能力を必要とする生成AI/機械学習の場ではその常識が変わる。ネットワークにも計算リソースの一部として働く性能・機能が求められる。 2022年が“ChatGPT公開”の年なら、2023年は、そのOpen AIを追いかける者たちの話題で持ち切りの年だった。北米のビッグテックはもとより、国内の動きも活発だ。 NTTやソフトバンク、富士通、理研らが次々と、生成AIの基盤となる大規模言語モデル（LLM）の開発を表明。サイバーエージェントは5月、NECは7月に自社開発したLLMの公開、提供を開始した。その後も東京大学松尾研究室（松尾豊教授）やPreferred NetworksがLLMを公開。2024年3月には、NTTが「tsuzumi」のデビューを予定している。 「計算のためのネットワーク」 第三次AIブームの行方にはまだ不透明な部
AIがあなたの仕事を奪う可能性は50/50
職場のコンピューターにログインすると、日常業務の半分が一晩でシームレスに自動化されているのを想像してみてほしい。メールの返信は下書きされ、データは分析され、レポートは要約される–すべて人工知能によって。サイエンスフィクション？ そうではない。「GPTはGPTである」と題された研究が6月にScience誌に発表された。 “LLMs are GPTs: Labor Market Impact Potential of LLMs “と題された研究が6月にScience誌に発表された。 OpenAI、Centre for the Governance of AI、Wharton Schoolの研究者たちは、AI主導の近未来を調査したが、その結果は驚くべきものだった。約1.8％の仕事が、現在の大規模な言語モデルを使用したAIによって、半分以上のタスクが影響を受ける可能性がある。OpenAI、Chat
GoでWebアプリケーションを作るときに使いやすい設定ファイルの作り方
GoでWebアプリケーションなどを作る場合に、使いやすい設定ファイルを作成する方法についてかきます。 基本的には、以下ができる設定ファイルを扱えるようにします。 設定ファイルはYAMLで記述できる 設定ファイルから環境変数が参照できる 環境別に設定ファイルを分けられる 共通の設定ファイルと環境別の設定ファイルを再起的にマージできる 設定ファイルをバイナリに埋め込める 設定ファイルの値はグローバルにアクセスできる 設定ファイルはYAMLで記述できるようにする 設定ファイルはYAMLで記述します。YAMLはどの言語でもだいたいパーサーライブラリが存在する、コメントが記述できる、JSONの上位互換なのでJSONを埋め込んでもYAMLとしてパースできるなどの理由があります。 まずは、YAMLで記述された設定ファイルをパースできるようにします。これには gopkg.in/yaml.v3 というパッケ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Add --for=create option to kubectl wait by soltysh · Pull Request #125868 · kubernetes/kubernetes
GitHub - huggingface/nanotron: Minimalistic large language model 3D-parallelism training
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
Quantizable Transformers: Removing Outliers by Helping Attention Heads Do Nothing
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
Stable and low-precision training for large-scale vision-language models
「これマジで美味いよ」適当に切ったトマトをオリーブ油で炒めて、弱火で放置。スパゲッティは粗塩多めで茹でるだけのシンプルなレシピ「トマトだけのスパゲッティの作り方」
GitHub - darccio/mergo: Mergo: merging Go structs and maps since 2013
golang_merge_yml/merge_yaml.go at main · wiebew/golang_merge_yml
yq/pkg/yqlib at master · mikefarah/yq
GitHub - mikefarah/yq: yq is a portable command-line YAML, JSON, XML, CSV, TOML and properties processor
config/internal/merge/merge.go at v1.4.0 · uber-go/config