言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
3年目までに身につけたい技術ブログの書き方 - じゃあ、おうちで学べる
はじめに あなたは日々、何かを見ている。そう、コードを。エラーを。ドキュメントを。解決策を。 そして、それは誰も見ていないものかもしれない。あるいは、多くの人が同じものを見ているのに、誰も記録に残していないのかもしれない。 「自分なんてまだ1年目、2年目。経験が浅いから書くことなんてない」 そんな思いを抱いていませんか？ しかし、その思い込みは真実ではありません。むしろ、経験の浅さこそが、あなたにしか書けない貴重な視点を生み出します。初めて学ぶ時の困惑、理解するまでの試行錯誤、そして「あ、わかった！」という喜び—これらの生々しい体験は、あなたがまさに今感じているからこそ書ける宝物なのです。 「専門家でもないのにブログなんて書けない」「自分の書いたものなんて誰も読まないだろう」という思いも、単なる幻想です。誰もが最初から専門家ではなかった。今あなたが参考にしている記事を書いた人も、最初は不安
時間対価値の高いコードレビュー - Hello Tech
CTOの杉本です。 「コードレビューが忙しくて開発の時間がとれない」というのは、ある程度役割が広がったエンジニアからよく上がる不満だと思います。 コードレビューはチーム開発で重要な活動ではありますが、「コードレビューで使う時間に対してどれだけの価値を出せるかを意識できていない」ことが原因の一つにあることが多い、と僕は思っています。 僕自身も立場上日々のコードレビューの負担が重く、うまく開発が進まないと感じていた時期がありました。時間対価値を意識して思い切ってやり方を変えてからは、コードレビューの負担の重さを感じることは少なくなりました。 今回は、僕個人が運用しているコードレビューへの考え方について書きます。 コードレビューの目的 そもそもコードレビューは何のためにやるのでしょうか？ 僕が思うに、コードレビューの目的は「品質担保」と「開発者の成長」です。 最低限のコード品質・リリース品質を担
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Perplexity
Upgrade for image upload, smarter AI, and more Pro Search.
Gitの中身
はじめに Gitで管理するプロジェクトには.gitというディレクトリがあり、その中にGitの管理情報が入っている。その中には、全てのコミットや、いろんなバージョンのファイル、ブランチ、タグといった情報が格納されている。Gitを操作するにあたり、この中身がどうなっているかを理解する必要はないし、もし中身を覚えたとしても、操作方法は変わらないまま、内部実装だけ変更になる可能性もある。それでも、Gitの仕組み、特に様々な情報が.gitにどのように格納されているかを知っておくのは二つの理由から有用だと考える。 一つ目の理由は、「物が動く仕組み」を知っておくことが教養だからだ。車を運転するのに、アクセルを踏めば進み、ブレーキを踏めば止まり、ハンドルを回せば曲がることを知っていれば十分だ。しかし、シリンダーにガソリンが噴射され、ピストンで圧縮したところで点火し、爆発する力でピストンが押される、という直
The End of Programming as We Know It
Join the O'Reilly online learning platform. Get a free trial today and find answers on the fly, or master something new and useful. Learn more Betty Jean Jennings and Frances Bilas (right) program the ENIAC in 1946. Via the Computer History Museum Eventually, interpreted languages, which are much easier to debug, became the norm. BASIC, one of the first of these to hit the big time, was at first s
Clineに全部賭ける前に 〜Clineの動作原理を深掘り〜
はじめに AIのコーディングアシスタントとして最近、急速に注目を集めているCline。VSCode上でAIと連携し、コード生成からバグ修正、さらにはターミナル操作まで自動化できるこのツールは、多くのエンジニアの生産性を劇的に向上させています。 mizchiさんの『CLINEに全部賭けろ』という記事では、 AIから引き出せる性能は、自分の能力にそのまま比例する AI自体を管理するパイプライン設計を自分のコアスキルにする必要がある ともあるように、エンジニアはClineという強力なツールの最大限を使えるようになっていくべきです。 「AIの上手な使い方」が今のエンジニアにとって必須スキルになりつつあるため、単にClineを使うだけでなく、その仕組みを理解することで得られるメリットは数多くあります。例えば、現時点でのClineの得手・不得手を理解することでAIに対して的確に指示ができたり、clin
自作するな、そこはお前の戦場じゃない｜深津 貴之 (fladdict)
スタートアップのメンタリングをしていると、しばしば「全部を自分で作りたい病」に遭遇する。 作っちゃダメ！スタートアップのリソースは有限スタートアップはリソースが限られている。だからこそ、本当にコアな価値に集中する必要がある。開発・経営リソースは 競争優位性を生む部分に集中投下すべき であり、それ以外は可能な限り外部のリソースを活用するのが賢明だ。 しかし、現場ではこうした言葉をよく耳にする。 「このツール、使いにくいから自作しよう」 「このツール、高すぎるから開発しました」 「微妙に業務と合わないので、社内で作りました」 一見合理的な判断に思えるが、実際には 大きな落とし穴 となり、中長期的に技術負債を抱えることになる。 ほっとけばGAFAが解決する課題は作るなもし、その機能や仕組みが 半年〜1年でGAFA（Google、Amazon、Facebook、Apple）などの大手が提供しそうな
LinuxカーネルのメンテナがRustコードを混ぜることを「癌」と呼び、開発者間の対立が激化中
2月6日、海外の技術メディアThe Registerが「Mixing Rust and C in Linux likened to cancer by maintainer」と題した記事を公開した。この記事では、LinuxカーネルにRustコードを導入しようとする開発者と、C言語での統一を重視するカーネルメンテナとの意見の対立について詳しく紹介されている。 2月6日、海外の技術メディアThe Registerが「Mixing Rust and C in Linux likened to cancer by maintainer」と題した記事を公開した。この記事では、LinuxカーネルにRustコードを導入しようとする開発者と、C言語での統一を重視するカーネルメンテナとの意見の対立について詳しく紹介されている。 以下に、その内容を紹介する。 記事によると、LinuxカーネルでRustを利用す
結局最後、全部、落合陽一が持っていった｜shi3z
前回までのあらすじ 佐渡市長たっての願いで、本来はカルテット構成くらいで行う予定だったサテライト公演が25人のオーケストラ編成に。東京から楽器と奏者を25人連れてくるというキチ○イ沙汰に。さらにクラウドファンディングに参加した我々取材班(違う)はコンサートのプログラムを見た時、驚愕した。 「東京公演と全然違う」 だが実際にコンサートが始まると、取材班に衝撃が走った。 「新作、全部新作カットじゃん!!どうなってんの?いつ作ったの?っつーか一番奥に座ってるの落合陽一じゃん」 これまで東京公演ではあくまでもプロデューサー、映像演出という名目で裏方に徹していた落合陽一先生が、ステージの一番奥でVJブースみたいなのを拵えてVJプレイをしているのである。 しかも画面はこれまでで一番でかい超ウルトラ大画面。 オーケストラに負けないド迫力の大画面である。 超巨大スクリーン ゲネプロ時の写真(写真提供:日本
メルカリ 小泉さんからのエグい学び｜Shota Horii
ありがたいことに年末にメルカリの小泉さんとランチをご一緒させてもらいました。 CTO(@yutadayo)が作成した過去の失敗スライドに、リプライをいただいのがきっかけだったのですが、長らく競合事業(現ラクマ)をやっていたこともあり、きちんとお話ししたことがなく、とても学びが深かったので、ご本人に許可をいただいて、メモした内容と学びをシェアさせていただきます。 なんでメルカリに？噂ではフリルにも入社してもらえる可能性もあったとか？2007年よりミクシィに入社し、2012年の退任までCFOを務めていた その後、1年以上は他の会社の社外取締役をしたりフリーランスをしていた フリルは2012年夏リリース、メルカリは2013年春リリース 小泉さんは2013年冬にメルカリ入社 フリルのことは入社前から知っていて、2012年冬のIVSでコミュニティファクトリーの松本さんに「フリル知ってる？紹介してよ」
2024年版のDockerfileの考え方＆書き方 | フューチャー技術ブログ
最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整
FiNANCiE | あなたの夢が、みんなの財産になる
FiNANCiEの特徴保有して特別な 特典をゲットしようトークン保有者限定の、スペシャルな特典を味わえることも！ 今までの ファン以上のファンにトークンはギフトし合うことができ、コミュニティでの活発な活動がトークン獲得に繋がる！ トークンという 新しい体験あなたの応援が、単なる消費ではない資産にも繋がる新しい応援のスタイル
【翻訳】テスト駆動開発の定義 - t-wadaのブログ
このブログエントリでは、テスト駆動開発（TDD: Test-Driven Development）の考案者Kent BeckがTDDの定義を改めて明確化した文章を、許可を得たうえで翻訳し、訳者の考察を沿えています。 きっかけ 2023年の年末、テスト駆動開発（TDD: Test-Driven Development）の考案者Kent Beckは、substackにTDDに関するポストを連投して論戦を繰り広げていました。TDDはその誕生から20年以上が経ち、その間に「意味の希薄化」が発生して議論が噛み合わなくなっていました。意味の希薄化（Semantic Diffusion）とは、新しく作り出された用語が広まる際に本来の意味や定義が弱まって伝わる現象です。 私（和田）はTDDと関わりの深いキャリアを歩んできました。Kent Beckの著書『テスト駆動開発』の翻訳者であることもあり、TDDの正
Software 2.0
I sometimes see people refer to neural networks as just “another tool in your machine learning toolbox”. They have some pros and cons, they work here or there, and sometimes you can use them to win Kaggle competitions. Unfortunately, this interpretation completely misses the forest for the trees. Neural networks are not just another classifier, they represent the beginning of a fundamental shift i
「プロダクトマネージャーがプロダクトマネジメントを失敗させる!?」大企業病の罠を乗り越え若々しいチームを実現する/Traps of Optimization in Product Management 2024
「プロダクトマネージャーがプロダクトマネジメントを失敗させる!?」カオスなプロダクト開発を効率化したら硬くて息苦しい官僚組織になっちゃった! 大企業病の罠を乗り越え若々しいチームを実現するぞ 効率化を進めていったら息苦しい組織になってきたと悩む方に向けたセッションです。 概要 https:…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20250326_生成AIによる_レビュー承認システムの実現.pdf
An Updated Guide to Docker and ROS 2 – Robotic Sea Bass
開発だけアジャイルな状況を越えて顧客のアウトカムにつなげる一歩/next step in agile development agile japan 2023
