Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
実用アルゴリズムの基礎「動的計画法」と機械学習の基礎「類似度」を知る
実用的なソフトウエアを開発するにはアルゴリズムの知識は欠かせない。基礎から機械学習まで、厳選した10個のアルゴリズムをPythonによる実装とともに解説する。 ［7 動的計画法］ レーベンシュタイン距離 多くの人にとって、アルゴリズムの学習の最初の壁となるのが、「動的計画法」ではないでしょうか。動的計画法は、「問題の部分的な結果を記録・利用しながら、最終的な結果を求める」手法の総称です。クイックソートや深さ優先探索のような手法よりも、1 段か2段、抽象的な概念である点と、アルゴリズムを可視化しにくい点が、難しく感じる原因なのだと思われます。また、“動的計画法”という名称が内容に合っていないことも、動的計画法をわかりにくくしていると言えるでしょう。 しかし、多くの有用なアルゴリズムは動的計画法の手法を使っているので、避けて通ることはできません。 ここでは、動的計画法で「レーベンシュタイン距離
LPI-Japan、ITの仕組みを一般教養として学ぶツールを無償提供
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます LPI-Japanは7月19日、ITの全体像を一般教養として理解できることを目的にした「ITベーシック学習教材」を開発し、企業や教育機関などに無償提供すると発表した。 LPI-Japanは、クラウドなどの技術やデジタルトランスフォーメーション（DX）などがさまざまな分野で身近になりつつある状況を踏まえ、「ITで何ができるか？」というITを活用していく能力が求められていると提起する。誰もがこの能力を身に付けられることを目的に、「ITベーシック学習教材」を開発したという。 ITベーシック学習教材では、スマートフォンやSNSなど実際に日常的に使われているITサービスを題材として、それらを実現しているITの仕組み、ITと社会との関係性を理解でき
基本情報技術者試験が1969年発足以来の「大改訂」、どうなる難易度
ITエンジニアの登竜門とも称される「基本情報技術者試験（FE）」の制度が、2023年4月から大きく変わる。変更は実施時期や出題形式、採点形式など試験のさまざまな箇所に及ぶ。IT関連試験の参考書などを手掛けるアイテックの石川英樹教育事業本部IT人材教育研究部長は「1969年に情報処理技術者認定制度が発足して以来の大改訂だ」と指摘する。 受験者からは今回の変更が、試験の大幅な易化につながるのではないかと声が上がる。「大改訂」は試験の難易度にどのような影響を与えるのか。 JavaやPythonなどの個別言語に関する大問を廃止 まず本改訂における変更点を確認しよう。受験者に影響する最も大きな変更点は実施時期、試験時間、問題数、午後試験の対象分野、採点方式の5つだ。 はじめに実施時期だが、受験者が任意の時期に随時受験できるようになる。これまでは1年に2回、所定の期間に午前試験、午後試験の2つを受験す
Mozillaの開発者向け学習プラットフォーム「MDN」が有料サブスクプラン「MDN Plus」を追加
CSSやHTML、JavaScriptなどについて学ぶための、Mozilla公式の開発者向け学習プラットフォーム「Mozilla Developer Network(MDN)」に有料サブスクリプションプランの「MDN Plus」が登場しました。MDN Plusに加入すると、更新通知受け取り機能やお気に入り機能、オフライン機能が使えるようになります。 MDN Plus https://developer.mozilla.org/en-US/plus Introducing MDN Plus: Make MDN your own - Mozilla Hacks - the Web developer blog https://hacks.mozilla.org/2022/03/introducing-mdn-plus-make-mdn-your-own/ Mozilla Formally In
2020年こそ理解したい「因果推論」の勉強はじめました｜松本健太郎
あけましておめでとうございます。2020年もよろしくお願いします。 2019年は「データサイエンティストなのにデータ万能主義を否定している」的スタンスでのメディア露出が増えました。 発言に矛盾はないと思います。データ触っている人ほど、データに慎重ですよね？ 加熱するデータへの過度な期待を、少しでも冷ませられたら幸いです。しかしデータ自体への火は消していない。火を絶やすでないぞぉ。ただ、データ分析の全てを否定したわけではありません。 実は取材を受ける度に「これからは因果関係を発見する因果推論が重要」と主張してきました。2020年代はますます重要性が増すと考えています。 新年１発目のnoteは、その論拠をまとめてみました。 2020年代は因果推論がアツいと思う理由私がデータ分析を始める際、いきなり数字は触りません。まずは「目的」と「アプローチ」を定義するところから始めます。 目的（WHATとW
【転職エントリ】Googleに入社します｜Lillian
はじめに この記事には、Googleのオンサイト面接に向けて勉強した内容が記載されていますが、それらはすべて面接を受ける直前に書いておいたものです。このエントリを読むことで面接で聞かれた内容が予測されてしまわないようにそのようにさせていただきました。ご了承お願いします。 この記事について 令和元年に医師を退職し、ソフトウェアエンジニアに転職します。 自分にとって大きな転機であったのと、とても大変な道のりであったので、私という人間が辿った道筋を最初から最後までちゃんとまとめておきたいと思いこの記事を書くことにしました。 私のような他業種から未経験での転職を目指されている方にとっても、何らかの参考になる内容であれば幸いです。 私の生い立ち 私は小さい頃からテレビゲームが大好きで、学校から帰るとずっと家でゲームをしている子でした。あまりにもゲームが好きだったので、遊ぶだけではなく自分で作ってみた
「セキュリティの基礎は無料で学べる」 ワンクリックで”リテラシー”高める無料教本
「セキュリティの基礎は無料で学べる」 ワンクリックで”リテラシー”高める無料教本：ITりてらしぃのすゝめ（1/3 ページ） ほとんどの人にとっては、ITセキュリティは難しいもので、勉強するのは面倒に感じるかもしれません。将来的に素晴らしい技術が登場して、私たちが何も気にしなくてもAIや機械がサイバー空間を守ってくれるようになる未来は必ずやってくると信じているものの、現状は私たち自身がサイバーセキュリティについて学んでいく必要があります。 いきなりセキュリティの達人になることはできなくても、「あ、これ聞いたことがあるな」と気付けるだけで、多くの脅威から身を守ることができます。 ならば、その「聞いたことがある」という状況にまでステップアップしてしまいましょう。これまでなら本屋に行って何か教本を買ってくるか、ネット上で調べるのが定番でした。いまやその第一歩が、無料の電子書籍で済んでしまうのですか
2年前に独学でプログラミングを始めて成長速度が遅かった自分に後悔していることと、おすすめの勉強法と参考書 - BinaryArticle
自分は2年前にプログラミングを始めました。 ブログを始めたのもちょうど2年前、その時はブログでマネタイズすること必死でSEOを極めたりしていたけど、いくら毎日一記事書いて検索結果で1位獲得しても、お金を稼げるだけで自分の出来ることがスケールすることもないな、と思い、可能性を広げるためにプログラミングを始めたのがきっかけ。 ブログに関しては、その時自分のかなりのリソースをかけていて、マネタイズという意味では成果が多少出たものの、一人で目標を達成するためにブログを書き続ける孤独感だったりに耐えられず、やめたという負の経緯があります。 どうせ作るなら、ブログじゃなくて大きいWEBサービスを作って、もっとマネタイズの幅を広げたい！くらいの動機だったでしょうか。 そこから、ドットインストール、Progate、海外のW3Schools Online Web Tutorialsなどを活用してコードを書き
本の虫: Linus、今までの行いを謝罪し一時的にカーネルメンテナーの立場を退いて人の気持ちを勉強してくると発言
Linus、今までの行いを謝罪し一時的にカーネルメンテナーの立場を退いて人の気持ちを勉強してくると発言 完全に背景事情を調べ上げたわけではないのだが、どうもLinusが毎年参加しているLinuxカーネルの会議に、Linusがスケジュールを間違えて参加できなくなるという事態が発生した。当のLinus本人はもう20年も続いている会議だし自分がいなくてもやっていけるだろうと楽観視していたが、会議自体がLinusの都合にあわせてリスケジュールされた。 LinuxにおいてLinus Torvaldsといえば第一人者であり極めて重要な存在で、そのLinusが毎年参加している重要な会議にLinusが参加できないとあれば、その他のあらゆるコストを度外視して根回し調整を行い、Linusが参加できるようにイベント全体のリスケジュールを行うのは人間の感情から考えて当然である。しかし当のLinus本人は他人の感情
「はじめてのフロントエンド開発」という本を書きました - massa142's blog
共著者として参加していた書籍『React，Angular，Vue.js，React Nativeを使って学ぶ はじめてのフロントエンド開発』が、2018/5/9に技術評論社さまより発売となりました。 React、Angular、Vue.js、React Nativeを使って学ぶ はじめてのフロントエンド開発 作者: 原一浩,taisa,小松大輔,永井孝,池内孝啓,新井正貴,橋本安司,日野洋一郎出版社/メーカー: 技術評論社発売日: 2018/05/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る どんな本か React、Angular、Vue.js、React Nativeそれぞれが、同じサーバのAPIを参照し、同様の機能を持ったアプリケーションとして作成します。React Nativeは、ネイティブアプリを開発するためのフレームワークなため、SPA（Single-page
AWS、何から勉強したらいい？に対する俺の答え - Qiita
このツイートがわりと好評だったので解説。 「AWS、何から勉強したらいい？」に対する俺が考えた回答がこれ。 pic.twitter.com/ouuP3P27Bu — 伊藤 祐策(パソコンの大先生) (@ito_yusaku) 2018年4月17日 これは誰向け？ メンテナー以上の領域を目指す人向け。 オペレータ ... システムの運用、監視、障害調査＆対応をする人 メンテナー ... システムの拡張、改善をする人 アーキテクト ... システムを１から設計、構築する人 解説 各科目の選定基準 必修科目 ... AWSを本番運用するにあたって絶対に避けては通れないサービス。 重要科目 ... 間違った設計をすると、あとから取り返しがつかないサービス。 選択科目 ... 学習量を削るために仕方なく必修から外したが、Webサービスを構築するにあたりほぼ必須となるサービス。 必修科目で押さえておく
エンジニアは業務時間外でも勉強するべきなのか | 株式会社アクシア
エンジニアがスキルアップするための勉強を業務時間外でもするべきかどうかについて、「教育してエンジニアを育てるのは企業側の責任だ」「エンジニアであればスキルアップのために当然自分で勉強すべきだ」といったような議論を度々見かけます。 この問題についてはどちらが正解というわけでもないかもしれませんし、企業やエンジニアのポリシーによるところも大きいかもしれません。 いずれにしても今後うちの会社の求人に応募してきてくれる方に向けて、企業として、または会社トップとしての私の考えを明確にしておくことはやっておいた方が良いなと思いましたので、この記事に私の考えをまとめてみたいと思います。 プライベートで勉強しなくても何とかなります 仕事をこなしていくという観点から言えばプライベートでの勉強を一切やらなくても何とかなります。たとえ未経験で入社してきた人であってもそれくらいの教育は行っています。 でも最初にこ
GNU sed 4.3登場 - 開発に携わって | NTTデータ先端技術株式会社
Tweet GNUの開発に関わるようになったきっかけ 私がGNUの開発に関わるようになったきっかけは、2010年頃当時のGNU grepの最新版2.5.4が日本語環境で極端に遅かったことにあります。 コラムをご覧になられている皆さまも手元に開発ツールがインストールされたUnix/Linuxを用意できるようでしたら、実際にgrep 2.5.4をGNUのサイトからダウンロード、インストールして、動かしてみてください。以下の検索を行うと、結果が返されるまでにかなり時間かかると思います。 $ gzip -cd grep-2.5.4.tar.gz | tar xf - $ cd grep-2.5.4 $ ./configure $ make $ yes $(printf %040d 0) | head -10000 >inp $ time -p env LC_ALL=ja_JP.utf8 grep
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
42 Tokyo フランス発のエンジニア養成機関
ChatGPTの急速な普及、古代ギリシャ人と同じ問題に現代人も取り組む（Forbes JAPAN） - Yahoo!ニュース
東大では早速「ChatGPT持ち込み可」の試験が出てきた→しかもさすがの出題だった
英語で「割り算をする」はなんて言う？｜OTONA SALONE[オトナサローネ] | 自分らしく、自由に、自立して生きる女性へ
The Open Group Base Specifications Issue 7, 2018 edition