初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
Zig の文書読んで所感を記す - Qiita
これは何？ Zig を学ぼうと 公式文書 (0.91時点) を読んでいるんだけど、読みながら思ったことを記していく。 続編は Zig の文書読んで所感を記す #2 へ。 その前に Zig への言及が最近多いなぁ、でもシンプルな言語だって言うしまあどうでもいいかなぁ、ぐらいの気持ちでいたんだけど、ZigはCMakeの代替となるか を読んで、俄然興味が湧いてきて、じゃあ読んでみるか、と思った。 数値 i32 とか u16 のような名前で型が提供されている。 整数は 128bit まである。そればかりか、 3bit とか 53bit のような中途半端な幅の整数も使える模様。面白い。 さらに。何に使うのかわかってないけど、 i0 u0 のようなゼロビットの整数もある。 ちなみに0ビット整数には 0 が代入できる。 u1 は、 0 または 1。 i1 は、 0 または -1 が代入可能。 浮動小数点
データベースについて知っておくべきこと
architecture notesより。 この記事は、「知っておくべきこと」というシリーズの最初の記事です。様々なテーマについて、基本原則からレベルアップするための入門書と考えて下さい。今日は、データベースについて説明します! BY マハディ・ユスフ データベースは、アプリケーションのほぼすべての状態を格納しているにもかかわらず、表面的にはどのように動作しているのかほとんど知られていないことに驚かされることがよくあります。しかし、これはほとんどのシステムで成功するための基礎となるものです。そこで今日は、RDBMSのインデックスとトランザクションを扱う上で最も重要な2つのテーマについて説明します。 データベース特有の癖に深く立ち入ることなく、RDBMSのインデックスについて理解すべきことを全て説明します。トランザクションと独立性レベルについても簡単に触れ、それらが特定のトランザクションに関
Ruby 3.1はここに注目！ 新しいJITとは？ デバッガ、エラーメッセージ、そして未来！ リリースマネージャーに聞いた ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Ruby 3.1はここに注目！ 新しいJITとは？ デバッガ、エラーメッセージ、そして未来！ リリースマネージャーに聞いた 2021年12月25日にリリースされたばかりのRuby 3.1では、どのような機能がどういった経緯で採用されているのでしょう。リリースマネージャーのnaruseさんと、フルタイムコミッターのmameさん、ko1さんに詳しくうかがいました。 プログラミング言語Rubyでは2013年の2.1.0以降、毎年クリスマス（12月25日）にメジャーバージョンアップが行われています。2021年も無事にバージョン3.1.0がリリースされました。 ▶ Ruby 3.1.0 リリース Ruby 3.1は、言語機能の面では全体的に穏やかなリリースにも見えますが、新しい方式のJIT（just in time）コンパイラ、標準の新デバッガー、事前アナウンスでも好評だったエラーメッセージの改善な
すｚのAVR研究: PIC32MX用ライブラリの検討(1)
FT232R ベースのライタは、デバッグ前まで来た。たぶんなんとかなるので、ライブラリについての検討を始めようと思う。 もう一度書くが、ベースとするのは、 『USBBOOTプログラム用ライブラリ』の記事の usbboot-wk19.tar.gz。 Ingenic の MIPS プロセッサ 用として作っていたのだが、放置中。ライブラリの名前は jzlib 。AVR-libc ようなものを目指していて MichroChip のライブラリと全然違うもの。PIC32 とか名前に入れずに jzlib の PIC32MX 対応版という位置づけにしようかと思う。 ライブラリ自体は、AVR-libc から取ってきたり、NetBSD から取ってきたりしてでっち上げている。mips16e には対応できていないが、mips32 なら コンパイルするだけで済む。課題は、 ・ スタートアップ ・ 割り込みエントリ
Alloy 6 の新機能 Mutable Field と線形時相論理
こんにちは、チェシャ猫です。 Alloy は関係論理を用いた形式手法ツールの一種です。本記事では、2021 年 11 月にリリースされた Alloy 6 の新機能、Mutable Field を用いた検査について解説します。この機能を使用することで、時間発展するタイプのシステムをよりシンプルに記述できるようになりました。 なお、本記事は従来の v5 以前の Alloy に触ったことがある読者を想定しています。したがって Alloy のツールとしての位置付けや基本的な文法・機能については説明しません。興味のある読者には『抽象によるソフトウェア設計ーAlloy ではじめる形式手法』（以下 Jackson 本）をお勧めします。 それでは早速、Alloy 6 をダウンロードして始めましょう。 TL;DR Mutable Field が導入され、時刻に従って変化するような関係が記述可能になった それ
機械語手書きから言語処理系をブートストラップする - Qiita
この記事は言語実装のカレンダー | Advent Calendar 2021 - Qiita https://qiita.com/advent-calendar/2021/lang_dev の4日目の記事です。 はじめに 昔、アセンブリ言語のみから出発し、GC・継続・オブジェクトシステムなどを持つ比較的高級な言語までブートストラップするということをやりました。いつか再挑戦してみたいと思っていて、正月休みにやりましたら思いのほか動くものになりましたが、死蔵させたまま1年経ってしまいました。勿体無いのでこの機会に紹介して供養します。 前回作ったAmberという処理系はこちら - リポジトリ: https://github.com/nineties/amber 今回はアセンブリ言語じゃなく ELFファイルの手書き から出発してみたいと思います。ただのお遊びで、そんなことしても役には立ちません。が
第690回 BCCでeBPFのコードを書いてみる | gihyo.jp
第688回の「eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する」ではBPF Compiler Collectionに付属の各種サンプルツールの使い方を紹介しました。今回はコンパイラーを活用して、自分でeBPF用コードを書くための基礎を学んでみましょう。 BCCのインストールとドキュメント 第688回も紹介したように、カーネル3.15で追加されその後拡充を続けている「eBPF」は任意の外部プログラムをカーネルの中で、より安全に実行できる仕組みです。カーネルモジュールを作る代わりに、独自のバイトコードをコンパイラーで生成し、それをカーネル内部にロード・実行することになります。これを使えばシステムコールの先のカーネルの状態を、プログラマブルに解析可能になります。 eBPF自体はカーネルの仕組みであり、ユーザーランドから使うためには、eBPF用のバイトコードにコンパイルする必要が
Rust初心者殺しの文法10選 - Qiita
概要 この記事ではRust初心者が驚いたり混乱させられたりするようなRustの文法を10項目集めてみました。 これらの項目は知らないと理解できなかったりコンパイルエラーに悩まされたりする一見厄介なものたちなのですが、そのような直感的でない挙動を敢えてさせているところには重要な意味が込められていることが多いです。 そのため、これらの項目を通してRustが目指しているものや実現したい機能の一部を垣間見ることができると思います。 1. デフォルトの代入がムーブ Rustの最大の特徴が所有権の概念であることは有名ですが、それでもなお初心者殺しになるのがムーブです。 以下のコードがコンパイルエラーになるメジャーな言語は現状Rustくらいしか無いでしょう。 let mut a = vec![1, 2, 3]; let mut b = a; // ここでaの持つベクタの所有権がbにムーブされ、aは無効に
gdbのDynamic Printfを使う - Qiita
はじめに gdbのDynamic pinrtf機能を使うことで動的にprintfを挿入できます。 breakすることなくプログラムの変数 / 実行パス を確認できます。 使い方 QEMU / gdb で Linux kernel の動きを確認するを例に説明します。 consoleAでQEMUを起動します。 TOP_LINUX=~/linux-3.13.0 TOP_BUSYBOX=~/busybox-1.26.2 qemu-system-x86_64 -s -nographic \ -kernel $TOP_LINUX/arch/x86/boot/bzImage \ -initrd $TOP_BUSYBOX/rootfs.img \ -append "root=/dev/ram rdinit=/sbin/init console=ttyS0"
富士通の実践知が詰まったデザイン思考のテキストブック公開
2021年12月3日に本テキストブックを題材に、デザイン経営の考え方や導入方法、テキストブックの制作秘話などについて語るオンラインイベントが開催されました。下記のリンク先からアーカイブ動画をご覧いただけます。 詳しくはこちら（外部サイト） > 富士通のこれまでの実践から得られたノウハウと、イタリアのミラノ工科大学デザインスクールPOLI.Designの研究成果やフィロソフィーを組み合わせた、デザイン思考のテキストブック「Transformation by Design デジタルトランスフォーメーションに挑戦するデザイン戦略とサービスプランニング」（日本語版・英語版）を公開いたします。このテキストブックはPDFで閲覧可能です。またテキストブック制作の背景や制作チームの想いなど、制作のディレクターを務めた宇多村志伸と高嶋大介に話を聞きましたので、ぜひダウンロードの際に併せてお読みください。
ノア・スミス「脱成長論はろくでもないってみんなも気づきつつある」（2021年9月5日）
[Noah Smith, “People are realizing that degrowth is bad,” Noahpinion, September 5, 2021] 脱成長論者が提唱してる狂った構想は，地球を救う本物の対策からぼくらの気をそらしてしまう幻想だ． 「脱成長」を唱える人たちがいる――地球を救うために経済成長を停止する必要があるのだと，彼らは言う．今回は，これがすごくダメなアイディアである理由を解説する長文記事を書くつもりでいた．ところが，ぼくが書くまでもなく，すでにそういう文章を書いてる人たちやポッドキャストで語ってる人たちが他にいる．たとえば，ブランコ・ミラノビッチ，ケルゼイ・パイパー，エズラ・クラインといった人たちだ．そこで，かわりに今回は各種の脱成長論をカタログにまとめて，その要点をとらえることにしよう． ただ，その前にまずは，標準的な主張を見ておこう．そうす
コラム - グーグルのクラウドを支えるテクノロジー | 第20回 Googleのソースコード管理システム ― Piper/CitC｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第20回 Googleのソースコード管理システム ― Piper/CitC (中井悦司) 2017年7月 はじめに 今回から2回に渡り、2016年に公開された学術記事「Why Google Stores Billions of Lines of Code in a Single Repository」をもとにして、Google社内で利用されているソースコード管理システムのPiperとCitCを紹介します。この記事では、Googleにおけるソースコード管理の仕組みやPiper/CitCの機能に加えて、そのメリット／デメリットが議論されています。 今回は、まずは、Googleにおけるソースコード管理の仕組みと、その考え方を紹介していきます。 ソース
mybest - おすすめ商品比較サービス
実際に商品を購入して自社の施設で比較検証したり、 専門家を中心としたクリエイターが自らの愛用品やおすすめ商品を紹介して、あなたの“選ぶ”をお手伝いします 株式会社マイベストとは私たちについてサービス理念運営会社・責任者概要運営者ブログ（マイベ通信）コンテンツ制作・運営ポリシープライバシーポリシーブランド・アイデンティティガイド一覧監修者一覧利用規約広告出稿について引用・転載についてお問い合わせ
技術ようつべチャンネル集 - Qiita
役立つYouTubeのチャンネルまとめ 数学、物理、アルゴリズム、プログラミング、などなど自分が使う技術に役立ちそうだな、困ったときによく見たなと思うチャンネルを紹介する。 取っ掛かり、ハマりがち、コツみたいな物が拾える。数学がメイン。随時更新していくつもり。 当たり前だけどちゃんと本も読んで勉強するんだぞ。 背景 YouTubeは視聴する登録チャンネルの数が増えると、チャンネルが埋もれて発掘困難になりがち (chrome拡張でできるチャンネルのフォルダ分け機能は、ぽちぽち登録するのも面倒で、そのフォルダの中から掘り出すのも難しい) モチベが上がる(おべんつよしたい)チャンネルを探してるうちに湧いてくる、わんにゃんコンテンツ(だいちゅき)に流され一日が終わるため、 モチベが上がる有用なチャンネルにすぐにたどり着くために、よく使うQiitaに列挙しておくことにした Streamや大学専用サイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tkmru/linux-insides-ja: Japanese version of linux-insides book
PIC32MX_USBCDC - AVR etc
日本最大級のオーディオブック配信サービス - audiobook.jp
.pdf)
データ分析のための統計学入門.pdf
ちいさな Web ブラウザを作ってみよう
