Rustでリレーショナルデータベースを自作したときの成果と反省と学び - Yoshisaurのメモ
はじめに この記事では、個人プロジェクトとしてRust言語でリレーショナルデータベースを開発した経験（もう五ヶ月も前...）について、その成果と反省、得た学びを共有します。 DBMSを自作した理由 自分がDBMSの自作に着手したのは、『Designing Data-Intensive Applications』という本の内容を深く理解するためでした。 この本は、データシステムの設計と運用において最も大切な「信頼性」、「拡張性」、「保守性」を保証する方法論を、豊富な文献を引用しつつ、理論と実践の橋渡しを巧みに行いながら、丁寧に説明している名著です。読んだことがない人は速攻購入してくだい。本当にいい本です。 この本は、データベースの内部構造に関する話も豊富に含まれていたので、「データベース自作してみようか...」という気持ちになりました。 Rustを採用した理由 データベースの実装のついでに、
プログラムを動かす時にメモリがどのように割り当て・解放されるのかをめちゃくちゃわかりやすいイメージ画像で解説してくれるサイト「Memory Allocation」
コンピューター上でプログラムを動作する際に必要になるのがメモリです。プログラム自体をメモリに読み込む必要があるのはもちろん、プログラムが行う動作はほとんど「メモリから値を取りだして計算し、メモリに保存する」であるといっても過言ではありません。プログラムが動作する際にメモリがどのように管理されているのかについて、ベテランプログラマーのサム・ローズさんがブログで解説しています。 Memory Allocation https://samwho.dev/memory-allocation/ C言語の標準ライブラリには「malloc」と「free」という2つの関数が用意されています。この2つはなんと1979年のUnix v7から存在している歴史ある関数で、mallocがメモリの割り当てを担当し、freeがメモリの解放を担当しています。サム・ローズさんの解説は「この2つの関数の中身を自分で実装する」
Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった - knqyf263's blog
最初に断っておくと今回は万人向けの記事ではないです。面白かったので自分が忘れないようにまとめているだけです。 本記事の位置付け はじめに 発見経緯 CRCのエラー HTTPアクセスログ 壊れたgzipのtrailerを見てみる 壊れたファイルの法則性 月次ログファイルの生成 Linuxカーネルのバグの可能性 バグ混入の歴史 ログ破損の原因 8バイトの謎 PoCの制約 まとめ 本記事の位置付け Dirty Pipe（CVE-2022-0847）三部作の最後です。ダークナイト三部作で言うとダークナイト ライジングにあたります。ダーティとダークって似てませんか。 spliceを使って高速・省メモリでGzipからZIPを作る 20分で分かるDirty Pipe（CVE-2022-0847） Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった（本記事） 上の1, 2を前提知識と
ガラケーしか使えないデジタル音痴だった私が「GISでデータ分析」できるようになるまでの話｜NHK取材ノート
東京の多摩川沿いの浸水リスクがある地域で、「なぜか人口が増えている」ことをデータ分析ソフトを使って明らかにして、その背景を探りました。 次にこんな記事も書きました。 南海トラフ巨大地震によって津波の浸水が想定されている区域で、高齢者の施設がすごく増えていることを示した記事です。 どちらの記事も、誰もが入手できる「オープンデータ」と、後述する「GIS」という分析システムを使って隠れた事実を浮き彫りにした、データジャーナリズムのお手本などと紹介されたこともあります。 そしてつい最近手がけたのがNHKスペシャル「〝津波浸水域〟の高齢者施設」。蓄積してきた分析のノウハウを注ぎ込んだ番組です。 「データ分析」というと専門的で、すごく難しく思う方もいるかもしれません。しかし最初に述べたように私は数年前までは、パソコンを満足に使えない、データ分析とは無縁の「ガラケー記者」だったのです。本当に。 そんな私
本当にあったやらかしDB設計シリーズ一覧 - Qiita
本当にあったやらかしDB設計シリーズをまとめてみました SQLアンチパターンで書かれているほど高尚な問題ではなく、もっと初歩的な、でもありがちな問題を取り上げています 初心者を脱出したと思っている人に是非読んでもらい、正しく設計してもらうことを目的としています もしここに載っていないパターンを経験したことのある方がいたら是非教えてください 本当にあったやらかしDB設計①【R無しRDB】 本当にあったやらかしDB設計②【囚人番号テーブル】 本当にあったやらかしDB設計③【ロジカルクエリー】 本当にあったやらかしDB設計④【テストチューニング】 本当にあったやらかしDB設計⑤【第三正規化病】 本当にあったやらかしDB設計⑥【見えない削除フラグ】 本当にあったやらかしDB設計⑦【ステートフルDB】 本当にあったやらかしDB設計⑧【ファンクションDB】 本当にあったやらかしDB設計⑨【文字列日付】
リファクタリングに関する何か - 日々常々
リファクタリングの話をするとき、焦点が合ってないなーと感じることがたまにあるのでざっくり描いてみた。 自分のために描いたものなので、なんか違うなーって思ったらご自身で描いてみるといいと思います。レッツモデリング。 破線は依存、実線は変換。長方形は名前などで明確に識別可能なもの、角丸は様々なものを包含する活動。雲は思いです。 描いた時の経緯と言うか 該当ツイート: リファクタリングって常時やるものなんですよね。もちろん「よーしやるぞー」って感じで行うものもあるんですけど、それは深呼吸的な。 とは言え。やったことがない、やってはいけない文化（動いているコードに触ってはいけない）に染められてしまっている、そのような方に「無意識にやれ！」と言っても、何の意味もないので言いません。むしろ害悪ですらある。 該当ツイート: 無意識にやるようになって、ようやく「リファクタリング」がカタログ化される前の「偉
github sponsorでスポンサー募集することにしました - 覚書
以前よりわたしはOSS、とくにLinuxカーネルなどのハードウェアに近い部分のものについての普及活動にライフワークとして取り組んできました。そのうちの一部は書籍として販売して印税を受け取ったり、雑誌に掲載してもらって原稿料を受け取ったりしてきましたが、ほとんどのものは無償で公開しています。この無償で公開している部分についてgithub sponsorsを使ってスポンサーを募ることにしました。 github.com github sponsorsで支援を受ける人といえばOSSのコードやドキュメントへの貢献者というイメージがあるでしょうが、私はOSSおよびその関連技術についての普及活動をする人、として登録しました。なぜこういうことをするかというと、理由は大きく2つあります。 1つ目は単純に「お金ほしい」です。お金をもらわなければ活動をやめなければいけないといった切羽詰まった話では全然ないのです
機械学習の超初心者が、みんなが良いと言う記事を読んでまとめてみた - Qiita
機械学習について勉強したいので調べてみたのですが、 同じ記事や同じ本をおすすめされてることが多かったので、自分なりにまとめてみました。 私は数学も機械学習も無知だし、まだ何も機械学習のコードを書いてません。 ただのリンク集になってます。 実際にやってみた画像認識の内容も含めたブログ記事はこちらです 機械学習をやるまえに 最初に機械学習で何をしたいのかを決めることが重要 ゴールを持つことが学習の進み具合を変えるらしい。 たしかに、やりたいことがあれば、勉強量も定着量も全然違う気がする。 無駄な知識を学ばないことも大切なんでしょう。 すべての理論を理解しようとしない。 機械学習は難しすぎるのでまず理解できないし、少しずつ簡単なものを実践して理解していくことが大切。 まずはコードを書く！ コードを書いていけば、なぜ動くのかをおおまかに理解していける。 数式や理論の理解は後回し、慣れろ、ってことで
RayによるPython分散並列処理入門 - Qiita
Rayとは RayはPythonにおける分散並列処理を高速かつシンプルに書けるフレームワークで, 既存のコードを並列化することも容易な設計となっています. Rayを使うことでmultiprocessingなどに比べ簡単にプロセスレベルの並列処理を記述することができます. 本記事はRayチュートリアルの内容をもとにしており, コードはPython 3.8.2, Ray 0.8.4での動作を確認しています. インストール ターミナルでpipなどからインストールできます. 使い方 基本的な用途としては覚える文法はray.init ray.remote ray.get の3つのみで, この記事では加えてray.wait ray.put も紹介します. Rayによる並列化の基本 実行に3秒かかる関数 func が二度呼び出され全体の実行に6秒かかる以下のコードについて, func の実行を並列化する
個人的に超絶為になったので新人エンジニアに勧めたい記事まとめ - Qiita
はじめに コードを綺麗に描く方法やプログラミングの勉強方法や考え方など、 個人的にとても為になって感謝している記事をまとめてみました。 コード関連 良いコードを書く技術（まとめ） Naming -名前付け- ソースコードを汚くするには？ ダメエンジニアの8つの特徴 勉強方法関連 新しく言語を学ぶときに心がけていること 深夜だから個人的なプログラミング学習方法を書くよ！ 【まつもとゆきひろ氏 特別講演】20代エンジニアのためのプログラマー勉強法のまとめ 2019/3/30 知識が無いからこそコードレビューで指摘をしよう 考え方関連 レガシープロジェクトを引き継いだ時、最初にするべき７つのこと ハッピーな開発🎉をするための、プロジェクトにおける要件定義の役割 [初心者]オブジェクト指向でなぜつくるのか ビルドとデプロイとリリースの違いについて AWS (下準備編)世界一丁寧なAWS解説。EC
RubyKaigi 2019: Write a Ruby interpreter in Ruby for Ruby 3 - クックパッド開発者ブログ
技術部の笹田です。フルタイム Ruby コミッタとして働いているので、明日から始まる RubyKaigi 2019 は仕事で行きます。あまり日のあたることが少ない我々の晴れの舞台です。 宣伝もかねて、RubyKaigi 中に自分がどんな仕事があるか並べてみました（クックパッド全般の話は、「クックパッド一同は、RubyKaigi 2019でみなさんにお会いできることを楽しみにしています！」 をご覧下さい）。 毎朝、クックパッドブースで「Cookpad Daily Ruby Puzzles」を紙で配付しますので、興味がある方はお持ち下さい。 1日目 11:20-「Ruby 3 Progress Report」まつもとさんの keynote 後、Ruby 3 の進捗みたいなことをご紹介します。 14:20-「Write a Ruby interpreter in Ruby for Ruby 3」
Andrew Ngが説く「AIプロジェクトをいかにして始めるべきか」論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 大変に面白い記事がしばらく前のHBRに出ていて話題になっていました。筆者は、あのAndrew Ng。機械学習(ML)そして人工知能(AI)の研究者・教育者（Courseraの共同創設者）としてあまりにも有名ですが、Google BrainやBaiduのAI groupやLanding.aiを設立し率いた実務家としても著名です。 その彼が説く「AIプロジェクトをいかにして始めるべきか」論となれば、間違いなく一読の価値があることでしょう。ということで、今回のブログ記事ではそのHBR記事を取り上げることにしてみます。ただしHBRゆえいずれ翻訳記事が国内販売の日本語版で出ることが予想されるため、完全な翻訳を行うのはここでは見合わせます。以前の海外記事紹介の時と同様に、引用は見出しのみに留め、内容については要約とともに僕自身の経験に基づく補足を交えて論じることと
エンジニアが記事を書くためのブログやサービスまとめ - Crieit
エンジニアがアウトプット等の目的のためにIT系、テック系のブログを作ったり、サービス上で記事を書きたい、という場合があると思います。色々と選択肢があると思いますが、どういったものが良いのでしょうか？ 僕自身実際に色々と使ったことがあるので、考察してみました。2020/9時点での考察となります。 特に下記あたりを考察しています。 使い勝手 集客能力 はてなブログ 使い勝手は？ はてなブログは恐らくブログサービスの中ではエンジニアに一番人気のものになると思います。僕も以前使っていました。 markdownで記事が書け、プログラム等のコードもちゃんと書けるので、技術系の記事を書くのには非常に適していると思います。デザインもカスタマイズ可能で非常に使いやすかったです。 有料ですが独自ドメインも使えますし、現在はSSLにも対応しています。 集客能力は？ 特別なにか大きな集客能力は無いと思います。基本
State Architecture Patterns in React: A Review
This is the first in a series of articles intended to provide an in-depth review of a few common architectural patterns that are employed when building complex web applications using React (or sufficiently React-like libraries), as well as some advice for avoiding common issues associated with those patterns. I confess that I also have a secondary intent. As I was writing, I realized that some of
世界で通用するエンジニアになるための高度な技術記事（英語） - Qiita
英語サイトでは、日本語のサイトでは絶対に手に入らないレベルの記事がわんさか読めます。今日はCodeProjectよりシステム構築をする上で知っておくべき深い知識を解説した記事を3行要約と共にご紹介します。 C#と.NETの記事 C#や.NETのかなりディープな記事たちです。日本語ではあまり見かけない深い部分まで知れます。 ■高パフォーマンスなクラスのデザイン方法 Performance Considerations of Class Design and General Coding in .NET - CodeProject ・クラスvs値型のメモリ使用の詳細 ・値型のGetHashCodeとEqualメソッドをオーバーライドする ・シールドクラスによりVirtualメソッドを避ける ・インターフェースのDispatchについて ・ボクシングを避ける ・for vs foreachはfo
2016年はてなWebオペレーションエンジニアのアウトプット - Hatena Developer Blog
こんにちは、シニアエンジニアの id:y_uuki です。 はてなのWebオペレーションエンジニア8名が、この1年で対外的にアウトプットした成果物をまとめて紹介します。 座談会 Software Engineering System Engineering 輪読会 その他 あとがき 座談会 今週、Webオペレーションエンジニアの座談会記事を公開しました。技術ブログや技術発表では表現しきれない一人一人の考え方や思いが垣間見えるコンテンツになっていると思います。 Software Engineering Keepalivedのシンタックスチェッカ「gokc」を作った - ゆううきブログ gokcというGoで作られたKeepalivedの設定ファイルのシンタックスチェッカーです。社内で普通に導入しています。 インフラエンジニアがGo言語でオペレーションツールを書くことについて - Hatena
良かったGolangの記事/発表（2016年） - Qiita
（元々Gistにメモ的に書いていたが後から追跡しにくいので転載した） golangweekly.com が http://golangweekly.com/issues/140 にてBest 2016をまとめていた．便乗して自分なりに今年良かったものをまとめてみる．https://blog.golang.org/ は除外している．あくまで「自分が良かった」ものである． まずgo-kitのPeter BourgonのGo best practices, six years inとBoltDBのBen Johnsonが標準パッケージを詳細に語るGo Walkthroughシリーズ https://medium.com/go-walkthrough はMUSTである．これらの知見を知ってるだけでだいぶ良いコードが書けるのではないか． 今年はGo1.6とGo1.7がリリースされたがruntimeの
Git素人のための勉強できるサイトまとめ - Qiita
これだけ分かればもう新人じゃない。 Git設置したくない。めんどくさい。。だけと勉強したい方以下のサイトで練習できる。 GitやGitHubの使い方を学習できるデスクトップアプリ 動画で勉強したい方以下のサイト コマンド印刷して見たいなと思う方は以下のPDF印刷してください。 Gitの入門は以下のサイトが分かりやすい コマンドは苦手と思う方以下のツールを使ってみたら ダウンロード https://www.sourcetreeapp.com/ 使い方 http://celtislab.net/archives/20140527/git-sourcetree/ GitHubを使ってみたい方 SSH設定方法が画像で分かりやすい。 http://wp.yat-net.com/?p=3874 詳細な使い方はこちら http://blog.tai2.net/github_client_howto.ht
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
curl は何をしているか #システムコール編 - Qiita
https://www.liebertpub.com/doi/full/10.1089/soro.2016.0021