カーネル起動時トレース Linuxカーネルの起動処理は、様々なことが行われるのにそれをデバッグする方法はprintkだったり、逆にkgdbを外部デバッガから繋いだりと、結構な手間がかかっていました。カーネルが起動してしまえば、ftraceにperf, BPF, systemtapと複数の手段が使えるのに、起動時のデバッグは細かいことが出来ません。これは、起動時に指定できるオプションが大雑把になるのが大きな理由の一つでした。シェル芸ではないですが、1行プログラミングだけで様々なことをするのは大変です。 そこで導入されたのがExtra Boot Configuration (bootconfig)です。Bootconfigについては前回の記事を参考にしてください。 ここではカーネルコマンドラインのトレースオプションと、Bootconfigによって拡張されたBoot-time trace（CON

はじめまして、Progateの村山です。 本記事はProgateAdventCalendarの2日目の記事です。 普段はSREチームでProgateの開発や運用を支える仕事をしております。Progateには今年の7月に入社しました。前職はElixirやk8sなどを使ったWebアプリケーションの開発や運用をしていました。ProgateにElixirのコースを作るのがちょっとした野望です。 本稿ではサービスや開発のモニタリングについて紹介しようと思います。 モニタリングとは モニタリングは日本語で監視と言い、主にサービスの障害検知や可用性向上のために利用されています。ここで紹介するモニタリングは大きく2種類に分類したいと思います。 1つ目は死活監視するためのモニタリングで、サービスやアプリケーションの可用性監視し、必要に応じてフェイルオーバーさせたりアラートを飛ばして開発者へと共有します。 2

こんにちは、ログラスでエンジニアをやっている飯田 / @ysk_118と申します。2020年10月にjoinし現在2ヶ月ほど経ったところです。 優秀なメンバーに囲まれて毎日焦りを感じながら開発をしています。 私はこの2年ほど開発組織のマネジメント業に専念しており、現場でコードを書くのはかなり久しぶりでした。 このエントリではそんな元マネージャーがなぜ社員数人のどスタートアップに行こうと思ったのか？マネジメントから現場に戻ると何がどうなるのか？について書きたいと思います。 Generalistなマネージャー歴前職は株式会社クラウドワークスで5年勤務していました。クラウドワークスには第二新卒的な若手枠で転職し、現場の一エンジニアから始まり、スクラムマスターやプロダクトオーナーなど様々なロールを経て2018年から開発組織のマネジメントに関わるようになりました。最終的には執行役員という形で開発組織

はじめに この記事はRust Advent Calendar 2020の3日目です。 今年の春から夏にかけて、「実践Rustプログラミング入門」という本を書いていました。お陰さまで売上好調のようでありがとうございます。（ちなみにちょうど昨日、電子書籍版も出ました） この本を書くにあたって、すでにいくつかRustの日本語書籍があるなか新しい本を出すということで、既刊との差別化をどう図るかは考えないといけないと思っていました。その時にRust本を一通り読み直したので、それぞれどのような本であるかを簡単にまとめておこうと思います。 基本的な書誌情報に加え、Rustコンパイラのバージョンとエディション、内容のざっくりとした方向性（実践よりか文法解説よりか、といったような）を書いていきます。いくつかの本にはよく使われる呼び名があるのでそちらも書いておきました。 Rustはいろいろなプログラミング言語

Merpay Advent Calendar 2020 の3日目です。 メルペイでバックエンドエンジニアをしている iwata です。 メルペイスマート払いの開発をしている Credit Design というチームに所属しています。 私は2019年の入社以来、「メルペイスマート払い（定額払い）」（以下、定額払い）の開発を担当しており、今年の７月にようやくリリースすることができました。 この定額払いの手数料計算のために、「1万分の1を1とする単位」であるベーシスポイントを扱うGo言語のパッケージ go.mercari.io/go-bps を作成しました。 ちょうど1年前に、 mercari.go #12 で「料率計算における小数の扱いについて」として発表しましたが、当時はオープンソースとして公開していませんでした。 今回オープンソースとして公開しましたので、改めてパッケージを紹介します。 料

anond:20201130214610 いろいろ面白かったので、適当に回答する。 ＞ 1.具体的な事が分からないプログラミングで主にやる事は下記の2つ。 ①IFでAかBを選択させてどっちかの設定を実行 ②Whileで決められた回数分繰り返す これでやりたいことは分かる。分かるけれどこれでどうやって動画や音楽のエンコードをしたり 画像処理をしたりするソフトウェアになるのかというのがよく分からない。 とてつもなく複雑で冗長な処理によって実行されている。 複雑すぎて人間の直感で理解することは不可能だ。 わかりやすいので画像処理でいうと、数十万から数百万の画素（RGBAの24bitで表される数値）を小さなブロックに分解し、数学的に周波数の重なりとして計算して変換、含まれる頻出パターンをテーブルにして圧縮伸張を行なう。みたいなことが瞬間的に行われている。 「まさかそんな事できるわけないだろ」という

はじめに 導入 Linuxで使うbash等のシェルには、様々な○○置換という機能がありますが、その中でも「プロセス置換」( <(コマンド) や >(コマンド) ) というのはなかなかイメージし辛いのではないかと思います。 ※特にコマンド置換 ( $(コマンド)や`コマンド` ) と名前が紛らわしいというのもあります。 これはパイプと機能的にも仕組み的にも近いものですので、この機会にパイプとの関連性も含め、仕組みを紹介したいと思います。 環境 bash,zsh共にプロセス置換の機能を持っていますが、以下ではbashを前提として仕組みを説明します。 なお、各動作確認は x86_64 WSL1(Win10)/Ubuntu18.04.2 LTS, bash4.4.19(1) で行っています。 プロセス置換の概要 利用目的 bash manページのプロセス置換の項にも説明はあるのですが、なかなかそれ

はじめに こんにちは、たかのと申します。 この記事は、クラウドワークス Advent Calendar 2020の12/3の記事になります。 個人的に使ってみて「おお！」と思ったGitpodについてのお話です。 こんな方にぜひどうぞ 特に、以下のような点にご興味ある方に読んでいただければ幸いです。 OSSのプロダクトに対し、貢献をしてみたいという方 でももっと気軽に環境構築できたらいいなと思っている方 どうやって進めるのか実例をもう少し知りたい方 お互いリモート、場所や機材が限られていても効果的に開発してみたい方 Gitpodってなに？ Gitpodは、クラウドとPC(デスクトップ) 双方で稼働が可能なIDE (統合開発環境)です。 「IDE? ただ単にクラウド上で動くエディタ？」と思われてしまうかもしれませんが、そうではなくて、本当に必要に応じて、ブラウザを通して利用できる「開発環境」が

2020年12月1日、サン・マイクロシステムズによって開発されたファイルシステム・ZFSのオープンソース実装「OpenZFS 2.0」がリリースされました。プロジェクト名を「ZFS on Linux」から「OpenZFS」へと変更したメジャーアップデートで、LinuxとFreeBSDのサポート統合やL2ARCの永続化（pL2ARC）、Zstandard圧縮といった新機能を搭載しています。 Release OpenZFS 2.0.0 · openzfs/zfs · GitHub https://github.com/openzfs/zfs/releases/tag/zfs-2.0.0 (PDF)OpenZFS DevSummit 2019 https://drive.google.com/file/d/197jS8_MWtfdW2LyvIFnH58uUasHuNszz ZFSはSolaris

他人に見られたくないファイルをリモートの相手に渡さなければならない場合、従来は暗号化ZIPファイルとその解凍パスワードをメールで送る、という手段が広く用いられてきた。読者諸氏もそのようなメールを一度は受信したことがあるだろう。 しかし、ZIPの暗号化など運用に手間がかかるわりにセキュリティが十分ではない、と指摘されることが多い。そこで、この方法でファイルを送るのは止めよう、という機運が高まっており、実際、内閣府と内閣官房ではこの手法を廃止すると発表している。 とはいえ執筆時点では、「これだ！」と断言できるような、代わりのファイル送信方法が確立しているわけではない。特に中小企業や個人だと、代替の方法が有償だったりシステム更新に手間がかかったりすると、おいそれと置き換えられない場合が多いだろう。できることなら、すでにある機材やソフトウェア、利用中のサービスなどで代替したいところだ。 そこで本T

この記事は Rust Advent Calendar 2020 2日目の記事です。 1日目は Rust で競技プログラミングの作問支援ツールを作った話 （@kobae964 さん） 3日目は Rustの日本語書籍紹介 （@dalance さん） ライブコーディング動画の良さ こんにちは、@magurotuna です。 みなさん、ライブコーディング動画はご覧になりますか？僕は結構頻繁に見ていて、たとえば寝る前、例えば作業用BGM代わりに垂れ流す、といった感じで視聴しています。 熟練のエンジニアによるライブコーディングを見ることで、彼ら/彼女らが 何を考えながらコーディングをしているのか どのような順番で順番でコーディングするのか エディタ、ターミナルをどのように操っているのか ドキュメントをどのように読んでいるのか など、数多くのことを学ぶことができます。 もちろん上記に加えて、取り上げられ

はじめに Kubernetes において、Pod を配置するための Node を決定する手続きをスケジューリングと呼び、デフォルトのクラスタでは kube-scheduler がその責務を担っています。本記事ではこの kube-scheduler のソースコードを時系列に沿って追いつつ、どのようなロジックで Pod を配置する Node が決定されるのかを解説します。 なお、本記事は Kubernetes の内部実装について学ぶ勉強会 Kubernetes Internal #3 の補足資料を意図して執筆されました。本文中で参照しているソースコードのバージョンは v1.19.4 です。 Kubernetes Internal #3 録画 スケジューラの概要 ソースコードを読むに先立つ予備知識として、スケジューリングの大まかな流れと Scheduling Framework の概要に触れてお

追記: Kubernetes側での公式のアナウンスが2本出ているのでこちらも合わせてご覧ください。 kubernetes.io kubernetes.io Kubernetesコミュニティを眺めていたら、やたらめったら色んな人達が1.20 RCのリリースノート引っ張り出して「Dockerが非推奨になるからちゃんと対策を検討してね！！！」とアナウンスをしていて、挙げ句SIG Contributexではその対策に追われてバタバタしている自体を観測しました。 CNCF Ambassador Slackでもだいぶ燃え上がっていて、見かねて dev.to に記事を投稿したのでそれをかんたんに日本語にまとめてみようと思います。英語のほうはこちらをご覧ください。 dev.to 追記2. 影響範囲を知りたい場合はまずこちらをお読みください blog.inductor.me 追記2. 影響範囲を知りたい場合

この記事は Snowflake Advent Calendar 2020 の 3 日目です。 2021-03-22: RANDOM() および RANDSTR() 使用時の実行時間についての補足を追記しました。 こんにちは、Snowflake でサポートエンジニアをやっている @indigo13love です。 SQL (データベース機能) のエキスパートとして、カスタマーケースの対応はもちろん、バグや問題の再現とバグレポート、パフォーマンス改善のためのクエリの書き換え、サンプルデータやユースケースからのクエリのご提案などいろいろやっています。 データベース製品の技術サポートにおいて、ダミーデータの生成は、バグや問題の再現手段としてだけでなく、パフォーマンス検証やベンチマークなどにおいても、非常に有効な手段となります。 もちろんオープンなデータセットをインポートして使用したり、後述のサンプ

広告配信プロダクトのDWHにSnowflakeを採用しました この記事は CyberAgent Developers Advent Calendar 2020 1日目 と Snowflake Advent Calendar 2020 1日目 の記事です。 AI事業本部 Dynalystで開発責任者をしている黒崎( @kuro_m88 )です。 CyberAgent Developers Advent Calendarは入社以来書き続けて6年目になりました。今年は弊社公式で開催されなかったため、有志で立ち上げてみました。 今年はSnowflakeというクラウドデータプラットフォームを自プロダクトで採用した話をさせていただこうと思います。 Snowflakeとは？ クラウド上で構築されているSaaSのデータプラットフォームです。大量のデータを取り込んだり、保管したり、それらのデータを加工したり