Docker一強の終焉にあたり、押さえるべきContainer事情
章立て はじめに Docker・Container型仮想化とは Docker一強時代終焉の兆し Container技術関連史 様々なContainer Runtime おわりに 1. はじめに Containerを使うならDocker、という常識が崩れつつある。軽量な仮想環境であるContainerは、開発からリリース後もすでに欠かせないツールであるため、エンジニアは避けて通れない。Container実行ツール（Container Runtime）として挙げられるのがほぼDocker一択であり、それで十分と思われていたのだが、Dockerの脆弱性や消費リソースなどの問題、Kubernetes（K8s）の登場による影響、containerdやcri-o等の他のContainer Runtimeの登場により状況が劇的に変化している。本記事では、これからContainerを利用したい人や再度情報
第52回 Linuxカーネルのコンテナ機能 ― cgroupを使ったI/O制限 | gihyo.jp
第37回で説明した通り、cgroup v1には様々な問題点が指摘されており、その問題を解決すべくcgroup v2が実装されました。 cgroup v1では、各コントローラがバラバラに実装されており、コントローラ間の連携が取れませんでした。これが原因で、リソースを制限するにあたって一番表面化していた問題が、ディスクI/Oに対して制限をかける際の問題でした。cgroup v1ではblkioコントローラでI/Oに対する制限をかけられましたが、限定的な制限しかかけられませんでした。 LinuxでのI/O コントローラ間で連携ができないため、blkioコントローラを使ったI/O制限が限定的になってしまう理由を説明するために、Linuxでディスクへファイル入出力する際の仕組みを簡単に説明しておきましょう。もう少し詳しい仕組みが知りたい方は『［試して理解］Linuxのしくみ』など、関連する書籍や文書を
GPTの仕組みと限界についての考察（2.1） - conceptualization
全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
ChatGPTのウソ回答に騙されない方法｜ふろむだ@分裂勘違い君劇場
ChatGPTから効率よく知識を得られた。 と自分では思っていても、それがウソ知識であることは、よくあります。 そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。 たとえば、今、僕はガリア戦争(紀元前58～50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。 そこで、以下のようにChatGPT(GPT4)に聞いてみた。 ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？ ChatGPT(GPT4)の回答は以下の通り： ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル（約1
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
AWSエンジニアロードマップ2023 - Qiita
・AWSの学習順序を「路線図風」にまとめました。 ・黄色の丸は重要な項目です。 ・「AWS完全未経験」の方であれば、目安は「3ヶ月」の学習期間で「SAA資格に合格」が標準です。 （経験者であれば、より短い期間で合格が可能です。） ・SAA合格後は他資格の学習と合わせて、ハンズオンを中心に手を動かす学習を推奨します。 ChatGPTでも、ここまでのロードマップは出せないはず⛅️ 1週目：AWS基礎知識(AWS Basics) まずは「AWS」と「従来型のITインフラ環境」について整理していきましょう。 なぜAWSがこれほど世間から求められているのか？AWSのどのような点がメリットなのかについて理解するのが大切です。 オンプレミスのデメリットは ・多額の初期費用が必要 ・キャパシティの予測が必要 ・通常、サーバー購入から設置まで1ヶ月程度かかる などがあります。 一方、AWSは利用した分だけ支
Starlink(スターリンク)とクラウドで月額171円の冗長VPNを構築してみました | IIJ Engineers Blog
今回は日本、アメリカ、ドイツに設置しているStarlinkの検証環境用に構築した冗長VPNについて説明します。 これまで過去投稿の一覧を書いていましたが、記事が増えてきたので、タグでまとめた先のリンクにします。IIJのスターリンク関係の記事が集まっていますので活用してください。 動画も公開していますので、よろしければそちらもあわせてご覧ください。 3ヵ所のStarlinkをどう繋いでいくのか？ 海外のStarlinkを検証していくために、当初から検証環境について色々と検討していました。Starlink機器にインターネット側からアクセスする手段はないのでStarlink機器配下にVPNで常時接続している機器を設置、リモート接続して検証する形を考えていました。VPNを冗長構成にする事でVPN自身のメンテナンスも安全にできるようになります。 VPNネットワークの構成 Starlink配下におく機
Kubernetesのキャッシュネームサーバとリゾルバ | IIJ Engineers Blog
ただ、サーチリストがこうなっているのは利便性のためだけではなく、もっと切実な理由があります。 サーチリストとndots DNSの一般的な名前解決のルールとして、こんな風に覚えている方もいるかもしれません。 名前にピリオドが含まれていたら、FQDNとみなしてサーチリストを参照せずに名前解決を行う 名前にピリオドが含まれていなければ、サーチリストのドメインを末尾に連結して名前解決する 例えば、こんな具合です。 $ ping myhost # ピリオドが含まれていないため、myhost.example.comが名前解決される PING myhost.example.com (192.168.0.1) 56(84) バイトのデータ 64 バイト応答 送信元 myhost.example.com (192.168.0.1): icmp_seq=1 ttl=57 時間=12.4ミリ秒 $ ping w
サッカー本田圭佑「日本の治安、どんどん悪くなってる気がする」 → データが集まる → 「メディアに踊らされてた」
Keisuke Honda @kskgroup2017 日本の治安がどんどん悪くなってる気がする。子供だけで外で遊ばせられへん。習い事も送り迎えが必要。何かあってからでは遅いと思わせる国になってきてる。幸いなことに多くの外人はその事実にまだ気付いていない。
Google Compute Engineネットワーク入門 #gcpja
ども、takiponeです。GCPの500ドルクーポンをゲットしたので、GCEをいろいろ触ってみたいと思います。 GCP(Google Cloud Platform)はGoogleが提供するクラウドサービスの総称で、GCE(Google Compute Engine)は、そのうちの仮想マシンを提供するサービスです。AWS(Amazon Web Services)とAmazon EC2の関係に似ていると思っていただければ良いと思います。(厳密に言うと、GCEにはネットワーキングやディスクストレージも含まれるので、Amazon VPC、Amazon EBSなどを内包します。) GCE自体の入門は、以下のブログ記事が詳しいです。 Google Cloud Platformをはじめようチュートリアル #gcpja - インフラエンジニアway - Powered by HEARTBEATS 今回は
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
JITとコードの暖気の実体 - #chiroito ’s blog
どうも、趣味でOpenJDKのコミッタをしてます。 とあるブログを読んでいたら気になる点があったので検証してみました。 JITと暖気 Javaプロセスはアプリケーションを動かしながら必要に応じてバックグラウンドでバイトコードをネイティブコードにコンパイルします。このコンパイル時にはCPUリソースを使用します。 コンパイルにはいくつかのレベルがありますが、コンパイルされる前やレベルの低いコンパイルのコードはCPUのリソース効率が悪かったり、アプリケーションの処理中にコンパイルが実行されるとCPUリソースを奪いあったりなどが問題になります。 そのため、Java のアプリケーションで性能を気にする要件がある場合、本番に近いリクエストを投げてコードをJITコンパイルする事があります。これをよく暖気と言います。これにより本番のリクエストが来る前にコードを最適化し、よりCPUリソース効率の高いコードで
ノア・スミス「実は日本は様変わりしてるよ」（2023年1月23日）
By 稲妻ノ歯鯨 – Own work, CC BY-SA 4.0 2020年代は1990年代とはちがう BBC の東京特派員ルーパート・ウィングフィールド＝ヘイズが書いた，日本についてのエッセイが広く話題になってる〔日本語版〕．ぼくも読んでみたけれど，ひどくいらいらしてしまった．このベテランジャーナリストは――2012年から日本に暮らして働いたすえに――日本の印象をまとめている．彼によれば，日本は停滞して硬直した国で，「ここに来て10年経って，日本のありようにもなじみ，次の点を受け入れるにいたった．日本は，変化しそうにない．」 でも，日本に暮らしたことがあって，2011年以降も年に1ヶ月間ほどここに来て過ごすのを繰り返してる人物として，そして，日本経済についてかなりの分量を書いてきた人物として言わせてもらえば，日本はまちがいなく様変わりしてる．すごく目につきやすくて重要なところがあれこれ
Why assign MAC and IP addresses on Bridge interface
Say I create a bridge interface on linux (br0) and add to it some interfaces (eth0, tap0, etc.). My understanding is that this interface act like a virtual switch with all its interfaces/ports that I add to it. What is the meaning of assigning a MAC and an IP address to that interface? Does the interface act as an additional port on the switch/bridge which allows other ports to access the host mac
linuxで簡単にVPNを作る話
はじめに 今日もクラウドサービスにサーバ作っているネバー・フレンズ・Tです。 VPN利用がいろいろなところでカジュアルに叫ばれている中、VPNってどう動くんだろう？と思ったことはないでしょうか？自分もVPNがどう動くのかを、むつかしいことは抜きにもっと手軽に知りたい！と思ってました。 今回はLinuxのtapデバイスを操って、AWS Client VPNやその他のVPNのソフトウェアを一切使わず、AWSに簡易VPNを手組みで建てて手元のLinux機と通信させることを試してみます。実は大仰なソフトウェアを使わなくても実はVPNってとっても簡単だね！ということを感じていただければうれしい次第です！ VPNって重要だね！ いろいろな環境から遠くのコンピュータ資源を利用する手段としてVPNがあります。最近は多様性の世の中から、いろいろな事情でVPNをつかわざるを得ない機会も増えてきている状況です。
Linuxコンテナの「次」としてのWebAssembly、の解説
はじめに WASMをブラウザの外で動かすトレンドに関して「Linuxコンテナの「次」としてのWebAssemblyの解説」というタイトルで動画を投稿したのですが、動画では話しきれなかった内容をこちらの記事で補完したいと思います。 2022年もWebAssembly(WASM)の話題が多く発表されましたが、そのひとつにDocker for DesktopのWASM対応があります。FastlyやCloudflareもエッジ環境でWASMを動かすソリューションを持っていますし、MSのAKS(Azure Kubernetes Service)でもWASMにpreview対応しています。WASM Buildersでも2023年のWASMの予想としてWASMのアプリケーションランタイム利用に関して言及されました。 WASMといえば元々ブラウザ上で高速にC++のコードなどを実行するところから始まっている
Virtual Networking Devices - TUN, TAP and VETH Pairs Explained
Virtual Networking Devices - TUN, TAP and VETH Pairs Explained Computer systems typically consist of one or more networking devices, i.e eth0, eth1 etc. These network devices are associated with a physical network adapter, which is responsible for placing the packets onto the wire. However, in the world of virtual networking, a degree of internal plumbing is required to patch, tunnel and forward p
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1000回以上見て抜いたAV
Java: Which of multiple resources on classpath JVM takes?
今までありがとう！ 日本人プログラマー向けフォントの先駆者「Ricty」の開発が終了／優秀な後継者たちを評価してみてね【やじうまの杜】
