PyCon JPとは PyCon JPは日本国内外のPythonユーザーが一堂に会し、互いに交流を深め、知識を分け合い、新たな可能性を見つけられる場所として毎年9月中旬に開催される国際カンファレンスです。 PyCon JP 2019は2019年9月14日のスプリント（HENNGE株式会社）、9月15日のチュートリアル、9月16日〜17日のカンファレンス（大田区産業プラザPiO）と4日間の会期で開催されました。来場者は4日間で約1160人と昨年を上回る大盛況で、Pythonへの注目が年々増していることがわかります。 今回は16日に行われたカンファレンスの中から、注目セッションやイベントの様子と感想について運営スタッフがレポートします。 基調講演「Why Python is Eating the World」― Cory Althoff （牛窪翔） 1日目の基調講演は、Cory Altho
エンジニアをやっている限り、OSSの恩恵にあずかりまくりなので何かしらの形で恩返しというか貢献したいって気持ち少なからずあると思う。僕はある。でも、実際OSSを公開とかコントリビュートするのってすごくハードルが高いイメージが強い。 OSSを公開したり、コントリビュートしたりする精神的な敷居をさげるために、どうしたらいいのかなぁって思いまずはガイドラインを作ってみることにした。率先してOSSに取り組んでるなかひこくん (@takanakahiko) にインターンで手伝ってもらったり、Debianのメンテナーをやっている Hideki Yamane さんにレビューしてもらったり、本当に感謝しかない。 https://sites.google.com/gaiax.com/gaiax-oss-guideline 会社の社員としてOSSに取り組むにあたり、あれやこれやとルールや注意事項や手続きやら、
Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(再始動編) - Repro Tech Blog
こんにちは、@r_takaishi です。近所にスパイスカレーのお店ができてハッピーです。今回は、Reproのサーバーサイド開発環境におけるM1 Mac対応を改めて行ったので、やったことを紹介します。 なお、これまでの経緯は以下の通りです。 前回 Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog 前々回 Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり - Repro Tech Blog いつのまにかConfluent PlatformがM1 Mac上のDockerで動くようになっていた Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog ではConfluent Platformのコンテナイメージがx86_64の
Rails 6.1のDocker開発環境構築をEvil Martians流にやってみた（更新）｜TechRacho by BPS株式会社
更新情報 2019/11/20: 初版公開 2021/03/25: Rails 6.1.3.1に合わせて更新 2021/04/06: Ruby 3.0.1に更新 先々月に公開したこちらの翻訳記事の実践編ということで。試行錯誤しているうちにRailsが6.0.1になりました。 クジラに乗ったRuby: Evil Martians流Docker+Ruby/Rails開発環境構築（翻訳） Docker Desktop for Macについて これまではピュアな環境を求めてParallels Desktop for MacのUbuntu VM上でDockerを使っていたのですが、久しぶりにDocker Desktop for Macを使ってみると速度や使い勝手が随分よくなっていて驚きました。 Docker Desktop for Macの方がUbuntu VMのDockerよりビルドが速い（体感で
GCPにセキュアな踏み台サーバーを作成する
TL;DR GCPのIdentity-Aware Proxy(IAP)を利用すると、手軽かつセキュアに自宅などから踏み台サーバーへのアクセスを実現できます。加えてオンプレミスとGCPで拠点間VPNが構築できると、社外からGCPを経由してオンプレミスへセキュアにアクセス可能です。 昨今の状況を含め突発的な出来事により、社内にある環境に社外からアクセスする事が必要になるケースは無いでしょうか？ 今まではダイヤルアップ型のVPNを構築する、踏み台サーバー(要塞ホスト)を構築するといったやり方で解決が図られて来ましたがどちらのやり方もエンドポイント(VPN Gateway、踏み台サーバー)へのセキュリティ対策を綿密に行う必要があるため実装には多くのコストがかかります。 社外から社内へアクセスする際のイメージ今回はGCPを使ってセキュアかつ簡単に社内へアクセスできる環境を構築する方法をご紹介します。
仕事でPythonコンテナをデプロイする人向けのDockerfile (2): distroless編 | フューチャー技術ブログ
なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、
Dockerって何？ って聞かれたときの解説、の解説
TL;DR Dockerは仮想化であるコンテナの実装の一種 ただし、広義のDockerはOCI系コンテナの総称 アプリの配布と実行の仕組みと思えばOK コンテナによりIaCや一貫したデプロイ、H/Wの効率的な利用がしやすくなる ※ コメントでいくつか指摘があったので記事を更新しました。ご指摘ありがとうございました！ はじめに おそらく過去幾度となく生み出されたであろうDocker解説記事となります。正確には解説動画の解説記事。 というのも、Dockerあるいはコンテナはもはや当たり前、と言えるほど普及してるようにもSNSやブログとかだけ見てると思えますが、実際には話題は知ってるけど良く分かってない/業務で今度使う事を検討したいけどつまり何なの？ って人もまだまだ多いです。 なので私が 「Dockerって何？」 と聞かれたとき答えてる内容を動画にしてみました。技術的な詳細を解説というよりは
mysql:5.7 は ARM64 のコンテナイメージが提供されていないため、--platform linux/amd64 の指定が必須だった 指定しない場合 $ docker run --rm -it mysql:5.7 docker: no matching manifest for linux/arm64/v8 in the manifest list entries. See 'docker run --help'. $ docker run --rm -it --platform linux/amd64 mysql:5.7 2023-01-15 10:42:26+00:00 [Note] [Entrypoint]: Entrypoint script for MySQL Server 5.6.51-1debian9 started. 2023-01-15 10:42:26+00:
PHPの脆弱性CVE-2018-17082はApacheの脆弱性CVE-2015-3183を修正したら発現するようになったというお話
最近自宅引きこもりで時間ができたので、YouTube動画を投稿するようになりました。みんな見てねー。 徳丸浩のウェブセキュリティ講座 そんなことで、次の動画は、お気に入りのPHPの脆弱性 CVE-2018-17082 を取り上げようと思ったんですよ。表向きXSSで出ているけど、金床さんのツッコミにもあるように、実はHTTP Request Smuggling(HRS)だというやつです。でね、下準備であらためて調べていると、なんかよく分からない挙動がワラワラと出てくる。なんじゃ、こりゃ。CVE-2018-17082 全然分からない。僕は気分で CVE-2018-17082 を扱っている… で、雑に整理すると、以下のような感じなんです。 古い環境だとCVE-2018-17082は発現しない（2015年以前） 少し古い環境だとCVE-2018-17082は発現する 新しい環境だとCVE-2018
サーバーサイドで動的にOGP画像をシュッと作る方法 - FastAPIとCairoSVGで作る画像生成API - JX通信社エンジニアブログ
JX通信社シニア・エンジニアの@shinyorke（しんよーく）です. 最近は色んなエンジニアリングをしつつ, イベントの司会業をしています（詳細は最後の方を見てね）. 開発しているサービス・プロダクトの要件で, TwitterやLINE, FacebookでシェアするOGP*1コンテンツ（タイトル・本文・画像）が欲しい コンテンツはユーザーさんの操作で動的に変わる テキストだけじゃなくて, 画像も変えたい←これ なんて事は非常によくある話だと思います. 私はちょっと前に開発したAIワクチン接種予測でそれがありました. こういうやつです 例えば上記画像のテキスト（地域・年齢・接種可能時期）は予測の結果を動的に画像テンプレートに入れて都度作っています. 上記のOGPを生成するために必要なことはこういう感じだろうなー, と以下の絵の通り整理し, やったこと 結果的に, OGPを生成するためのサ
ルーターでプレゼンする。 - Zopfcode
市販のネットワークルーターやスイッチに導入することで、元々のファームウェアでは実現できなかった高度な設定や最新のプロトコルが利用できる Linux ディストリビューションの OpenWrt は、2004年の登場から今年でちょうど20周年を迎えた。90年代の Linux ルーターという概念の勃興から、ルーター向け Linux ディストリビューションは DD-WRT や Tomato など複数生まれたが、現在もサポートと新機種の追加が続くほどの活気を保っているのは OpenWrt だけといっても過言ではない。 そんな記念すべき20周年を盛り上げるべく（？）久しぶりにルーター遊びをしたので紹介する。 （本記事は2024年4月26日に岡山理大で開催された Okayama Revengers LT 大会 #2「もう春じゃなぁ〜 LT大会でもするかぁ！」にて発表した以下のスライドを文章にしたものです。
2024/04/24 令和トラベルで発表した Node.js v22 で変わることの話です。
金融的検閲とは「金融的検閲」（Financial Censorship）という言葉は聞き慣れないかもしれないが、近年言論の自由や表現の自由、あるいはインターネットの自由全般に対する問題として注目されている。金融的検閲とは、銀行や決済代行業者、クレジットカード会社などの金融機関が、顧客の行為（その行為自体は金融機関とは無関係なことが多い）を理由に、顧客の入出金を阻害したり、口座を閉鎖したりすることを指す。 金融的検閲がなぜ「検閲」かと言えば、ネット上での表現活動への影響が極めて大きいからである。多くのネット上の表現者は、収入を寄付やオンライン販売に頼っており、入出金にオンライン決済を利用している。そのため金融機関からこうした形で締め付けられると、すぐに活動が立ち行かなくなってしまうのである。 ウィキリークスの息を止めた金融的検閲私が初めて金融的検閲の威力を目撃したのは、14年前のウィキリーク
■ WSLの代わりにDockerを使う 自宅で仕事をするようになって、さすがにWSLのI/Oの遅さに嫌気が差してきた今日このごろ。 世間的にはWindows10 2004*1のWSL2がたいへん評判が良くて、おれもはやく移行したいんだけど、2004にまだけっこう致命的なバグがあって、関係するデバイスを持つうちのPCにはまだ当てられそうにない。PCも古いので買い換える予定なんだけど、まだ機種選定中なものだから、WSL2までのつなぎとして、同じHyper-V上の仮想環境であるDockerをWSLの代わりに使うことにした。 といってもやったことはそんなに難しくはない。ちょっとした自作ツールはだいたいRubyで書いてあるので、ベースにするイメージを「ruby:2」にしてDockerfileを書く。rubyの公式イメージは使い慣れたdebianをベースにしているので都合がいい: FROM ruby:
なぜ〇〇というプログラミング言語は流行らなかったのか？ 最近、私は古くからあるプログラミング言語に興味があり、LispやSmalltalkなどの言語に興味があります。触っていくうちに、結構面白いな。と思うことがあるのですが、それほど人気があるとは言えません。 例えば、プログラミングの人気を表すTIOBE Indexでも、ランクが高いとは言えませんし、それらの言語はプログラミング言語の歴史。という中で、ちょっと学ぶぐらいで、それほど詳しくは知らない。という人が多いでしょう。 Quoraを探してみると、「Lispはなぜ覇権を握らなかったのでしょうか？」の回答であったり、「Smalltalk が広く使われなくなったのはなぜですか?」という回答が見つかります。 そのように各プログラミング言語に関する言説を読んだり、実際に使って見たり、歴史を紐解いていくうちに、思うことがあったので、まとめたいと思い
シェルスクリプトでゲームボーイプログラミング入門
シェルスクリプトで ゲームボーイプログラミング ⼊⾨ ⼤神祐真 著 エアコミケ（2020 年春）新刊 2020 年 5 ⽉ 5 ⽇ ver 1.0 ■免責 本書は情報の提供のみを⽬的としています。 本書の内容を実⾏・適⽤・運⽤したことで何が起きようとも、それは実⾏・適⽤・運⽤した⼈⾃ ⾝の責任であり、著者や関係者はいかなる責任も負いません。 ■商標 本書に登場するシステム名や製品名は、関係各社の商標または登録商標です。 また本書では、™、®、© などのマークは省略しています。 はじめに 本書をお⼿にとっていただきありがとうございます！ 本書では、アセンブラやコンパイラなどを使⽤せず、echo コマンドのバイナリ出⼒や dd コマンドなどを駆使して、シェルスクリプトでゲームボーイの ROM ファイルを⽣ 成します。 そのためには、ゲームボーイの CPU の各機械語命令について、そのバイナリ列
はじめに 普段はRailsを使用して開発をすることが多く、開発環境はMacBook Pro(Intel) + Docker for Macを使用しています。 ただ最近は以下のようなこともあり、今後のためにRails/RSpecの実行時間がどのようになるか検証しました。 MacBook Pro 2021 (M1 Pro)を購入 Docker for Macの有料化（個人的には対象外ですが） Docker for Macの代替えとして、Lima + Dockerがよさそう Lima + Dockerで、Docker for Mac ボリュームマウントの遅さから解放されるのでは？ 環境 MacBook Pro 2021 (M1 Pro) CPU: M1 Pro (10 core) メモリ: 32GB MacBook Pro 2018 (Intel) CPU: Intel Core i5 2.3G
PHPのバージョン 主なコンテンツ（脆弱なスクリプト）はPHP 5.3.3（CGIモード）で動いています。これは、古いPHPでないと発現しない脆弱性に対応するためで、代表的なものとしてNULLバイト攻撃があります。PHPは5.3.4以降でNULLバイト攻撃に対応したため、NULLバイト攻撃を体験するにはPHP 5.3.3以前のものを使う必要があります。一方、新しいバージョンのPHPが必要な箇所もあり、その場合はPHP7.0.27（Debian9標準パッケージのもの）を使い分けています。 メール関連の脆弱性対応 メールヘッダ・インジェクションを体験するにはメールの送受信の仕組みが必要なため、Postfix、Dovecot、RoundCubeがインストールされています。徳丸本初版は「お手元のメールクライアントソフトをお使いください」という体でしたが、今どきメールクライアントを使っている人も少な
はじめに 本稿では、「Hack The Box」（通称、HTBとも呼ばれています）を快適に楽しむために必要となるKali Linuxのチューニングについて解説します。 Hack The Boxとは Hack The Boxは、2017年6月に設立されたサイバーセキュリティトレーニングのオンラインプラットフォームです。 いくつかのソーシャル要素とゲーミフィケーション要素が採用されていることで、学習体験を楽しくやりがいのあるものにしています。 ダッシュボード Hack The Boxを楽しむ手順 攻撃環境としてペネトレーションテスト用のOS（Kali Linux / Parrot Security Linux / CommandoVM など）を用意する。 Hack The Boxの[Invite Challenge]ページのHTMLソースコードを解析し、「Invitation Code（招待コ
2023年12月21日紙版発売 2023年12月21日電子版発売 森若和雄 著 B5変形判／216ページ 定価3,080円（本体2,800円＋税10%） ISBN 978-4-297-13893-6 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 systemd（システムディー）はLinuxの基本的な構成要素を提供するソフトウェア群です。システムやサービスの管理機能を中心として，ハードウェアの管理，ログの管理などを行う多数の独立したソフトウェアからなっています。 Linuxでシステム管理を行うときにはsystemdの知識が必要になります。systemdに関するオンラインマニュアルなどは充実しているものの，sy
新型コロナウィルスの影響によってリモートワークが急速に普及したことで、業務におけるチャットツールの重要性が高まった。社内でチャットツールを導入したい場合、SlackやMicrosoft Teamsをはじめとしてさまざまな選択肢があるが、その多くはクローズドソースのSaaS型サービスであり、自由にカスタマイズしたり、機密情報を自社のネットワーク内に留めておくなどといった使い方ができない。 これに対し、Opensource.comの記事「Free, open source alternatives to Slack for team chat｜Opensource.com」では、プロプライエタリなサービスに代わって利用できる、オープンソースで開発されている5つのチャットツールが紹介されている。 本稿では、そのうちの4つのツールを紹介する。残りの1つはIRC（Internet Relay Cha
入門 モダンLinux
Linuxはサーバ、組み込み機器、スーパーコンピュータなどにおいて存在感を示してきました。近年では、オンプレミスのシステムだけではなく、クラウドサービスでも広く使われています。本書は、前半でLinuxを使いこなす上で必要な基本知識を、後半で最新情報をまとめています。Linuxの知識を体系的に整理したい、最新動向が知りたい、運用を改善したい、効率的に開発を行いたい、といった要望をかなえる内容となっています。時代の変化に柔軟に対応できるLinux技術者を目指すなら必読の一冊です。 訳者まえがき はじめに 1章 Linuxの入門 1.1 モダンな環境とは何か？ 1.2 これまでのLinuxの歴史 1.3 なぜオペレーティングシステムなのか？ 1.4 Linuxディストリビューション 1.5 リソースの可視性 1.6 Linuxの全体像 1.7 まとめ 2章 Linuxカーネル 2.1 Linux
オープンソースの誕生
VA Researchの歴史においてオープンソースは外せない話題であるが、特に1998年の2月から4月までの期間はVAを抜きにしてもオープンソースにとって極めて重要な出来事が多いのでやや詳細に書いていく。現在、一般的にオープンソースの誕生は下記のように説明されることが多いのではないかと思う。 「Netscapeブラウザのソースコード公開計画の公表を受け、1998年2月にLinuxとフリーソフトウェアの開発者、コミュニティリーダーらがシリコンバレーに結集し、フリーソフトウェアに替わる用語としてオープンソースという言葉を生み出し、その定義を定め、オープンソースという商標を管理する組織を作った。Linus Torvaldsなどの著名なハッカーがそれに対して賛同し、一般に広まった。」 特にフェイクが含まれているわけでもないし、大概これで問題ないようには思うのだが、何故、この言葉を生み出す必要があっ
どうも GitHub Actions 上で Docker ビルドを行うと時間がかかるなぁと感じていました。 かなり軽量の Go の Web アプリケーションを Docker イメージにしてプッシュするプロセスなのですが、全体で 3 分ほどかかっています。 今回はその速度改善を行ったので、得た知見を記事にしたいと思います。 最終的に、ケース次第では以下のような結果を出すことができました。 ※ケース = go のソースコードのほんの一部を変更してワークフローを実行する。 go.mod など依存関係に変化はない。 go build: 60秒 → 1秒 docker/build-push-action ステップ: 2分30秒 → 30秒 ワークフロー: 3分 → 1分 前提 go build は Dockerfile のステップで行っており、イメージとして以下のような内容になっています。 FROM
私は自宅に仮想サーバーを置いて、その上でファイルサーバー（NAS）や外部公開サーバー、検証機などを動かしています。 仮想基盤には長らくVMware ESXiを使っていたのですが、このたびDebianベースのProxmox VEに環境移行しました。 移行のきっかけは 「ESXiは仮想マシンにTPMを追加できないので、Windows11のインストールや大型アップデートが大変面倒」 という理由でした。 ESXiで全くTPMが利用できないわけではなく、「有償ライセンスを購入してvCenterServerを構築し、キープロバイダ機能を有効にする」ことで管理下のESXi仮想マシンにTPMを追加できます。が、こちらはWindows11仮想マシンをたった1台作りたいだけなのに、これは大げさすぎます。お金もかかります。 最近ESXi8がリリースされたので、もっと簡便なTPM機能が追加されてないかと期待したの
Javaアドベントカレンダーにエントリーした記事になります。 Javaのイメージを作る上で、どのDockerイメージをベースに選べばいいのか、というのを軽く調べ始めたら、選択肢がたくさんでてきたので、ちょっと突っ込んで調べてみました。 以前、仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で書いたOS名とかは今回は紹介しませんので、busterとかalpineとかwindowsservercoreってなによ？というお話はそちらの記事を参照してください。一点アップデートがあるのは、Debian 11がリリースされて、イメージとしてbullseyeというのが追加された点ですね。あとはfocal=Ubuntu 20.04LTSというのを覚えてもらえれば。 JDK周りのニュースOracle JDKが無償配布をやめて、無償利用としてはOpenJDKを、
無料でウェブ魚拓やインターネットアーカイブのようにページやサイトを保存できブラウザ履歴・ブックマークなどからも全自動保存OKのオープンソースでセルフホスト可能な「ArchiveBox」使ってみたよレビュー
Wayback Machineやウェブ魚拓など、特定時点のウェブページのデータを保存するサービスは多数存在しています。そうしたアーカイブサービスのうち、「ArchiveBox」はオープンソースで開発されており、セルフホストすることで自分だけのデータを保存可能になるサービスとのことなので、実際に使い勝手を確かめてみました。 ArchiveBox/ArchiveBox: 🗃 Open source self-hosted web archiving. Takes URLs/browser history/bookmarks/Pocket/Pinboard/etc., saves HTML, JS, PDFs, media, and more... https://github.com/ArchiveBox/ArchiveBox ArchiveBoxのセットアップ方法はパッケージマネージャーを
ものすごい種類の文書ファイルを他形式に変換できる「Pandoc」レビュー、MarkdownからLaTex、EPUBにまで対応
Microsoft WordやMarkdownで文書ファイルを作成し、それをHTMLファイルやPDFファイルに変換したい時、形式ごとにいちいち変換ソフトを用意するのは面倒です。無料のオープンソースソフトウェア「Pandoc」を使うと、ありとあらゆる形式の文書ファイルを他形式の文書ファイルに変換することができます。 Pandoc - About pandoc https://pandoc.org/ GitHub - jgm/pandoc: Universal markup converter https://github.com/jgm/pandoc Pandocは2006年にリリースされた非常に長い歴史を持つ文書変換ツールで、2020年現在でも活発な開発が行われています。変換できる文書ファイル形式の多様さから研究者やエンジニアに広く支持されており、記事作成時点でPandocが対応している文
WebVM: server-less x86 virtual machines in the browser
Back to blog WebVM: server-less x86 virtual machines in the browser TL;DR — We made a server-less virtual Linux environment that runs unmodified Debian binaries in the browser. This is powered by CheerpX, a WebAssembly virtualization platform. Feel free to play with it and report bugs: https://webvm.io WebVM — a server-less virtual Linux environment running fully client-side in HTML5/WebAssembly.
Kubernetes環境に特化したCI/CDツール「Jenkins X」を試してみる | さくらのナレッジ
広く使われている継続的インテグレーション（CI）/継続的デリバリ（CD）ツールの1つに「Jenkins」がある。このJenkinsの開発チームが、Kubernetesに特化したCI/CDツール「Jenkins X」を発表した。今回はこのJenkins Xの特徴やインストール、基本的な使い方を紹介する。 昨今ではソフトウェア開発を迅速に進めるために「継続的インテグレーション（CI）」と呼ばれる手法が広く採用されている。CIはバージョン管理システムなどと組み合わせて使われるのが一般的で、たとえばバージョン管理システムへのコミットをトリガーとして自動的にビルドやテスト、パッケージ作成を実行する仕組みなどを構築できる。また、最近では「継続的デリバリ（CD）」という手法も使われる。CDはCIと似ているが、運用環境へのデプロイまでも自動で行うという仕組みだ。 CIツールとして著名なものの1つに、以前紹
Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report
レポート Linux GUIアプリがWindows 10にもたらす価値 - 阿久津良和のWindows Weekly Report Windows 10 バージョン2004は、ファイルI/Oのパフォーマンスを改善し、Linuxカーネルの機能を呼び出すシステムコールの互換性を大きく高めたWSL 2（Windows Subsystem for Linux 2）を搭載する。Docker DesktopのホストもHyper-V仮想マシンからWSL 2へ移行したことで、Windows 10 Homeエディションでも開発環境を整えることが可能になった。 Docker Desktopの設定画面。Dockerと統合するLinuxディストリビューションを選択できる WSL 2で動作するDebian GNU/Linuxでhello-worldコンテナを実行した状態 Windows 10とLinuxを併用する環
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
サードパーティのAPTパッケージリポジトリを追加する際に使用する「apt-key」コマンドは、2020年8月の2.1.8から「廃止予定（deprecated）」となり、2022年の半ばには削除される予定になりました。今回はその理由と、代替手段について解説しましょう。 リポジトリの正当性を担保する仕組み Linuxにおけるパッケージ管理システムは、システムの重要なデータを置き換えるクリティカルな操作です。よってインターネットの先からパッケージをダウンロードする際は、その正当性を確認しなければなりません。「パッケージの正当性」と言ったとき、一般的には複数の意味が含まれます。 パッケージに悪意のあるコードが含まれていないこと パッケージメンテナ以外の第三者が作ったパッケージがリポジトリにアップロードされていないこと 本来のリポジトリとは別の場所からパッケージをダウンロードしていないこと ま
自前サーバでCodespacesが使えるVisual Studio Code Serverを動かしてみた - Qiita
VSCodeがバージョン1.69でVisual Studio Code Serverをpreviewリリースしました。これはおそらくGithub Codespacesでうごいているものの自前サーバ用ソフトウエアと思われるので、早速試してみました。 追記：この方法は現在動作しなくなっています。詳しくはこちらをご確認ください。 ＝＝＝＝以下当時の記事＝＝＝＝＝ マニュアルはこちら これまでのGitHub Codespacesやgithub.devのレビューはこちら このマニュアルによると、インビテーションが必要とのことです。申し込みフォームから申請しましょう。「私はエンタープライズ企業で働いていて彼らはファイアーウォールの内側でしか仕事をすることを許可しません、だから私はVS Code Serverを学びエンプラ環境に生かしたいです。」と書いてみました。 ひとまずサーバを用意 Vultrで東京
レッドハットの杉村です。Ansible のテクニカルサポートをしています。 今回は以前のお問い合わせいただいた事例から、SSH (Secure Shell Protocol) について一つ紹介しようと思います。Ansible は Linux サーバを制御対象とするときは SSH で接続して処理を実行しますので、SSH の通信についてのトラブルは問題に直結します。 RHEL 8.6 + Ansible Core 2.13 で確認しています。 Ansible の基本的な動作原理 まずは Ansible はどうやって動いているのかというのを軽く振り返ってみます。 Ansible が動作するサーバをコントロールノード、制御対象をマネージドノードと呼びます。流れを大まかに説明しますと、この図のようになります。 ① YAMLで書かれたプレイブックからタスクごとに小さなプログラムを生成する ② ①で生成
Rustを写経する環境を作る
What's? 詳解Rustプログラミングを写経しています。 最初はIntelliJ IDEAで書いていたのですが、補完があまり効かずVS Codeに乗り換えました。 (IntelliJ IDEAの設定のどこでうまくいっていないのかまでは調べられてないです...) ついでにとアレコレくっつけていったらゴツゴツしてきたのですが、なかなか快適なので紹介。 写経中のリポジトリはこちら。 https://github.com/watarukura/rust_in_action_study Required VS Code Docker devcontainer VS Codeのdevcontainerを使います。 moldを使ってみたかったのでFaster Rust Incremental Builds in Dockerを参考にしつつ、最新のv1.1を使えるように書き換えています。 <! tex
PySpaアドベントカレンダーのエントリーです。昨日はYesterdayでした。今日はTodayです。 ずっと開発や普段使いで使えるChromebookが欲しいと思っていました。勉強会の発表で使ったりするので、きちんと技適が通ったやつで、性能がまとも（以前ATOMベースのマシンにLinux入れたけど遅くて使う気になれなかったので）なやつを待ち望んでいました。 7月ぐらいからHPがChromebookを販売開始してくれました。気づいてから申し込んだものの、予想外に受注があったのか、納期が伸びに伸びて1ヶ月半近くかかりましたが、とても良いものだったので、今ではすっかりメインで使っています。 バージョンによって状況はまた変わってくるかもしれないので、タイトルに日時を入れました。これを書いた時点でのバージョンは78.0.3904.106（Official Build）（64 ビット）でした。 日本
LinuxディストリビューションのDebianと、スマートフォン向けのグラフィカルシェルを開発するプロジェクト「Phone Shell(phosh)」を統合し、Pinephoneなどスマートフォンで動作するDebianパッケージを作ることを目的としたプロジェクトが「Mobian」です。 Mobian https://mobian-project.org/ The road to the Mobian Community Edition (part 1) // Mobian's Blog https://blog.mobian-project.org/posts/2021/04/08/road-to-mobian-1/ phoshはスマートフォンなどのタッチパネルベースのモバイル端末用のグラフィカルシェルで、PureOSベースのスマートフォンを開発するPurismの「Librem 5」で採用
2012年3月に「Raspberry Pi Model B」がリリースされた。Raspberry Piは当初の低コスト教育用コンピュータから真に柔軟な汎用（はんよう）コンピュータへと拡大した。 Raspberry Pi財団のエベン・アプトン氏（創業者、CEO）は、1980年代の家庭用コンピュータで育ち、Acorn Computersの教育用コンピュータ「BBC Micro Model B」（以下、BBC Model B）の後継になるものを再現したいと考えていた。BBC Model Bは電源を入れるとBASICのインタープリタが起動する。「Raspberry Piの初期プロトタイプはBBC Model Bによく似ており、Pythonで起動するようになっていた」（アプトン氏） 2012年のリリース当時、Raspberry Piは今よりもはるかにシンプルで、ソフトウェアは付属していなかった。Ra
Node.jsアプリケーションのDockerイメージのサイズを削減する方法について調べた - The Third Law
Next.jsアプリケーションのDockerイメージのサイズが大きくて困っていたので調べていたところ、Next.jsの公式ドキュメントにDocker Imageというセクションがあり、おすすめ設定が記載されているのを見つけました。以前はここまで詳細な記述はなかったのですが、つい10日ほど前に追加されたようです。 ドキュメントには一番おすすめの方法だけ書かれているのですが、もともと「What is the best way to use NextJS with docker? · Discussion #16995 · vercel/next.js · GitHub」というdiscussionがあり、ドキュメントの記述はここでの議論が元になっているようです。Discussionではいくつか例が示されているのですが、それぞれさまざまな最適化テクニックが利用されており、どれくらいの容量になるか気
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1日目：独学プログラマが語る「なぜPythonが世界を席巻しているのか？」 | gihyo.jp
会社で書いてるコードも「OSSで公開しちゃえ！」ってしたいからOSSガイドラインを作った - Qiita
M1 Mac の Docker Desktop のアプデを mysql で確かめる
Node.js v22 で変わること
「金融的検閲」の脅威（八田真行） - エキスパート - Yahoo!ニュース
WSLの代わりにDockerを使う - ただのにっき(2020-07-23)
流行っている・流行っていないプログラミング言語に関する1つの考察 - Qiita
M1 Pro + Lima + Dockerが速い (Rails/RSpec検証)
徳丸本2版の実習環境をDockerに移植した話 - Qiita
Hack The Boxを楽しむためのKali Linuxチューニング - Qiita
systemdの思想と機能 ―Linuxを支えるシステム管理のためのソフトウェアスイート
Slackの代わりに使えるオープンソースのチャットツール 4選
GitHub Actions 上での Go の Docker ビルドを高速化する
自宅仮想サーバーをESXiからProxmox VEに移行した話
JavaのDockerイメージ何選ぶ？ | フューチャー技術ブログ
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
第675回 apt-keyはなぜ廃止予定となったのか | gihyo.jp
Ansible の SSH の通信をデバッグする - 赤帽エンジニアブログ
2019年末版：Chromebookを開発に使う - Qiita
Linuxディストリビューション「Debian」をスマートフォン上で実行する「Mobian」
祝10周年！ 創業者も予想できなかったRaspberry Pi活用例