はてなブックマーク

第7回の今回は、大規模なKubernetesクラスターの検証を容易にする「kwok」について紹介します。 はじめに 3-shakeのSreake事業部に所属する早川(@bells17)です。第7回目の今回は、大規模なKubernetesクラスターの検証を容易にする「kwok」について紹介します。 kwokとは“Kubernetes WithOut Kubelet”の略で、実際のKubernetes Nodeではなく仮想的なNodeやPodを使用することで、1,000台以上のNodeのあるKubernetesクラスターを手元環境で手軽にセットアップして検証を行えるツールキットです。 つまり、kwokを使用することで実際のNodeを用意することなく大規模なKubernetesクラスターの検証を部分的に行えるようになります。 kwokを試してみる 「実際のNodeを使用しない」と言われてもピンと

eBPF Foundation＆LF ResearchがeBPF技術の進化とオープンソースエコシステムへの影響を調査したレポート「eBPFの現状」日本語版を公開 こんにちは、吉田です。今回は、eBPF FoundationがLinux Foundation Researchと協力して作成・公開された「The State of eBPF」の日本語版「eBPFの現状」について紹介します。 【参照】eBPF Foundation & LF Research 調査レポート「eBPFの現状」を公開 https://www.linuxfoundation.jp/blog/2024/08/japanese-version-of-the-state-of-ebpf/ eBPF(extended Berkeley Packet Filter)とは、Linuxカーネルのソースコードを修正したりカーネルモジュー

本記事は、生成AIコミュニティ「IKIGAI lab.」に所属するメンバーが、生成AIに関するニュースを紹介＆深掘りしながら、AIがもたらす「半歩先」の未来に皆さんをご案内します。 はじめに 本連載は、生成AIコミュニティ「IKIGAI lab.」で活動している6名で運営しています。注目されている生成AIに関するニュースを収集し、個性豊かなメンバーによる記事の深堀りから、半歩先の未来の想像を共有していきます。この記事を通して、ぜひ皆さまも各々の半歩先の未来を想像しながら、色々な価値観を楽しんでいただけると嬉しいです。 2023年1月以降、ChatGPTの利用者が爆発的に増加し、生成AIへの関心が大きく高まりました。多くの生成AIサービスが存在する中、「Perplexity」は信頼性と独自性を兼ね備えた生成AIサービスとして、多くのユーザーから高く評価されています。 PerplexityはW

2024年4月30日に、MySQLの新たなメジャーバージョン「MySQL 8.4.0」がリリースされました。本記事では、MySQLの新しい開発モデル「LTS」版と「Innovation Release」について紹介します。 はじめに 2024年4月30日に、MySQLの新たなメジャーバージョン(シリーズ)である「MySQL 8.4.0」がリリースされました。2018年4月にMySQL 8.0シリーズが正式リリースされて以来、実に6年ぶりのメジャーバージョン・リリースです。それまでのMySQLは概ね3年程度で新しいメジャーバージョンが公開されてきたので、今回の6年というのは、まさに「待望の」新バージョンと呼んでも差し支えないでしょう。 リリース方針の変更 MySQL 8.0シリーズが快調にリリースされ続けていた2023年7月に、今後のリリース方針の大きな変更に関するアナウンスがありました。か

はじめに Kubernetesにはリソースの利用状況に応じてオートスケールする仕組みがあります。この仕組みを上手く利用することで、従来は手動で行なっていた「パフォーマンス管理」や「キャパシティー・プランニング」の一部を自動化することができます。本連載では、Kubernetesのオートスケールに関して説明していきます。 Kubernetesにおけるオートスケール Kubernetesのオートスケールは、スケールする対象が異なる以下の2種類があります。 Podのオートスケール Podのリソース使用量を評価して、Podに対するリソースの割り当てをコントロールします。 クラスタのオートスケール クラスタのリソース使用量を評価し、ノードの増減等を行うことでクラスタで利用できるリソース量をコントロールします。 Kubernetesでオートスケールを利用する場合は、まずアプリケーションの性能要件に合わせ

本記事は、生成AIコミュニティ「IKIGAI lab.」に所属するメンバーが、生成AIに関するニュースを紹介＆深掘りしながら、AIがもたらす「半歩先」の未来に皆さんをご案内します。 はじめに 今回から「Gen AI Times」として、生成AIに関する記事を発信させていただくことになりました。よろしくお願いします! 本記事は、生成AIコミュニティ「IKIGAI lab.」で活動している6名で運営させていただきます。注目されている生成AIに関するニュースを収集し、個性豊かなメンバーによる記事の深堀りから、半歩先の未来の想像を共有していきます。この記事を通して、ぜひ皆さまも各々の半歩先の未来を想像しながら、色々な価値観を楽しんでいただけると嬉しいです。 さて、記念すべき第1回では、「生成AIと共存する未来での働き方を想像できるツール情報」と「日本の生成AIの導入率に関する記事」を紹介します。そ

はじめに こんにちは。3-shakeの下村俊貴(@toshikish)です。今回は、アプリケーション(以下、アプリ)のソースコード変更不要で分散トレーシングができる「Odigos」について紹介します。 OSS InsightのKubernetes Tooling コレクションでは、2023年10月のスター増加数で1位、プルリクエストやイシューの増加数でも上位にランクインしており、注目度が高まっています。 分散システムのトレーシング マイクロサービスアーキテクチャのような分散システムでは、個々のサービスが協調しながら全体のシステムを構成しています。個々のサービスごとに監視を設定していると、そのサービス内の現象を把握することはできますが、リクエストは複数のサービスにまたがって処理されるため、障害が発生した際に被疑箇所を把握することは容易ではありません。 そこで分散トレーシングという仕組みが登場

第12回は、OpenAIが公開しているガイドをベースに、ファインチューニングを行う手順とポイントについて解説します。 はじめに 前回は企業データを追加学習する3つの方法のうち、コンテキスト学習とファインチューニングについて解説しました。今回は、ファインチューニングのやり方について解説します。 ファインチューニングを行う手順を学ぶことで、ファインチューニングと言えども機械学習の基本に沿って学習すること、そのため学習データ(トレーニングサンプル)の準備が大変なこと、でもうまく学習すれば良い結果が得られそうなことなども理解していただければと思います。 実施前にプロンプトを工夫する OpenAIは、ファインチューニング可能なモデル(Gpt-3.5 turbo)だけでなく、ファインチューニングを行うためのSDKやAPI、UIツール、実施ガイドなどを提供してくれています(至れり尽くせりですね)。しかし

開発者を解き放て! Postmanが目指すAPIファーストな開発モデル 〜APIエコノミー、生成AI活用、開発の民主化まで 2023年12月5日、開発者向けAPIプラットフォームを提供するPostmanは「日本上陸記念イベント」を開催し、日本市場への本格的な参入を発表した。本記事では、Postman創業者 アビナフ・アシュタナ氏と、ウルシステムズ株式会社 漆原 茂氏の講演レポートを中心に、Postmanが目指すAPIファーストな世界観と、開発者にもたらされる変化について紹介する。 日本でも活発なコミュニティを オープニングでは、Postman株式会社 代表取締役社長 平林 良昭氏から、日本市場とコミュニティの概況について紹介された。 2014年にインドで創業したPostmanは、APIの構築・管理・テストのための開発者プラットフォームだ。2017年にアメリカに拠点を移し、2023年4月に日

はじめに こんにちは。3-shakeのSreake事業部に所属する長澤翼(@toversus26)です。第2回目の今回は、ドメインを考慮した柔軟なPodの配置を実現する「Balancer」について紹介します。 KubernetesにおけるPodの配置の課題 Kubernetesにはノード上へのPodのスケジューリングを制御するための機能がいくつかあります。NodeSelector、AffinityとAntiAffinity、TaintとToleration、Pod Topology Spread Constraintsなどです。この中でもPod Topology Spread Constraintsの機能は強力で、ドメインを考慮して均等にPodを配置できます。例えば、Podを複数のゾーンのノードになるべく均等に分散して耐障害性を高めるといった使い方ができるでしょう。 しかし、Pod Top

島根県でプログラミング言語「Ruby」に関するイベントを集中的に実施するキャンペーン「Ruby Week」が開催された。そのうちRubyWorld Conferenceを中心に、Rubyの今とこれからを解説する。 島根県で、プログラミング言語「Ruby」の自由さや楽しさ、コミュニティへの貢献という価値観を表現するキャンペーンとして「Ruby Week」が開催された。これまでも開催していた「Ruby biz Grand prix」「RubyWorld Conference」「Ruby Prize」の3イベントを1週間にまとめるとともに、数多くの取り組みを実施。エンジニアやビジネス関係者が数多く島根を訪れる期間となった。 Ruby Weekの中心である3イベントのうち、最も歴史が深いRubyWorld Conferenceは、今回で15回目の開催。国内最大級のビジネスカンファレンスとして、Ru

第1回目の今回は、Podのリソース割り当ての推奨値を提案する「KRR(Kubernetes Resource Recommender)」について紹介します。 はじめに こんにちは。3-shakeで技術顧問を勤めている青山真也(@amsy810)です。 3-shakeでは、CloudNative技術などを用いたSREの推進などを行っており、Kubernetesに関連した各種ソフトウェアへのキャッチアップなども積極的に行っています。 そこで、本連載では「OSS Insight」で公開されているソフトウェアや、最近話題になっているが、まだ詳細についてまとめられていないようなKubernetesに関連するツール・ソフトウェアを検証し、3-shakeのメンバーで紹介していきます。 第1回の今回は、Podのリソース割り当ての推奨値を提案する「KRR(Kubernetes Resource Recomm

PingCAPが国内最大級のNewSQLデータベースカンファレンス「TiDB User Day」を開催、事例を中心にTiDBの運用ノウハウを幅広く紹介 2023年7月7日、PingCAP主催の国内最大級となるNewSQLデータベースカンファレンス「TiDB User Day」がハイブリッドで開催されました。 このカンファレンスでは、まずPingCAP米国本社より共同創業者兼CTOのEd Huang氏とMySQLのInnoDB元開発者でHeatWaveの開発リードを担っていたシニアアーキテクトのSunny Bains氏が来日し、「TiDBとMySQLと未来」というタイトルでTiDBの最新情報について講演後、LINEやSBペイメントサービスなど6社から事例を紹介するという形で進められました。最後は「ゲーム業界のデータベースを覗いてみよう」というパネルディスカッションで終了しました。 事例紹介1

米マイクロソフトは「Microsoft Mesh」のプレビュー版を10月に公開することを明らかにしました。同社のコラボレーションツール「Microsoft Teams」から利用でき、3D空間でのWeb会議などが可能です。対応ハードはPC、および「Meta Quest」シリーズです。 開発者向けのツールキット「Mesh toolkit」も提供され、Unityを用いて3D空間をカスタマイズできるようになります。同社は2022年3月に「Teams」の月間アクティブユーザー数が2億7,000万人に達したと発表しており、膨大な既存ユーザーが「Mesh」の各機能をどれだけ利用するかに注目です。 本ニュースの詳細はこちら： マイクロソフト、「Teams」から使えるメタバース「Microsoft Mesh」プレビュー版を10月公開 https://www.moguravr.com/microsoft-me

Amazon Web Servicesが公開したオープンソースのポリシー記述言語CedarをThe New Stackの動画から解説する。The New Stackはオープンソースに限らず最新のソフトウェアを紹介するメディアとして、KubeCon＋CloudNativeCon、OpenSourceSummitのイベントにおいて現地でインタビューを行っている。今回の動画はOpenSourceSummit North America 2023で収録されたインタビューだ。 ●動画：Demo of the Cedar Programming Language - The Open Source Language from AWS The New Stackは最新の注目すべきソフトウェアや企業、エンジニアにフォーカスしてインタビュー動画を多数公開している。他にも多くの動画が公開されているので以下の公

本連載では、オープンソースのデスクトップRustアプリフレームワーク「TAURI」について解説していきます。第1回の今回は「Rust」の概要やインストール方法、ビルドと実行方法を紹介します。 はじめに 今回から、プログラミング言語「Rust(ラスト)」でデスクトップアプリを開発する記事を連載していきます。デスクトップアプリの開発には「TAURI(タウリ)」という「Electron(エレクトロン)」に似たフレームワークを使います。 デスクトップアプリなので、GUIを備えることができます。GUIはWebページをデザインすることで作るのでメイン言語はRustですが、Webページを作るのに「HTML5＋CSS＋JavaScript」の知識も必須になります。本連載ではRustの文法とHTML5＋CSS＋JavaScriptのコードについては解説しますが、HTML5＋CSS＋JavaScriptの文法

第5回は、ChatGPTの活用を広げるさまざまなプラグインについて解説します。主にコンテンツへのアクセスをサポートするものを7つ紹介します。 はじめに ChatGPTは優れた大規模言語モデルですが、現時点では単体でPDFやWebページ、動画などのコンテンツにアクセスできません。しかし、有料サービスChatGPT Plusにはこれを可能とする便利なプラグインが続々と登場しており、ChatGPTの利用方法が大きく広がっています。 今回はChatGPT Plugin storeにある16個の人気プラグインのうち、主にコンテンツへのアクセスをサポートするものを7つ紹介します。また、ChatGPTとプラグインがどのような関係にあるかも理解しましょう。 ChatGPTのWeb Browsing機能 OpenAIは、2023年3月23日にプラグイン、5月23日にWebブラウジングという2つの機能を有料サ

KubeCon Europe 2023の共催イベントEdge Dayから、IntelとSpectro Cloudが実装した新しいプラットフォームを紹介する。 Kubernetesがサーバーサイドのコンテナオーケストレーションだとすれば、若干取り残されている感があるのが、エッジのプラットフォームだろう。エッジで使われるOS、プラットフォームは物理的に小さなフォームファクターで、メモリーやプロセッサなどのリソースに制限がある中でさまざまな使われ方が存在する。オープンソースソフトウェアだけでもLinux Foundation配下のYocto、LF Edgeが推進するAkraino、EdgeX Foundry、車載向けのAGL（Automotive Grade Linux）、医療やエネルギーなどセキュリティが重視される領域を想定したELISAから、コマーシャルベースだとRed Hatが発表したRe

第3回は、Transformerモデルのアーキテクチャーやデコーダーの処理内容、RLHFを使ったお作法の訓練を中心に解説します。 はじめに 前回は、大規模言語モデル(LLC)の概要のついて説明しました。今回は、GPTシリーズなどの大規模言語モデルが採用している「Transformer」という自然言語処理について解説します。 RNNやLSTMなどの回帰型ニューラルネットワークが中心だったところに彗星のように現れたTransformerは、どのような仕組みでGPTのような言語モデルを生み出したのでしょうか。 回帰型ニューラルネットワーク 私が2017年にThink ITの連載「ビジネスに活用するためのAIを学ぶ」を書いていた頃は、自然言語処理(NLP)と言えば次の2つが主流でした。拙書『エンジニアなら知っておきたいAIのキホン』にも、この2つの技術解説をしています。 RNN(Recurrent

第5回となる今回は、Policy as Codeの概要を解説し、「Pulumi CrossGuard」を利用してPulumiでリソースを作成する際のポリシーチェック を行うハンズオンを実践していきます。 はじめに 前回はPulumiのSecurityについて解説しました。今回は、前回で少し触れたPulumi Policy as Codeのポリシーエンジンとなる「Pulumi CrossGuard」について解説していきます。後半のハンズオンでは、「Pulumi CrossGuard」を利用して実際にPulumiでリソースを作成する際のポリシーチェックの様子を確認していきます。 Policy as Codeについて そもそも、Policy as Codeとはなんでしょうか? まず、その概要を少しおさらいします。 Policy as Codeの概要 一般的に、Policy as Code(PaC

はじめに 前回はスケーリングの法則により、大規模言語モデル(LLC)の競争時代が始まったことを解説しました。今回は、大規模言語モデルがどのように生まれたかを解説します。我々はChatGPTが人間のように会話したり、とても博学なのに驚かされましたが、いったいどうやってそんなことができたのでしょうか。 人の一生とAIの短期トレーニング 例えば人間であれば、いろいろな人と話したり、たくさんの文章を読み書きした結果で知識や会話能力、文章力が増えて、そのノウハウがその人の脳に刻まれています。実は、言語モデルAIの場合も似たようなアプローチです。膨大な文章を学習データとして読み書きのトレーニングをし、そこで得たナレッジをパラメータ化しています。 人間が一生かけて読み書きするテキスト量は馬鹿になりませんが、AIはそれをはるかに超える量のテキストを短期間で学習し、それをニューラルネットワークという脳に刻ん

この記事では、膨大なデータの中から有用な情報を見つけ出すデータマイニングの基礎や代表的な分析手法、実際の流れ、データマイニング成功のポイントについて解説します。 はじめに この記事では、データマイニングの基礎や代表的な分析手法、実際の流れ、データマイニング成功のポイントについて解説します。データマイニングの基礎を学び、業務に生かすための知識と実践力を身に着けておきましょう。 データマイニングとは インターネットの普及とIT化が進んだ現代は、膨大な量のデータがあふれ返っている時代です。その中でも注目されているのが、量が多いだけでなく複雑さを備えた「ビッグデータ」であり、これをいかに効率的に利用できるかがビジネスを成功させるカギと言っても過言ではありません。では、ビッグデータを活用するためには何をどのように進めていけば良いのでしょうか。そのための手段として注目されているのが、データマイニングで

CI/CD Conference 2023から、GMOペパボのSREが仮想マシンとKubernetesが混在する環境におけるCI/CDの課題と解決策を解説したセッションを紹介する。 CI/CDに特化したカンファレンスCI/CD Conference 2023から、GMOペパボ株式会社のSREが解説する仮想マシンとKubernetesが混在した環境でのCI/CDの改善について解説するセッションを紹介する。プレゼンテーションを担当したのは2021年にGMOペパボに中途で入社したSREの渡部龍一氏だ。 ●動画：インフラCI/CDの継続的改善の道のり セッション開始から約8分は自己紹介と自社紹介に使われており、実質的なシステムの解説は以下のスライドから始まった。今回はスライドが別資料として公開されており、そこから引用している。 ●参考（発表資料）：インフラCI/CD継続的改善の道のり

Pythonエンジニアの育成を目的とした、一般社団法人Pythonエンジニア育成推進協会の主要メンバーにPythonエンジニアの認定試験について、また2023年3月9日に出版された『徹底攻略Python3 エンジニア認定［基礎試験］問題集』を執筆した株式会社ビープラウド(以下、ビープラウド)のメンバーに、お話を聞きました。 Q:まず資格についてお伺いします。概要と傾向、受験者数について教えてください。 吉政：Python試験は、とデータ分析試験、それとは別に実践試験の3つを実施しています。またPythonのお作法である「Pythonic」と「PythonZen」の普及を目的とした「PythonZen & PEP 8検定」という無料の試験も実施しています。この4つを合わせると、年間15,000人くらいに受験いただいています。 基礎試験では、Pythonの基礎レベルの文法に関することを出題して