PCI Expressの開発をしていて、一番苦労を感じたのは、デバイスドライバの開発です 私はカメラを作った時からハードウェアのエンジニアになったので、ソフトの方は新卒から6年過ごした会社での経験しかないので、そこからのソフトウェアの知識のアップデートがあまりありません。 なので、デバイスドライバの開発はかなりハードルが高かったし、実際には上澄みを舐めた程度の事しかやっていません。 PCIボードを作った時はデバイスドライバを開発していないのに 何故、今になってデバイスドライバを開発する必要が出てきたかと言うと PCI Expressの頃からWindowsのアップデートが始まります 当初Windows2000だったのですが、このころから徐々にWindowsXPに切り替わっていきます。それを機に、DriverStudioと言うソフトが終息すると、ドライバーを開発してくれていた会社が開発を辞めて

こんにちは、T.Y.です。並列分散処理のフレームワークであるSpark上で自然言語処理（Natural Language Processing, NLP）の様々なタスクを行いたい、特に、BERTやGPTなどのTransformerモデルの学習や推論を試したいという動機のもとでSpark NLPについて調べた内容をこちらのブログで解説します。環境構築の過程でSparkからGPUを使用するための手順や、SparkとGPUを利用する他の機械学習フレームワークについても紹介したいと思います。 目次 Summary クラスタ構成 Spark Rapids XGBoost4j-Spark-GPU Spark NLP ChatGPTとテストしてみる Fine-tuningについて Sample Model Spark NLP Displayによる可視化 Synapse ML 最後に 1. Summary

大きく変化した「人とシステム」の関係 企業におけるDX（デジタルトランスフォーメーション）の取り組みが加速する中で、「マイクロサービスアーキテクチャ」（以下、マイクロサービス）の注目度が増している。マイクロサービスは、複数の小さなサービスを組み合わせて一つのシステムを構成するという考え方だ。 マイクロサービスのような「疎結合アーキテクチャ」自体は以前からあるが、「クラウド」「モバイル」といった技術や考え方が普及したことで最近特に注目されている。こう語るのは、Scalarの深津 航氏（CEO、COO＜最高執行責任者＞）だ。 「技術の進歩によって人とシステムの関係が大きく変化した2000年ごろは、社内の情報は社内のシステムに格納され、他社と情報をやりとりするのは主に“人”だった。しかし、2010年ごろになると企業と企業のやりとりも、メールや電話だけでなく、スマートフォンのアプリケーションやWe

セッションでは、『あつまれ どうぶつの森』のプロデューサー・野上 恒氏と、ディレクターの京極あや氏により、『どうぶつの森』の歴史を振り返りながら、『あつまれ どうぶつの森』に至るまでの、ゲーム自体の変遷、開発体制の変遷について語られた。 2021年4月で20周年を迎えるシリーズであることもあり、内容も濃く、リポート自体も長めなので、じっくりと読み進めてほしい。 初代『どうぶつの森』のコンセプト 本題に入るその前に、野上氏は『どうぶつの森』シリーズは“かわいいどうぶつたちとのんびり暮らすゲーム”、“小さい女の子向けのゲーム”と思っている人も多いのでは？　と視聴者たちに質問。『あつまれ どうぶつの森』のプレイヤーデータを例にすると、じつは男女比はほとんど同じで、しかも20代前後のプレイヤーがもっとも多いことを明かした。 といっても、これは2020年7月と、発売から数ヵ月経った時点でのデータ。野

P2P型ファイル共有ソフトWinny。その仕様と実装について、P2Pの基本や開発手法までを含めて紹介した、作者自身による解説書。 関連サイト本書の詳細ページが用意されています。 『Winnyの技術』内容紹介本書は読者対象として、Winnyの動作や仕組みに関心のある方と、P2P技術に興味があるソフトウェア技術者を想定しています。 1～3章では、Winnyの技術背景となっているP2P型システムについての基礎知識を説明し、ファイル共有ソフトの歴史を紹介したうえで、Winnyの基本的な動作と設計コンセプトをわかりやすく解説しました。Winnyの動作や仕組みに関心のある方はこちらをご覧ください。 4～5章ではP2P技術に興味がある開発者向けに、さらに詳細な実装を解説し、実際にP2Pソフトウェアを開発してみてわかった注意事項やヒント、今後P2Pソフトウェアを開発される方へのメモをまとめました。 Win

実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 インフラの特性をふまえ、ミドルウェアの挙動を理解し、プロファイリングによってボトルネックを把握し、要求に合ったアーキテクチャを選択する。そういった工夫を重ねることでアプリケーションのパフォーマンスを改善する事例を、Sansanの千田智己さんに聞きました。 アプリケーションの設計・実装方法を変えることで、性能が格段に向上するケースは数多くあります。有名IT企業のエンジニアは、どのような方針のもとでアーキテクチャあるいはアルゴリズム選択などでパフォーマンスを改善しているのでしょうか？ 法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社の千田智己さんに、これまで取り組んできた事例と、そのノウハウを教えていただきました。 千田 智己（せ

Twitterの仕様変更などの影響でここ最近で分散SNSが再び注目されつつある。 分散SNSの利点は脱・中央集権な点にある、という文脈で語られることも多いが、 オープンな仕様・実装が多いというのもまた利点といえる。 そうしたオープンな分散SNSの仕様として有名なのが ActivityPub だ。 ActivityPub と難しさ オープンな実装の利点はプログラムからのアクセスが容易なことだ。 たとえばX（Twitter）はAPIの制約が厳しく、開発者が気軽にAPIを触ることが難しくなってしまったが、ActivityPub であればそのような制約はない。 そういう流れで、ActivityPub をベースにBOTアカウント的なものを作ってみたいと思い立った。 単一のユーザーとして投稿を発信するだけ、それくらいならサクッと実装できそうだと考えた。 しかし、そう上手くもいかなかった。 Activi

TL;DR Bytecode Alliance が毎月配信しているコミュニティミーティングを見て内容のサマリーや関係することについてまとめています。 参照したコミュニティミーティングは、1 月 31 日に実施されたものです。 2023 年に Bytecode Alliance が見据えている次のような WebAssembly の仕様動向について語られています。 ✅ WASI Preview 2 ✅ コンポーネント レジストリ Bytecode Alliance Foundation Bytecode Alliance Foundation は、WebAssembly の仕様の標準化を推進する団体です。 WebAssembly (Wasm) や **WebAssembly System Interface (WASI)**など、W3C 標準に基づくソフトウェア基盤の実装に取り​​組んでいる非

PhantomJS - Scriptable Headless WebKit PhantomJS (phantomjs.org) is a headless WebKit scriptable with JavaScript. The latest stable release is version 2.1. Important: PhantomJS development is suspended until further notice (see #15344 for more details). Use Cases Headless web testing. Lightning-fast testing without the browser is now possible! Page automation. Access and manipulate web pages with