今回テックブログを書くにあたり、以下の記事を参考にしました。 qiita.com こちらの記事では、マクドナルドのメニューを対象に組み合わせ最適化問題を扱っており、内容も非常に面白く読ませて頂きました。 今回、弊社askenでも自社データを使用して食事の組み合わせ最適化問題をやってみたのでご紹介します。 はじめに こんにちは！ askenで機械学習エンジニアとして働いているyumaです。 shoku_panという名前でTwitterをやってます。 さてみなさん、弊社ダイエットアプリ「あすけん」をご存知ですか？ www.asken.jp あすけんでは、その日の食事内容を記録すると栄養士の未来（みき）さんからアドバイスをもらえます。点数も出るので、高得点をとることがモチベーションになっている方もいらっしゃると思います。 もちろん僕も使っています。ちなみに今年のお正月はこのような結果になりました
「Waifu Diffusion v1.2」が二次元キャラの画像生成が得意らしいということで試してみました。 ・Diffusers v0.3.0 ・Waifu Diffusion v1.2 【最新版の情報は以下で紹介】 1. Waifu Diffusion v1.2「Waifu Diffusion v1.2」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIです。Danbooruの画像で学習しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers
WebKit Features in Safari 16.4
Mar 27, 2023 by Patrick Angle, Marcos Caceres, Razvan Caliman, Jon Davis, Brady Eidson, Timothy Hatcher, Ryosuke Niwa, and Jen Simmons ContentsWeb Push on iOS and iPadOSImprovements for Web AppsWeb ComponentsCSSHTMLJavaScript and WebAssemblyWeb APIImages, Video, and AudioWKWebViewDeveloper ToolingWeb InspectorSafari Web ExtensionsSafari Content BlockersNew Restrictions in Lockdown ModeMore Improve
iPhoneやAndroidのスマホやタブレットなどのタッチデバイスでCSSのhoverアニメーションをつけていると、タップ（クリック）動作にいろいろと支障がでることがあります。 CSSで指定するhover動作をスマホやタブレットでは無効にさせてPCのみで実行させるために、JavaScriptでデバイスの判定をしたりすることもありますが、CSSのメディアクエリーだけでも制御ができるのでメモとして紹介します。 mediaクエリーのhoverとpointer PCデバイスのみにCSSのhover動作を実行させるには、CSSメディアクエリーで判定できる以下の2つを使用します。 ・使用デバイスがhoverを使えるかどうか ・使用デバイスのポインターの種類 この2つを組み合わせることでPCのみを判定させた状態を作り、その中にhover動作の指定を記述します。 実際の記述方法については以下です。 a
ターゲットまでの移動時間は、ターゲットの大きさとターゲットまでの距離に依存する。 Fitts's Law and Its Applications in UX by Raluca Budiu on July 31, 2022 日本語版2023年1月10日公開 歴史 ポール・フィッツは、ヒューマンエラーが単なる人間による誤りではなく、不適切なデザインに起因することを理解した最初の心理学者の1人である。彼は第二次世界大戦中に飛行機のコックピットのデザインを研究し、ヒューマンエラーが原因であるとされていた多数の戦死が、実際にはデザインの不適切さによるものであると主張した。 1950年代になると、彼はシャノンの有名な情報理論の影響を受ける。そして、ジョージ・ミラーがチャネル容量の概念を人間の記憶に適用し、その過程で人間の短期記憶の情報処理能力として有名なマジカルナンバー7を導き出したように、フィッ
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向スコアモデリングの実装 7. 傾向スコアマッチング 7.1 結構面倒なpython 7.2 R (Matchingライブラリ) 7.3マッチングの評価 8.IPW 9. ダブルロバスト 9.1 回帰モデル 9.2ダブルロバスト 10.Proximityマッチング 11.改めて、各種手法による推定因果効果のまとめ 12.まとめ 0. はじめに 理論編に引き続き、実装を行なっていきます。 pira-nino.hatenablog.com 実装はpythonとRの両方で行いました。 作業用のコードは以下のgithu
概要 ゲーミングPC、ゲーミングマウス、ゲーミングキーボード、ゲーミングチェアーなど、色々ありますが、なぜか光っています。 なので、WEB画面も光らせてみようと、gaming-cssというプラグイン作成しnpmに公開しました。 セットアップ方法 下記のコマンドでインストールできます。 詳細な使い方についてはREADMEを確認して頂ければと思います。 CSSを適用 Qiitaのプロフィール画面を装飾しました！ Before After とっても綺麗になりましたね！（Qiita運営さん！ゲーミングテーマはいかがでしょうか？） ちなみに、CSSを適用するのに１時間くらいかかりました。 仕組み 仕組みは、簡単です。下記のように、線・文字・背景・画像などに対してアニメーションのスタイルを用意して適用しているだけです。 /*背景色*/ .gaming-background-color { animat
ライス大学研究チーム、GPUを使わずにディープラーニングを高速化するアルゴリズムを開発：行列の乗算ではなく、ハッシュテーブルで解決可能な探索問題に ライス大学のコンピュータサイエンス研究者チームが、GPUのようなアクセラレーションハードウェアを使用することなく、ディープラーニングを高速化できるという「Sub-Linear Deep Learning Engine」アルゴリズムを開発した。
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと
LinuxカーネルがWebブラウザで動いたらどう考えても面白い んだけど、そこに至るまではなかなか難しい道のりになる。その第一歩として、Linuxカーネルのユーザーランド版であるLKL( https://github.com/lkl/linux )をWebAssemblyにコンパイルして、wasm2cでC言語に変換した上、Visual Studio 2022でコンパイルしてWindows上で実行してみた。 まだWebブラウザでは動いていないが、思ったよりは簡単にWasmに移植できた(個人の感想です) ウケが良ければMUSL libc移植編 → デバイスドライバ活用編 → Webブラウザ上動作編と続ける感じで。。 EDIT: Visual Studioのスクリーンショットを撮りなおし。 memory-control はanonymousなmapしか救えないので、ここ数年スパンではエミュレーシ
「ウェブの世界のOSを目指す」という壮大な目的で作成されたブラウザ「Arc」レビュー、使いやすい機能がてんこもりでサクサク快適にブラウジング可能
Chromiumベースのブラウザ「Arc」が正式にリリースされ、誰でも利用できるようになりました。さまざまな便利機能が搭載されており、「2023年流のインターネットの使い方をさせてくれるブラウザ」とのことなので実際に使って試してみました。 Arc from The Browser Company https://arc.net/ ArcはmacOSのみをサポートしています。Windows版の登場は2023年冬の予定とのこと。今回はmacOSを利用してレビューします。まずは公式サイトへアクセスし、「Download Arc」をクリック。 ダウンロードしたイメージをダブルクリックしてマウントします。 アプリをドラッグドロップでApplicationsフォルダに入れればインストール完了です。 Launchpadで「arc」と検索してArcを起動します。 初回起動時は確認が入るので「開く」をクリッ
【はてなブログ】基本のカスタマイズまとめ＊テーマをUnderShirtにしました！ | まとまるデザイン
はてなブログを始めてすぐぶつかったのがカスタマイズの壁。 「難しいことはわからないけど、カスタマイズして自分らしいブログにしたい！」 と思い、いろいろ調べてやってみましたが思い描くようなイメージにはならず……。思い切ってテーマを変えることにしました。 カスタマイズも0からやり直しです。 この記事では、初心者の私ができる範囲で頑張ったカスタマイズ、参考にしたサイトなどをまとめていきます。（ほとんどUnderShirt以外のテーマでも使えるカスタマイズばかり） 記事の内容 テーマの選び方 トップページのカスタマイズ（ヘッダー、フッター、トップ他） 記事内のカスタマイズ（吹き出し、装飾、ボックス他） 定型文の使い方 こんな人におすすめ テーマ選びの仕方がわからない オリジナル性のあるブログにしたい 初心者にもできるカスタマイズをしたい Undershirtのカスタマイズがしたい 当ブログは202
最近、チームのタスク管理をNotion → Linearへ移行しました。もう1 ヶ月ほど使っています。Notionは依然としてWikiツールとして使っていますが、タスク管理ツールとしてはかなり限界を感...
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
随時募集しています 略称 正称 APSP All Pairs Shortest Path BB Branch and bound BBST Balanced Binary Search Tree BFS Breadth First Search BIT Binary Indexed Tree BM Berlekamp-Massey BM Boyer-Moore BSGS Baby-Step Giant-Step CHT Convex Hull Trick CRT Chinese Remainder Theorem D&C Divide and Conquer DAG Directed Acyclic Graph DEPQ Double-ended priority queue DFS Depth First Search DP Dynamic Programming DST Disjoin
天文学から動物学に至るまで、現代の偉大な科学的発見にはコンピューターが必要不可欠なです。科学誌「Nature」が「科学を変革したコンピューター技術10選」を発表しています。 Ten computer codes that transformed science https://www.nature.com/articles/d41586-021-00075-2 ◆1：プログラミング言語のパイオニア「FORTRAN」 最初期のコンピューターは決してユーザーフレンドリーなものではなく、パンチカードを使用して手作業でコードを入力していました。コードの記述には複雑なプログラミング言語の知識が必要でしたが、1950年代にIBMによって開発されたFORTRANの登場により、プログラミング言語で記述されたプログラムをコンピューターが実際に処理できる言語に容易に変換することが可能になりました。 ◆2：高速
Until now, one piece missing from WebAssembly standalone engines was the ability to spawn threads. Browsers have had this ability for some time via Web Workers, but standalone engines had no standard way to do this. This post describes the work of several collaborators to bring about wasi-threads, a proposal to add threads to WASI. It will explain the history to this proposal, the work done to get
Linux Daily Topics Linux 6.4がリリース、Apple M2シリコンをイニシャルサポート Linus Torvaldsは2023年6月25日（米国時間）、「Linux 6.4」の正式リリースを発表した。開発期間は約2ヵ月、通常のスケジュール通りに7本のリリース候補（RC）版を経ての公開となる。 Linux 6.4 -Linus Torvalds Linux 6.4ではAsahi Linuxプロジェクトの貢献により、Apple M2シリコンを搭載したMacBook Air、MacBook Pro、Mac miniが新たにサポートされた。ただし、現状ではM2 Mac miniのディスプレイ出力に問題があるなどいくつかの不具合が生じており、Linux 6.5以降での改善が予定されている。 Rustのサポートも強化されており、ピン留めされたデータの安全な初期化を実現
はじめに DX（開発体験）の向上によって、チームやプロジェクトの持続的なパフォーマンスにプラスの影響を与えると考えられています。また開発体験とは、以下の4つの要素で構成されると言われています。 Fitting architecture（アーキテクチャの適合） Great tools（優れたツール） Processes to back that all up（すべてをバックアップするプロセス） Nontoxic team culture（毒のないチーム文化） この記事では、2番目の優れたツールについて、弊社の開発で使っているものを紹介します。 導入ツール Google Workspace 有名なグループウェアですが、メールやドキュメントよりも、各サービスへアクセスするSSO認証としての側面が強いです。 Slack こちらも有名なチャットサービスです。特にハドルが実装されて以降、社内の場合はわ
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 【IIJ 2022 TECHアドベントカレンダー 12/8（木）の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました。てへ。 今回は9月から10月にかけてStabl
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
みなさん、こんにちは！プロダクト開発部の西原です。 現在、JMDCが保有している医療ビッグデータを活用して生活者や医療に新しい価値を提供する新規プロダクト開発チームのバックエンドを担当しております。 皆さんは普段プロダクト開発の際にパフォーマンステストはどのツールを使用していますでしょうか。私が所属する新規プロダクト開発のパフォーマンステストでは「Ddosify」というツールを使用しました。 今回はこちらの基本的な使い方についてご紹介致します。 Ddosifyとは Ddosifyは、Goで書かれたパフォーマンステストツールになります。 JSONファイルを使用してシナリオを作成することができます。シナリオを定義することで、異なるリクエストパス、ヘッダー、ボディを持つ複雑なテストケースを作成できます。 加えてDdosifyはDdosify Engine、Ddosify Self-Hosted、
L．フロリディのInformation: A Very Short Introductionがついに翻訳された。 邦題は『情報の哲学のために』である。 原書は2010年にOxfordのVery Short Introductionsシリーズから発売され、11年後の今になってようやく翻訳がなされたわけである。嬉しい。 フロリディの翻訳と言えば今年2月に何かが発売されたような気がしないでもないが、あれは錯覚である。 みんなして同じ悪い夢でも見ていたんだろう、きっと。 その錯覚のせいなのか「フロリディの翻訳」と聞くと若干身構えてしまうが、今回の翻訳はまともである。 翻訳を担当したのは図書館情報学や社会情報学などが専門の塩崎氏と河島氏だ。 情報の哲学が専門ではないものの、わりと近い分野からの翻訳ということで、幻となってしまった彼よりかはよっぽど専門家である。 そして、なんと言っても天下の勁草書房か
What's New In DevTools (Chrome 94) | Blog | Chrome for Developers
Use DevTools in your preferred language Chrome DevTools now supports more than 80 languages, allowing you to work in your preferred language! Open Settings, then select your preferred language under the Preferences > Language dropdown and reload DevTools. Preferences" width="800" height="494"> Chromium issue: 1163928 New Nest Hub devices in the Device list You can now simulate the dimensions of Ne
Speculation in JavaScriptCore
This post is all about speculative compilation, or just speculation for short, in the context of the JavaScriptCore virtual machine. Speculative compilation is ideal for making dynamic languages, or any language with enough dynamic features, run faster. In this post, we will look at speculation for JavaScript. Historically, this technique or closely related variants has been applied successfully t
アケコン内蔵デスク「QANBA 2009 Arcade」をレビュー。高級アケコン約2台分のお値段でコレというのは，なかなかシビれるアイテムだ
アケコン内蔵デスク「QANBA 2009 Arcade」をレビュー。高級アケコン約2台分のお値段でコレというのは，なかなかシビれるアイテムだ 編集部：早苗月 ハンバーグ食べ男 家筐体。 それは，アーケードゲーマーなら誰もが一度は夢見る願望だ。 しかし，現実というハードルは決して低くない。日本の狭小住宅にどうやって業務用筐体を搬入するか。ゆうに100kgを超える鉄やFRPの塊を長期間置かれて床が耐えられるか。どうやって古い機械を維持するか。 その一方で，近年はゲーマーに向けたデスク周りのギアが充実している。大型曲面ディスプレイなど，アーケードゲーム以上にリッチな環境を実現する周辺機器も数多い。そういった利点を踏まえた場合，タイトーのアーケード向け汎用筐体「VEWLIX」が家にあったとしても「帯に短し襷に長し」感は否めない。 それなら，アーケードスタイルのゲーマー向けデスクを作ればいいじゃない
活用シーン サービス連携/スマートホーム 対応デバイス Web/iPhone/Android/AppleWatch AppleWatchにも対応しています。AppleWatchからもウィジェットに登録したAppletsを呼び出すことができます。 連携できるサービス 1000+ 500px abode Acer Air Monitor ACLU Adafruit AduroSmart Agile Octopus Ai-Sync AICO Air by Propeller Air Quality by IQAir AirVisual AirNow AirPatrol WiFi Airtable Airthings AirTouch Albert Heijn Amarr Entrematic Amazon Alexa Amazon Cloud Drive Ambi Climate Ambient
今まで「IE非対応」が壁となり業務での使用を躊躇していたCSSプロパティがいくつもありました。 しかし、ネットや各メディアでも話題になった通り、2022年6月16日、ついにIEのサポートが終了しました（一部OSを除く）。 そこで、IE終了により解き放たれた画期的なCSSプロパティを、個人的メモも兼ねて記載していきたいと思います。 全く新しいレイアウトの形「grid-template」 「grid-template」を初めて知った時は驚きました。 このプロパティを使用すると、以下コードのように視覚的にレイアウトをコントロールすることが可能となります。 See the Pen Untitled by monji (@monji88) on CodePen. これ、かなりやばくないでしょうか？見てわかるようにレイアウトはもちろん、各要素の高さ、幅、marginすらもgrid-templateプロ
JavaScriptのIntersection Observerでスクロールに合わせてグラデーションの色を変更する
2023年2月7日 JavaScript 新しいMacbook Proが発売され、特設ページが公開されています。そのページの中で私の目に止まったのは、Macbook Proのスペックではなく、スクロールに合わせて動くグラデーションカラーのテキストでした。今回はこれをJavaScriptの Intersection Observer を使って実装した例を紹介します。 この記事は動画でも紹介しています。動画派の方はこちらを御覧ください！ このテキストを実装したい！ Macbook Proの紹介ページにあるグラデーションカラーのテキストです。スクロールするとグラデーションの位置も変わるのがわかりますね！ Intersection Observerとは？ 従来、スクロールに合わせて要素を操るには scroll というイベントを利用していました。ただ、それだと画面サイズが変わったら再計算しないといけ
拡散モデルで、将棋の方策を学習できないか試してみた。 拡散モデル 拡散モデルは、高品質で多様なサンプルを生成できる生成モデルである。 昨年8月にStable Diffusionが公開されたことで注目を集めている。 拡散モデルは、確率微分方程式によって表される確率分布を近似するモデルで、モード崩壊を起こさず多様な分布を学習できるという特徴がある。 また、プロンプトと呼ばれるテキストにより条件付けを行い、テキストに従った画像を生成できる。 将棋の方策 将棋の方策は、座標と移動方向の組み合わせで表現でき、dlshogiで採用している表現方法では2187次元になる。 つまり、指し手は、局面によって条件づけられた2187次元の確率分布からサンプリングを行っていることになる。 拡散モデルの可能性 条件付けを行い高次元の確率分布からサンプリングを行うという仕組みは、将棋の方策においても適用できると考える
概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。 こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を解説した記事になります。間違いがあれば、コメントいただけたら嬉しいです。 bookclub.kodansha.co.jp 強化学習とは 強化学習とは、行動から報酬が得られる環境において、各状況で報酬に繋がるような行動を出力するように、モデルを作成すること。 教師あり学習との違いは連続した行動によって得られる報酬を最大化させるという点です。囲碁を考えた時、ある局面で悪手に見えた一手が、先々進めると実は良い手だった、といった場合のその一手を選択できるようにするのが強化学習になります。 Connect X と強化学
本ブログはマルチステージのVC、The Familyの投資家、Pietro Invernizzi（フレッド・ウィルソン）氏のブログ投稿「Mapping “The Future of Work” Startup & Investor ecosystem」を著者の許可を得て翻訳したものです。 最近の私は、周りの人たちと同じように、「未来の働き方」を形作る企業について考えたり、投資を検討したりして過ごしています。そのため投資家の友人から、今注目のスタートアップや面白い考察がないか尋ねられることが多くなりました。 いつもなら頭にぱっと思い浮かんだ注目企業を10社ほど挙げ、先日Merci Victoria Graceが公開した素晴らしい記事を合わせて紹介します。世界中のビジネス向けコラボレーションツールを提供するスタートアップを調べ、きれいにマップ化した記事です。CB Insightsの記事もおすす
こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装されたBERTモデルに量子化を適応する方法を紹介します。 量子化とは 量子化という単語は数学や物理など様々な領域で使われています。ここで述べる量子化は情報理論における量子化であり、主に連続値を離散値で表現することを考えます。 機械学習の枠組みで考えるとモデルのパラメータや学習時の勾配（場合によっては入力と出力データも含める）の数値表現を浮動小数点から整数に変更することを目的にします。 ディープラーニングではパラメータ等をfloat32で表現することが多いですが、もしこれ
はじめに たまには Rust も書きます。機械学習に興味があり、興味があれば何でも触ります。 smartcore とは とある Rust の機械学習に詳しい人に、最近の Rust の機械学習ライブラリのデファクトぽいのを聞いたところ、丁寧に linfa か smartcore を教えて貰いました。はじめに linfa を試したのですが、うまく行きませんでした。僕は Rust の toolchain で gnu(mingw) を使う派なのですが、linfa は Intel MKL をリンクする必要があり、Intel MKL は MSVC 形式のライブラリしか提供していません。DLL から .a を生成してリンクしてみたりもしましたが、結局うまくリンクできず諦めてしまいました。MSVC の toolchain や他の OS(Linux) だと問題なく動くんだと思います。 しかたなく、残りの s
Making JavaScript run fast on WebAssembly - Bytecode Alliance
JavaScript in the browser runs many times faster than it did two decades ago. And that happened because the browser vendors spent that time working on intensive performance optimizations. Today, we’re starting work on optimizing JavaScript performance for entirely different environments, where different rules apply. And this is possible because of WebAssembly. We should be clear here—if you’re run
A common refrain is that threads can do everything that async/await can, but simpler. So why would anyone choose async/await? This is a common question that I’ve seen a lot in the Rust community. Frankly, I completely understand where it’s coming from. Rust is a low-level language that doesn’t hide the complexity of coroutines from you. This is in opposition to languages like Go, where async happe
1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
線形計画法使ってあすけんで100点とってみた - asken テックブログ
Google Colab で はじめる Waifu Diffusion v1.2｜npaka
CSSでhoverアニメーションの実行をPCのみに制御する｜BLACKFLAG
フィッツの法則と、UXにおけるその応用
傾向スコアを用いた因果推論入門~実装編~ - 下町データサイエンティストの日常
ゲーミングCSSを作ってQiitaを光らせてみた - Qiita
ライス大学研究チーム、GPUを使わずにディープラーニングを高速化するアルゴリズムを開発
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
WasmLinux: LinuxカーネルをWebAssemblyにする
イシュー(タスク)管理ツール「Linear」をチームで1ヶ月ほど使ってみた ｜Tooon(トゥーン)
使える統計モデル10選（後編） | AIdrops
競プロのアルゴリズム関連略称まとめ - noshi91のメモ
Nature誌が選ぶ「科学を変革したコンピューター技術10選」
Announcing wasi-threads
Linux 6.4がリリース、Apple M2シリコンをイニシャルサポート | gihyo.jp
アジャイルでの開発体験をよくするための優れたツール集
GPT in 60 Lines of NumPy | Jay Mody
OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
パフォーマンステストツール「Ddosify」を使ってみた - JMDC TECH BLOG
【書評】『情報の哲学のために』 - 榎本の雑感
IFTTTのような自動化サービスまとめ - LESS
"没IE時代" のCSSプロパティが凄い - Qiita
拡散モデルで将棋の方策を学習する - TadaoYamaokaの開発日記
kaggleで強化学習をやってみた - 機械学習 Memo φ(・ω・ )
リモート時代到来：「未来の働き方」を作る海外スタートアップのカオスマップ | Coral Capital
BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録
Rust の機械学習ライブラリ smartcore に入門してみた。
Why choose async/await over threads?
Python(PyTorch)で自作して理解するTransformer