日本のウェブデザインの特異な事例
sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
the peculiar case of japanese web design a project that should not have taken 8 weeks how is japanese web design different? in this 2013 Randomwire blog post, the author (David) highlighted an intriguing discrepancy in Japanese design. While the nation is known abroad for minimalist lifestyles, their websites are oddly maximalist. The pages feature a variety of bright colours (breaking the 3 colou
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Edge AI Just Got Faster
When Meta released LLaMA back in February, many of us were excited to see a high-quality Large Language Model (LLM) become available for public access. Many of us who signed up however, had difficulties getting LLaMA to run on our edge and personal computer devices. One month ago, Georgi Gerganov started the llama.cpp project to provide a solution to this, and since then his project has been one o
【Python】新潟県に一番似ている国は○○？各都道府県に似た形の国を調べてみた - ENGINEERING BLOG ドコモ開発者ブログ
はじめに この記事はNTTドコモアドベントカレンダーの4日目の記事です。 こんにちは、NTTドコモサービスイノベーション部の福島です。 こちらの日本地図、おかしなところがあります。気づきますでしょうか。正解は少し下にあります。 話は変わりますが、以前テレビを見ていると「日本地図の四国をオーストラリアに変えても気づかないのでは？」という検証をやっていました。 また、パスタが名物の群馬県高崎市の特集番組では、市の形もパスタの本場のイタリアと似ているというトリビアが紹介されていました。 名前は知っていても国の形までは知らない国って結構あるな、各都道府県の形に似ている国って知らないだけで実はあるんじゃないかな、と気になったので調べてみます。 冒頭の日本地図ですが、正解は九州の各県が別の国のシルエットに置き換えられていました。 実現方法 図形の形の類似度を数値化するライブラリが無いか調べてみると、最
Note: See the accompanying GitHub repo for this blogpost here. ChatGPT has taken the world by storm. Millions are using it. But while it’s great for general purpose knowledge, it only knows information about what it has been trained on, which is pre-2021 generally available internet data. It doesn’t know about your private data, it doesn’t know about recent sources of data. Wouldn’t it be useful i
Getting started What is NumPy? Installation NumPy quickstart NumPy: the absolute basics for beginners Fundamentals and usage NumPy fundamentals NumPy for MATLAB users NumPy tutorials NumPy how-tos Advanced usage and interoperability Using NumPy C-API F2PY user guide and reference manual Under-the-hood documentation for developers Interoperability with NumPy Extras Glossary Release notes 2.5.0 2.4.
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
【PCDUA】第1回 国土交通省 地理空間情報データチャレンジの戦い方を考える - たかいとの備忘録
はじめに 第1回 国土交通省 地理空間情報データチャレンジに関しては，以下をご参考ください． signate.jp 金融データ活用チャレンジでも実施していたように，今回もbaselineとなるようなnotebookを共有することができたらと思います． キックオフイベントにも参加させてもらいましたが，コンペ開催の目的など，とてもポジティブなものであり，コンペが盛り上がるといいなと思っております．（記事投稿の理由も少しでもコンペの活性化に貢献することを意識しており，最低限の実装とコンペを進める上で手詰まりを避けるためのアイデアをいくつか書かせていただきました．） 当該コンペはディスカッション（フォーラム）がなく，金融データ活用チャレンジでもbaselineコードなどの共有が少なかったため，コードを共有することにしました． また，ルールに書いてはありませんが，signateのコンペはたいてい前処
dlshogiのPyTorch Lightning対応 - TadaoYamaokaの開発日記
dlshogiの学習は、PyTorchを使用して、モデルの訓練処理を独自に実装していた。 マルチGPUによる分散学習に対応させようと考えているが、独自に実装するより、PyTorch lightningに対応させた方が実装が楽になるため、dlshogiをPyTorch Lightningに対応させたいと考えている。 まずは、訓練の基本部分の実装を行った。 PyTorch Lightning CLI ボイラープレートをできるだけ削除するため、PyTorch Lightning CLIを使用して実装する。 PyTorch Lightning CLIを使用すると、コマンド引数のパース処理など含めて自動で行ってくれる。 起動部分の処理は以下のように記述するだけでよい。 def main(): LightningCLI(Model, DataModule) if __name__ == "__main
Spotify で再生中の曲を定期的に YouTube Live のチャットに書き込む Now Playing Bot を作ってみた | DevelopersIO
はじめに テントの中から失礼します、CX 事業本部のてんとタカハシです！ YouTube Live で配信を行うことが私の日常なのですが、そんなに視聴してくれる方が多いわけでもないので、チャット欄が結構寂しいです。 そこで、Spotify で再生中の曲を定期的に書き込んでくれる Now Playing Bot を作ってチャット欄を賑わせてみました。 ソースコードは下記リポジトリに置いています。 GitHub - iam326/now-playing-bot-on-youtube-live デモ チャット欄がこんな感じになります。 前提条件 この Bot を動かすための前提条件は下記の通りです。 YouTube Live を配信可能なアカウントを所持していること YouTube Data API を使用するために必要な認証情報が作成済みであること Spotify Web API を使用するた
Windows のパソコンとIntelのGPUしか持ってない人がGPUで深層学習するにはどうしたらよいか【MATLABからTensorFlow/Kerasへ移行したい人必見】｜17ec084 平田智剛
Windows のパソコンとIntelのGPUしか持ってない人がGPUで深層学習するにはどうしたらよいか【MATLABからTensorFlow/Kerasへ移行したい人必見】 matlabのdeep learning toolboxを使って機械学習を始めてみたはいいが、 単一CPUで学習させるとどうしても時間がかかる。 具体的には、Inter(R) Core(TM) i5-10210U CPU @ 1.60GHzにてvgg16モデルを利用したCAEに、240x240x3の24bit bmp画像8枚分を学習させるのに1分弱かかる) 大学の先生に相談したところ、GPUを利用するとかしないと卒論間に合わないんじゃないの？ってことになったので、そのための道筋を考えてみた。 1. GPUとはCPUとは別の、画像処理に特化した演算装置。深層学習も画像処理も共に行列演算であるから、GPUは深層学習に相性
大規模言語モデル RWKV-worldで学習で巨大なデータ(学会の予稿集のpdf)をファインチューニング(LoRA)する｜Kan Hatakeyama
概要学会の予稿集のような､大規模な文章(pdf)データを大規模言語モデルに学習させてみます 1.5 M tokenほどあります モデルは､学習と出力が高速なRWKVにしました 他のタスクでGPUリソースを使っているので､0.1B/ 1.5Bモデルでのお試しです 1.5Bは学習時にVRAM 7GBほど使います 執筆時､日本語最強のオープンLLMと謳われるRWKV-4-World-JPNtunedが本命ですが､7bを動かせるGPUが空いていなかったので､小さいモデルで試しています 前提: pdfデータの処理LLMとは直接関係がありませんが､一般論として､テキスト学習にはデータの前処理が必要です｡ 今回は､数百MBのpdfデータとして存在する学会の予稿集をきれいなテキストに変換しました｡ まずは､巨大すぎるpdfを分割しておきます｡ #pdfの分割 import os from PyPDF2 i
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
今回は、Google Colabで自作LLMの完成を目指す記事となります。 既成LLMをどのように使うかの記事を書いて来ましたが、LLMをどのように作るかの記事がなかったので今回書いてみることにしました。 GitHubに自作LLMを作っているページがありましたので、利用させて頂いております。 GitHubのこちらのページは凄く有益ですので、一度読んでみることをおすすめいたします。 今回は、上記ページのコードを参考に、Google Colabで実装していきます。 今回は、自作LLMを完成させてみようということを目的に書きますので、精度などは問題がありますが、記載のとおりGoogle Colabに貼り付けてもらえれば自作LLMの完成という成功体験を積むことに主眼を置いています。 ハイパーパラメータを変更すると考えることが増えるので、原則変更しない方向でいきます。 Google Colabのリソ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
the peculiar case of japanese web design - sabrinas.space
Tutorial: ChatGPT Over Your Data
NumPy 2.0.0 Release Notes — NumPy v2.5.dev0 Manual
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場
ゼロから始める自作LLM｜Masayuki Abe