日本のウェブデザインの特異な事例
sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
Claude Code×Obsidianで作るナレッジベース開発環境 - YOUTRUST Tech Blog
この記事で得られること ✅ 30分の会議を5分で議事録化する自動化フロー ✅ 開発量を2.5倍に増やした具体的な環境構築方法 ✅ 情報検索を30秒以内に短縮するナレッジ管理術 ✅ PRレビューを10点満点で自動評価する設定 ✅ すぐに使えるCLAUDE.md設定テンプレートとスクリプト TL;DR Claude CodeとObsidianを組み合わせることで、議事録作成時間を66%削減、開発コントリビューションを2.5倍に増加させました。Tactiq→Google Drive→Obsidianの自動化フローと、AIに最適化されたナレッジベース構築により、マネジメント業務をこなしながらも効率的な開発を実現。本記事では実際の設定ファイルとワークフローを公開します。 こんにちは、YOUTRUSTでエンジニアリングマネージャーをしている須藤（YOUTRUST/X）です。AI爆速普及委員会の委員長と
the peculiar case of japanese web design a project that should not have taken 8 weeks how is japanese web design different? in this 2013 Randomwire blog post, the author (David) highlighted an intriguing discrepancy in Japanese design. While the nation is known abroad for minimalist lifestyles, their websites are oddly maximalist. The pages feature a variety of bright colours (breaking the 3 colou
【機械学習】機械学習を用いたin silico screening【AI創薬】~第4/5 章 予測モデルの作成~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
Note: See the accompanying GitHub repo for this blogpost here. ChatGPT has taken the world by storm. Millions are using it. But while it’s great for general purpose knowledge, it only knows information about what it has been trained on, which is pre-2021 generally available internet data. It doesn’t know about your private data, it doesn’t know about recent sources of data. Wouldn’t it be useful i
import cv2 import pickle from sklearn.model_selection import train_test_split from sklearn import datasets, svm, metrics from sklearn.metrics import accuracy_score def learn(): # データを読み込む --- (*1) digits = datasets.load_digits() x = digits.images y = digits.target x = x.reshape((-1, 64)) # 二次元配列を一次元配列に変換 --- (*2) # データを学習用とテスト用に分割する --- (*3) x_train, x_test, y_train, y_test = \ train_test_split(x,
Understanding GPU Memory 1: Visualizing All Allocations over Time – PyTorch
Blog Understanding GPU Memory 1: Visualizing All Allocations over Time During your time with PyTorch on GPUs, you may be familiar with this common error message: torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 512.00 MiB. GPU 0 has a total capacity of 79.32 GiB of which 401.56 MiB is free. In this series, we show how to use memory tooling, including the Memory Snapshot, the Memo
pickleモジュールを使用して、Pythonのオブジェクトを直列化／復元（pickle化／非pickle化、シリアライズ／デシリアライズ）する方法と、その際の注意点を紹介する。 import pickle favs = ['beer', 'sake'] mydata = {'name': 'かわさき', 'age': 999, 'weight': 123.4, 'favs': favs} # pickle化してファイルに書き込み with open('pickled.pkl', 'wb') as f: pickle.dump(mydata, f) # 非pickle化 with open('pickled.pkl', 'rb') as f: mydata2 = pickle.load(f) favs2 = mydata['favs'] print(mydata2) # 出力結果 # {'
Python + Selenium (Chromedriver)を使って、Webを巡回する仕組みを作ったりしています。 Webサイトにログイン、情報を読み取って保存、属性も併せて保存など、ひととおり自動化できて便利です。 しかしSeleniumは起動したその都度初期化され、状態は保存されません。 次の起動時にはログイン状態も初期化され、何度も繰り返しログインすることになるのです。 サイト側に不審なアクセスと判断されないかとか、心配になったりするわけです。 今回、TweetDeckで流れていくタイムラインの情報を保存、クラスタリングして遊べないかなと試行錯誤していたのですが、TweetDeckってログインするたびに「新しい環境からのログインがありました」とスマホに通知がくるので、心配になりました。その流れで、pickleを使うと簡単にcookieを保存しておくことができ、またそれをリストアす
【PCDUA】第1回 国土交通省 地理空間情報データチャレンジの戦い方を考える - たかいとの備忘録
はじめに 第1回 国土交通省 地理空間情報データチャレンジに関しては，以下をご参考ください． signate.jp 金融データ活用チャレンジでも実施していたように，今回もbaselineとなるようなnotebookを共有することができたらと思います． キックオフイベントにも参加させてもらいましたが，コンペ開催の目的など，とてもポジティブなものであり，コンペが盛り上がるといいなと思っております．（記事投稿の理由も少しでもコンペの活性化に貢献することを意識しており，最低限の実装とコンペを進める上で手詰まりを避けるためのアイデアをいくつか書かせていただきました．） 当該コンペはディスカッション（フォーラム）がなく，金融データ活用チャレンジでもbaselineコードなどの共有が少なかったため，コードを共有することにしました． また，ルールに書いてはありませんが，signateのコンペはたいてい前処
【Network pharmacology】化合物からの標的タンパク質予測【in silico 創薬】 - LabCode
Network pharmacologyとは？Network pharmacology（ネットワーク薬理学）は、漢方薬や機能性食品に含まれる複数の成分が、体内のさまざまな標的（タンパク質、遺伝子など）に同時に作用し、複雑な生理的効果をもたらす仕組みを「ネットワーク」として解析する手法です。 従来の薬理学が「1成分＝1標的」の考え方に基づいていたのに対し、ネットワーク薬理学は「多成分＝多標的＝多経路」の全体像をとらえます。たとえば、漢方薬「黄芩」に含まれるバイカリンなどの成分が、乳がんに関与する複数の遺伝子やシグナル経路に作用している可能性を、各種データベースを用いて可視化できます。 これにより、伝統的処方の有効性を科学的に裏付けたり、新たな疾病への応用可能性を探索したりすることができます。 Network pharmacologyの流れ成分取得：PubChemなど各種データベースを使って、
Technical Notes ▼ IDE ▼ IntelliJ PhysicalSimulation ▼ mechanics ▼ 質点の運動 DataMining ▼ 時系列データ分析 ▼ ホワイトノイズ（白色雑音） models ▼ GARCH モデル 自己回帰モデル（AR モデル） ARCH モデル DTW 見せかけの回帰 特異スペクトル変換 単位根過程 Shape-Based Distance (SBD) Piecewise Aggregate Approximation (PAA) 定常過程 ウェーブレット変換 geolocation ▼ GeoJSON Network ▼ ssl-server-certificate ▼ CSR ルート証明書 ネットワーク用語 Management ▼ 心理的安全性 オートクライン効果 QC 7つ道具 external-and-internal
Spotify で再生中の曲を定期的に YouTube Live のチャットに書き込む Now Playing Bot を作ってみた | DevelopersIO
はじめに テントの中から失礼します、CX 事業本部のてんとタカハシです！ YouTube Live で配信を行うことが私の日常なのですが、そんなに視聴してくれる方が多いわけでもないので、チャット欄が結構寂しいです。 そこで、Spotify で再生中の曲を定期的に書き込んでくれる Now Playing Bot を作ってチャット欄を賑わせてみました。 ソースコードは下記リポジトリに置いています。 GitHub - iam326/now-playing-bot-on-youtube-live デモ チャット欄がこんな感じになります。 前提条件 この Bot を動かすための前提条件は下記の通りです。 YouTube Live を配信可能なアカウントを所持していること YouTube Data API を使用するために必要な認証情報が作成済みであること Spotify Web API を使用するた
Windows のパソコンとIntelのGPUしか持ってない人がGPUで深層学習するにはどうしたらよいか【MATLABからTensorFlow/Kerasへ移行したい人必見】｜17ec084 平田智剛
Windows のパソコンとIntelのGPUしか持ってない人がGPUで深層学習するにはどうしたらよいか【MATLABからTensorFlow/Kerasへ移行したい人必見】 matlabのdeep learning toolboxを使って機械学習を始めてみたはいいが、 単一CPUで学習させるとどうしても時間がかかる。 具体的には、Inter(R) Core(TM) i5-10210U CPU @ 1.60GHzにてvgg16モデルを利用したCAEに、240x240x3の24bit bmp画像8枚分を学習させるのに1分弱かかる) 大学の先生に相談したところ、GPUを利用するとかしないと卒論間に合わないんじゃないの？ってことになったので、そのための道筋を考えてみた。 1. GPUとはCPUとは別の、画像処理に特化した演算装置。深層学習も画像処理も共に行列演算であるから、GPUは深層学習に相性
0. はじめに こんにちは、株式会社D2Cデータサイエンティストの董です。 D2Cでは、広告配信を効率よく効果よく行うために様々な機械学習モデルを活用しています。 今回の記事では、大規模テキストコーパスを用いた言語モデルの学習にあたり、学習データにある準重複文書の除外テクニックについてご紹介します。 1. 開発環境 AWS EC2 (インスタンスタイプ: r5.8xlarge) Python 3.10系 2. Pythonパッケージ transformers scikit-learn 3. 広告文の準重複問題 テキスト広告では、キャッチコピーや宣伝文を少しだけ修正して複数回配信し、その効果を測定することがよくあります。また、シリーズ商品の説明文を同じテンプレートに従って大量に作成することも一般的です。 それゆえに、広告文を収集してテキストコーパスを作ると、準重複サンプル、つまり完全には重複
必要なライブラリをインストールしておきます。 pip install llama_index llama_hubリンク先の一番下のコードをコピペします。 import pickle import os from llama_index import download_loader, GPTVectorStoreIndex download_loader("GithubRepositoryReader") from llama_hub.github_repo import GithubClient, GithubRepositoryReader docs = None if os.path.exists("docs.pkl"): with open("docs.pkl", "rb") as f: docs = pickle.load(f) if docs is None: github_cl
今回は、Google Colabで自作LLMの完成を目指す記事となります。 既成LLMをどのように使うかの記事を書いて来ましたが、LLMをどのように作るかの記事がなかったので今回書いてみることにしました。 GitHubに自作LLMを作っているページがありましたので、利用させて頂いております。 GitHubのこちらのページは凄く有益ですので、一度読んでみることをおすすめいたします。 今回は、上記ページのコードを参考に、Google Colabで実装していきます。 今回は、自作LLMを完成させてみようということを目的に書きますので、精度などは問題がありますが、記載のとおりGoogle Colabに貼り付けてもらえれば自作LLMの完成という成功体験を積むことに主眼を置いています。 ハイパーパラメータを変更すると考えることが増えるので、原則変更しない方向でいきます。 Google Colabのリソ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
the peculiar case of japanese web design - sabrinas.space
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
Tutorial: ChatGPT Over Your Data
Python AIプログラミング その1 環境構築、文字認識 - Qiita
［解決！Python］バイナリファイルを読み書きするには：pickle編
Python + Seleniumで何度もログインするのを避けたい - 日記とか、工作記録とか
mat - Eclipse Memory Analyzer
Locality Sensitive Hashingを用いた大規模コーパスの準重複文書排除
githubリポジトリをEmbeddingして質問に答えてもらう｜ニケちゃん
ゼロから始める自作LLM｜Masayuki Abe