The world wastes a minimum of $100M annually due to inefficient string operations. A typical codebase processes strings character by character, resulting in too many branches and data-dependencies, neglecting 90% of modern CPU's potential. LibC is different. It attempts to leverage SIMD instructions to boost some operations, and is often used by higher-level languages, runtimes, and databases. But

クローリング監視の必要性 ウェブサイトのクローリングは、インターネット上の情報を自動的に収集する方法です。機械学習の文脈では、言語モデルや辞書作成などのデータの収集に欠かすことができません。必要な質および量のデータを収集するためには、定期的かつ大規模なクローリングが必要となります。 さて、クローリングを実装し運用する上で問題となるのが、エラーの対応です。インターネットを通じてウェブページをクローリングする際には、以下のような問題が偶発的に発生します。 ネットワーク的な問題でリクエストがタイムアウトする リクエスト先のサーバの問題で、正常にHTMLが読み込まれない ウェブページの構造が変わってしまい、意図した抽出処理が失敗する 上の2つは実行時の外部環境に起因するため時間を空けたり再実行することで解決することがありますが、最後の1つは外部環境の変化に対して自身のコードが対応できていない問題で

はじめに こんにちは、D2Cデータサイエンティストの小林です。 本記事では、Pythonによるハッシュの扱い方とハッシュを用いることで使用するメモリの削減ができるのかを検証します。 ハッシュについては簡単な紹介のみとなりますので、ハッシュについて深く知りたい方は他の記事を参考していただければと思います。 開発環境 検証において以下の環境を使用しました。 AWS EC2 (インスタンスタイプ: r5.2xlarge) Python 3.10系（3.10.9） pandas 1.5.1 memory_profiler 0.61.0 hashlib 3.10系で提供されているモジュール random 3.10系で提供されているモジュール string 3.10系で提供されているモジュール ハッシュとは ハッシュとは、あるデータから特定のアルゴリズムに基づいて不規則な文字列(値)を求めることです。

Kaggle GrandMaster になったら振り返りを書くという風習があるらしい。検索するとたくさん出てきてどれも面白い (yu4u さんの振り返り, and references therein.) 機械学習で競う Kaggler と一口に言ってもテーブルデータに強い人、画像に強い人、なんでも強い人、AtCoder も強くてアルゴリズムと実装に強い人などいろいろいる。私は物理に強い（そしてそれ以外はそんなにできない）人というちょっとマイナーな GrandMaster になった。 テキサス大学で宇宙物理の数値計算で PhD をとり、3年任期のポスドクとして世界を転々として、2019年はローマにいた。研究が冴えないので、大きなプロジェクトでコードを書いて支援するという仕事をしていたけどよくある職ではないので機械学習をオンライン講座で学んだりしていた。自分で実際に使ってみないと身につかない

MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enablement Workshop の内容や提供の経緯をお話しした資料です。 ML Enablement Workshop は GitHub で公開しています。 https://github.com/aws-samples/aws-ml-enablement-workshop MLOps 勉強会での発表資料です https://mlops.connpass.com/event/290277/

こんにちは！スマートバンクでSREをしている @maaaato です。 今回はスマートバンクが提供するB/43の裏側にAmazon SageMaker Studio（以下SageMaker Studio）の利用を開始したのでSageMaker Studioにまつわる話をしたいと思います。 筆者はこれまでにMLOpsの運用は行った経験がなく初めての試みでした。同じくSageMakerの構築・運用も初めてだったためいくつか悩んだポイントがありました。 特にSageMakerにはいろんな機能がありどれを使うのがベストなのか迷ったり、MLOpsを設計するにあたり、AWS Step Functions（以下Step Functions）を採用している事例などもあることからAmazon SageMaker Studio Pipelinesとどちらがベストなのか？Step Functionsとの違いはな

3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: ICLR 2020 Subjects: Machine Learning (cs.L

Photo by Mariia Shalabaieva on UnsplashBackgroundAllowing non-technical users to ask questions from a database has been a problem of interest in academia and industry for years. The recent advances in Large Language Model (LLM) technology, such as GPT-4, have improved the accuracy of proposed solutions. However, since the most advanced LLMs have not been open for fine-tuning, recent work in the sp

【10/6,7開催】第1回「生成AIパスポート試験」の受験申込を受付開始1企業・団体あたり10名以上の団体受験に関する申込も受付開始 生成AIを社会に実装し、産業の再構築を目指す一般社団法人生成AI活用普及協会（理事長：井畑 敏、所在地：東京都千代田区、英称：Association to Generalize Utilization of Generative AI、以下：GUGA）は、生成AIに関する基礎知識や簡易的な活用スキルの習得を可視化するための資格試験「生成AIパスポート」の第1回試験の受験申込を2023年9月1日（金）12:00より受付開始いたします。第1回試験は、2023年10月6日（金）10:00〜10月7日（土）17:00の間、ご希望の日時にて受験いただけます。 ■ 生成AIパスポートとは 生成AIパスポートは、生成AIに関する基礎知識や簡易的な活用スキルの習得を可視化す

科学技術大国日本──今、その足元が揺らいでいる。内閣府「科学技術指導2023」によれば、ここ10年ほどで出された論文数は世界全体で急増しているものの、日本ではほぼ横ばい状態。そのため2000年から2010年までの10年間と比べ、シェアの割合が減り、ランクを1つ落としてしまっている。「Science」や「Nature」といった著名な科学ジャーナル誌での論文数シェアも低い。 一方、生成AIの出現によって、業務効率化を図る企業や自治体などが増えつつある。教育・研究機関でも同様に恩恵を受けられそうだが「現状、日本の論文数は増えていない」と、研究活動の支援事業を手掛けるカクタス・コミュニケーションズ日本法人（東京都千代田）の代表取締役である湯浅誠さんは話す。 なぜ日本の論文数は増えないのか。生成AIはその救世主になり得ないのか。日本の教育・研究機関の現状を探る。

生成AIへのプロンプト入力時に問題となる個人情報保護法の論点をまとめました。 本稿作成時点(2023年9月1日)における見解であり、今後、個情委が公表する内容等によって内容はアップデートする可能性がある点についてご留意ください。 プロンプト入力時における個人情報保護法論点フローチャート 生成AIにプロンプトを入力するにあたり、個人情報保護法（個情法）上問題となり得る点をフローチャートにしてみました。 白色の帰結は、個情法に抵触せずに利用できる可能性が高い場合です。他方でグレーの帰結は、個情法に抵触するか（目的外利用）、本人（プロンプトに含まれる個人情報の主体）からの同意取得が必要になるため、適法に利用するためには一定の困難が生じる可能性がある場合です。以下、①から順番に解説していきます。 ①入力するプロンプトは個人情報か 入力するプロンプトが個人情報にあたらなければ、原則として個情法の問題

生成AIの自社ルールの作り方　米AP通信の例　「“何をさせないか”を明らかに」：事例で学ぶAIガバナンス（1/3 ページ） 生成AIの普及により、自らのビジネスにおいても、この新しい技術を活用しようとする企業が増えている。それに伴い、社内のユーザーに向け、自社独自のガイドラインやルールを制定する動きも見られるようになってきた。ではそうしたルールがどのような内容になっているのか。大手通信社の米AP通信の例を見てみよう。 OpenAIと最初に提携した報道機関 1846年創設と長い歴史を持つAP通信だが、一方でテクノロジー活用にも積極的なことで知られ、AIを利用した記事の自動作成にも取り組んでいる。AP通信は7月、話題の生成AI「ChatGPT」の開発会社・米OpenAIとの提携を発表した。これによりAP通信は、主要な報道機関の中でOpenAIと提携した初の存在となった。 AP通信のプレスリリー

Stable Diffusionの画像生成を画像によって条件づける方法をまとめていきます。といっても実装とかを全部見たわけではないので、多少間違っている部分もあるかもしれませんが、まあイメージはあってるっしょ。 手法の分類　画像の情報をUNetのどこに与えるかによって手法を分類します。とりあえず5つに分けてみました Cross Attentionに与える：Prompt Free Diffusion, PFG, IP-Adapter Self Attentionに与える：Reference only, FABRIC Time embeddingに与える：UnCLIP, Revision その他の場所に与える：ControlNet, GLIGEN, T2I-Adapter LoRAの重みを学習する：HyperDreambooth あれ・・？もしかしてこの時点でたいていの人は脱落ですか。この辺の

まとめ ちいかわ 非公式まとめ イラストレーター・ナガノさん(@ngntrtr)が描くTwitter発の漫画「ちいかわ」シリーズ(@ngnchiikawa)のツイートを勝手にアーカイブ ●ストーリーごとにまとめたバージョン https://togetter.com/li/1710977 ●その他のナガノ作品まとめ https://togetter.com/li/1569160 ●「もぐらコロッケ」シリーズ https://togetter.com/li/1569814 ※ファンによる非営利の個人的なまとめです(問題がありましたらご連絡ください) 24288805 pv 1377 110 users 138

250以上の記事が全て読み放題。AGIラボはGPTs Difyなど、最前線のAI活用情報に特化したマガジン・コミュニティです。実践的なプロンプトを含む記事で得られる知見で業務の効率化、自動化から創造的なプロジェクトまですぐに活用可能。生成AI革命の最前線をお届け。

ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ

カメラ好き機械学習エンジニアの@yktm31です。 最近、デザインツールのCanvaが、気になって色々試しています。 そこで今回、ChatGPTとCanvaを使って、どれだけ簡単にきれいなスライドを作れるか試してみました。 Canvaとは Canvaは、簡単にスタイリッシュなスライドや画像等を作成できる、デザインツールです。 テンプレートや素材が豊富にあり、デザイン知識がなくても、質の高いコンテンツを作ることができます。 基本的に無料で使えるのですが、有料契約（Canva Pro）にすると、生成AIでさらに強力にデザインをサポートしてもらえます。 今回利用するのは、「Docs to Decks」と「Text to Image」という機能です。 それらの機能を利用すれば、文章から簡単にデザインを作成することができます。 ただ今回は、そのデザインのベースとなる文章自体も、ChatGPTで自動生

X Daily News @xDaily Your #1 News source on everything 𝕏 + xAI | Contributors: @HXMnCK, @LohanSimpson @xUpdatesRadar and @swak_12 I | Hit Follow and sign up for notifications! 🔔 X Daily News @xDaily NEWS: X’s updated Privacy Policy has added a mention of using X data to train AI models 👀 pic.twitter.com/Bn5YyoeHjq

ChatGPTによるメンバーで構成された仮想のソフトウェア会社にシステム開発を行ってもらうChatDEVが結構おもしろかった。 ChatDEVは、ChatGPTによってCTOやプログラマー、レビュアー、テスターといった役割をもつエージェントをやりとりさせることでソフトウェア開発を自動化しようという試みの実装です。 https://github.com/OpenBMB/ChatDev アイデアは論文にまとまっていて、こちらで概要が翻訳されています。 [LLM 論文]アプリ全自動開発"ChatDev"の日本語訳｜すめらぎ 使い方としては、とりあえずClone git clone https://github.com/OpenBMB/ChatDev.git そして依存モジュールのインストール cd ChatDev pip3 install -r requirements.txt あと、OpenA

キングによれば、人間の作家であっても、うまく書こうと思えば読者になる必要がある。他人の作品をコンピューターにアップロードすること、つまり彼の言うところの｢最先端のデジタル・ブレンダー｣は、AIにより良い芸術を生み出す方法を教えることができるだろう。 今のところ、AIの創造性は人間の精神力には及ばないと現在75歳の彼は書いている。彼はAIが生成した詩を｢映画のお金（一見すると良いが、よく見るとそれほど良くない）｣に例えた。 作家仲間のマーガレット・アトウッド（Margaret Atwood）とジェームズ・パターソン（James Patterson）は、8000人を超える他の作家とともに、自分たちの作品がAI企業に無断で使用されたことに対する補償を求める公開書簡に署名した。この書簡は7月、OpenAIのサム・アルトマン（Sam Altman）、メタ（Meta）のマーク・ザッカーバーグ（Mark

米X（旧Twitter）が9月29日に発効させするプライバシーポリシーの改定で、公開データをAIのトレーニングに使うことを新たに追加していたことが明らかになった。米IT系ブログStackdiaryが9月1日に指摘した。 日本語版では、「本ポリシーで概説されている目的のため、当社が収集した情報や一般公開された情報を、機械学習または人工知能モデルのトレーニングに使用することがあります。」となっている。 この件について、XのオーナーでCTO（最高技術責任者）のイーロン・マスク氏は「（トレーニングに使うのは）公開データだけで、DMやプライベートなものは対象外だ」とポストした。 マスク氏は7月、“スーパーインテリジェントAI”構築を目指して立ち上げる新企業ｘAIで、xAIのAIモデルのトレーニングに、Twitterの公開データを利用すると明言している。xAIのWebサイトには、「当社はX Corpと

Inside YouTube Our principles for partnering with the music industry on AI technology By Neal Mohan, Chief Executive Officer, YouTube Aug 21, 2023 – minute read Today, ​​AI is moving at a pace faster than ever before. It’s empowering creativity, sparking new ideas, and even transforming industries. At this critical inflection point, it’s clear that we need to boldly embrace this technology with a

東京・渋谷の街中にAIカメラを100台設置し、通行人が「どこで何をしたか」の行動履歴を収集する――。そんなIT企業の取り組みが、SNS上で物議をかもしています。 渋谷でAIカメラ100台設置、IT企業の取り組みが物議（画像はニュースリリースから） 物議をかもしているのは、ITベンチャー・Intelligence Design（東京都渋谷区）による「渋谷100台プロジェクト」。同社はこれまで、商業施設や交通管理会社と連携し、渋谷のセンター街や宮下パークなどにAIカメラを設置してきました。同プロジェクトでは、7月から渋谷駅周辺に100台のカメラの設置を進め、リアルタイムで利用者の人流データを取得。集めたデータは「より多くの事業者に利用いただくことを目指します」としていました。 同社はAIカメラが100台あると「通年の行動データがリアルタイムで蓄積」されると説明。その一例として、渋谷を訪れる人の

2023年9月1日で関東大震災の発生から100年目を迎えた中、NHKが「NHKスペシャル　映像記録　関東大震災　帝都壊滅の三日間」を前後編で、9月2日午後10時、3日の午後9時から2連続で放送する。災害発生当時の記録映像を高精細・カラー化することで、新たに判明した撮影場所、撮影時刻に加え、生存者の証言音声、科学的知見も駆使しながら、巨大災害を追体験する内容となっている。 関東大震災は、東京が被害を受けた大規模自然災害として多く語り継がれてはいるが、100年前ということもあり記録映像は少なく、しかも残っているフィルムは記録映画としてツギハギの編集が施されたものが多いという。このため、撮影場所の正確な位置や時間など不明なものが多く、災害発生後の街の様子と人々がどのように行動してきたかを振り返りづらかったという。 そこで、国内に1台しかない8K対応フィルムスキャン機で、国立映画アーカイブに保管さ

AIの人気が高まる中、「stability.ai」のように「.ai」というトップレベルドメインを用いたドメイン名を見かけることが増えました。「.ai」はイギリス領のアンギラに割り当てられたccTLDで、アンギラは「.ai」の登録だけで毎年数十億円の利益を得ています。 2022 Budget (PDFリンク)http://www.gov.ai/documents/finance/2022%20Budget.pdf AI Startups Create Digital Demand for Anguilla's Website Domain Name - Bloomberg https://www.bloomberg.com/news/articles/2023-08-31/ai-startups-create-digital-demand-for-anguilla-s-website-dom

画像生成AIにイラストや写真を学習させることを防ぐため、「Mist」などを使って画像に敵対的サンプルと呼ばれるノイズを入れる方法があります。この敵対的サンプルによるノイズを画像から除去するためのツール「AdverseCleaner」が登場しています。 GitHub - lllyasviel/AdverseCleaner: Remove adversarial noise from images https://github.com/lllyasviel/AdverseCleaner AdverseCleanerはHugging Faceで公開されており、実際に試してみることができます。 AdverseCleaner - a Hugging Face Space by p1atdev https://huggingface.co/spaces/p1atdev/AdverseCleaner 今