Wikipediaを元にした日本語の名寄せデータセットを作成しました - Sansan Tech Blog
こんにちは、DSOC 研究開発部の奥田です。以前の私のブログ記事ではコーギーの動画を見ていると書きましたが、とうとうコーギーを家族として迎え入れ、現在生後6ヶ月の子犬と暮らしております。 さて私たちDSOCでは、SansanやEightの価値を高めるために様々な自然言語処理のタスクに取り組んでおります。例えばニュース記事からの固有表現抽出では、私たちのサービスに特化した固有表現を対象に研究開発しています。その他にも様々あるなかで、特に重要かつ困難とされているものの一つに「名寄せ」というタスクがあります。AIや人工知能と呼ばれるものが発達した現代においても、人間には当たり前にできるタスクが機械には難しいことがまだまだ存在します。 今回は、その「名寄せ」というタスクにおける日本語でのデータセットを作成してみました。これをきっかけに、日本語での名寄せというタスクの研究が進み分野が活性化することを
無料で商用利用可能なオープンモデル「Mixtral 8x22B」が登場、高いコーディングと数学の能力を持つ
GoogleやMetaの研究者によって設立されたAIスタートアップのMistral AIが、オープンソースの大規模言語モデル「Mixtral 8x22B」をリリースしました。モデルはオープンソースライセンスのApache 2.0で提供されており、商用利用も可能となっています。 Cheaper, Better, Faster, Stronger | Mistral AI | Frontier AI in your hands https://mistral.ai/news/mixtral-8x22b/ Mixtral 8x22Bのモデルは4月10日に公式Xアカウントにて公表・配布されていましたが、詳細な情報は不明となっていました。今回はMixtral 8x22Bモデルについての公式リリースが発表されたというわけです。 Mistral AIが突如として新しい大規模言語モデル「8x22B MOE
この本を読んだら、Stable Diffusionで画像生成を思い通りにできるようになった！ かなりお勧めの解説書です -Stable Diffusion画像生成［本格］活用ガイド
※本ページは、アフィリエイト広告を利用しています。 「はじめてでもここまでできる」の本書タイトル通り、読んで3時間ほどでStable Diffusionの画像生成を思い通りにできるようになりました！ Stable Diffusionでどんなことができるのかは知っていましたが、実際に自分のPCにセットアップし、プロンプトによる画像生成をはじめ、色塗り指定や画風指定、キャラをAIに学習させての画像生成までできました。Stable Diffusion初心者の人にお勧めの解説書を紹介します。 また、少しやってみたけどTextual InversionやControlNetやLoRAなどがうまく使えない、そんな人にもかなりお勧めです。 本書は「はじめてでもここまでできる」というタイトル通り、初心者向けの解説書です。そして「本格活用」とあるように、ただ使えるようになるだけでなく、塗りの書き込み感、色塗
AIの需要増加によりデータセンターの消費電力が爆増してAI開発のボトルネックになっている
近年は大手テクノロジー企業が生成AIツールの開発に多額の投資を行っており、AI用データセンターの建築プロジェクトが世界各国で進められています。ところが、AIバブルによってデータセンターの消費電力が急激に増加しており、電力供給の問題がAIの成長を脅かすボトルネックになっていると経済紙のフィナンシャル・タイムズが報じています。 Booming AI demand threatens global electricity supply https://www.ft.com/content/b7570359-f809-49ce-8cd5-9166d36a057b 実業家のイーロン・マスク氏は2024年4月、X(旧Twitter)のスペースで行われたインタビュー内で、2023年のAI開発はチップの制約を受けていたものの、今後1～2年でAIに制約をかけるのは「電力供給」だという見解を示しました。Ama
PandasからPolarsへ移行した方がいいのか - Qiita
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
マイクロソフトのＡＩツール､Copilotがもたらすコーダーの働き方改革
A pedestrian walks past the GitHub Inc. offices in San Francisco, California, U.S., on Monday, June 4, 2018. Photographer: Michael Short/Bloomberg ソフトウエア開発者のニコライ・アフテニーブ氏は2021年、米マイクロソフトが提供するコーディングアシスタント「Copilot（コパイロット）」のプレビュー版を手にし、すぐにその可能性を実感した。 マイクロソフトのコーディングプラットフォーム「GitHub（ギットハブ）」で開発され、米オープンＡＩが提供する生成ＡＩ（人工知能）をベースにしたCopilotは、完璧ではなく、時には間違えることもあった。しかしチケット販売会社スタブハブで働くアフテニーブ氏は、わずかなプロンプトで見事にコード行を完成させたこと
落合陽一がNotionで実践する｢共有知｣の活用法 | Notion | 東洋経済オンライン
生成AIサービスの活用によって生産性を劇的に改善させた企業がある一方で、期待した成果を得られずに結局使わなくなってしまったという事例も多い。明暗を分けるのは何か。いち早く生成AIを実装したコネクテッドワークスペース「Notion」の日本法人であるNotion Labs Japan ゼネラルマネジャー アジア太平洋地域担当・西勝清氏と、研究室や経営する会社でNotionを使っている落合陽一氏に、生成AIサービス活用について語り合ってもらった。 生成AI「使う人、使わない人」で生じるギャップ ――日本における生成AIサービスの活用状況をどのように見ていますか。 西 新しいテクノロジーは時折登場して世間を驚かせますが、今回のLLM（※1）については、当初、日本の大企業や官庁の反応は非常によかったと思います。ところが、それは初速のみ。今では海外のほうが活用が進んでいる印象です。 ※1 生成AIの種
InstagramとFacebookで有名人が画像を改変されたAIディープフェイクポルノ事件をMetaの監督委員会が調査へ
by Budiey 2024年4月16日、Metaのプラットフォーム上で削除されるコンテンツについて監視を行う第三者組織の監督委員会がFacebookとInstagramで起こったディープフェイクポルノに関する事例2件について調査を開始したことを明らかにし、「Metaのポリシーと施行慣行がディープフェイクポルノに対処するのに効果的かどうかを評価する」と発表しました。 Oversight Board Announces Two New Cases on Explicit AI Images of Female Public Figures | Oversight Board https://www.oversightboard.com/news/361856206851167-oversight-board-announces-two-new-cases-on-explicit-ai-ima
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
Retrieval-based LM (RAG system) ざっくり理解する
自分用の整理・勉強会用として作成した解説資料です。内容の正確性については保証しかねますので必ず論文を参照してください。誤りや引用漏れ等がありましたら @catshun_ までご指摘いただけますと幸いです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今日話した大学生の授業の受け方、生成AIの技術をフルに使ってて隔世の感がある→賛否両論さまざまな意見が集まる
「Edge」の更新で珍現象、「Microsoft Copilot」を名乗るアプリが勝手にインストール（？）される【4月23日追記】／Microsoftが手違いを認める。v124.0.2478.51で状況は緩和
博報堂、「別人格」AIが商品企画議論 わずか10分で - 日本経済新聞