CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
![ユーザーの質問からSQLクエリを生成するPython RAGフレームワーク「Vanna 0.0.31」がリリース](https://cdn-ak-scissors.b.st-hatena.com/image/square/9041418c3ec9055642a234948b29b244588d74ff/height=288;version=1;width=512/https%3A%2F%2Fcodezine.jp%2Fstatic%2Fimages%2Farticle%2F18908%2F12883_og.jpg)
東京大学松尾研究室発のAIスタートアップ、ELYZAは8月29日、Metaが開発した大規模言語モデル(LLM)「Llama 2」に日本語の追加学習を行い開発した、70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」の一般公開を開始した。本モデルは、研究および商業目的での利用が可能。 「ELYZA-japanese-Llama-2-7b」は、Metaの英語ベースLLM「Llama-2-7b-chat」に対して、約180億トークンの日本語テキストで追加学習を行ったモデル。70億のパラメータ数は、公開されている日本語のLLMとしては最大規模になる。日本語の追加学習には、OSCARやWikipediaなどに含まれる日本語テキストデータが使用されている。 全部で4つのバージョンが公開されており、ELYZA独自の事後学習を施した「ELYZA-japanese-Llama
「japanese-large-lm」は、同社が以前から取り組んでいる日本語の大規模言語モデル「HyperCLOVA」の研究開発プロジェクトと並行して、Massive LM開発ユニットにより開発された。 なお、本モデルのライセンスは、商用利用が可能な「Apache License 2.0」となっている。 同モデルの訓練には、同社独自の大規模日本語Webコーパスが利用され、Web由来のテキスト特有のノイズを除去するために、同社NLPチームのメンバーが開発したOSSの「HojiChar」によるフィルタリング処理が適用されている。また、最終的な学習には約650GBのコーパスが利用されている。加えて本モデルでは、「3D Parallelism」「Activation Checkpointing」などの手法を用い、学習を高速化している。 学習したモデルの性能評価には、Perplexityスコア(PP
AIによる画像・動画生成や自然言語処理など、ディープラーニングがより身近に まずは深層学習(ディープラーニング)の概要から。深層学習とは、大量のデータを機械に学習させることで、画像、動画、文章などの複雑なデータを解析できるようになる機械学習モデルだ。例えば「猫」や「犬」などのラベルがついた画像を大量に読み込ませる(学習させる)と、任意の画像で「猫」や「犬」と識別できるようになる。 この画像にあるのは猫か犬か? 画像ではなく文章を分析する際は、自然言語処理と呼ばれる。人間の言葉や文章をコンピュータに理解させる時に必要になる。この場合、大量の文章を入力したLanguageモデルから意味を学習していく。 自然言語処理はWeb検索、翻訳、音声アシスタントなど身近なところで活用されている。Gmailのスマホアプリを使っているなら見覚えがあるかもしれないが、メールで簡単な返信の候補を生成することもでき
近年、機械学習(ML)やディープラーニング(DL)といったAI関連技術をプロダクトへ応用し、新たな価値を生みだそうという動きが加速しています。その中で、従来の「DevOps」の考え方を、機械学習向けに発展させた「MLOps」という新しい概念が生まれ、注目を浴びています。MLOpsが注目される背景には、どのような課題があるのか。そして、実際に現場でMLOpsに携わる人々は、何を目指し、どんな取り組みを行っているのか。ヤフーとLaunchableで、それぞれMLOpsをリードしている2人のエンジニアに語っていただきました。 機械学習システムの普及を契機に関心が高まる「MLOps」 黒松:ヤフーの黒松です。私は大学時代に、ビッグデータを研究テーマにしており、OSSとして当時注目されていたHadoopなどを扱っていました。卒業後は富士通研究所に入り、基盤研究の一環として、機械学習のための基盤を作り
「spaCy 3.1」では、トレーニング中に予測ドキュメントに注釈を設定するパイプラインコンポーネントを指定できるようになり、パイプライン内の前のコンポーネントの予測を、後続のコンポーネントの機能として簡単に使用可能になっている。 また、任意の重複する可能性のあるテキストのスパンにラベルを付けられ、重複する場合と重複しない場合があるスパンの候補を提案するsuggester関数と、各候補の0個以上のラベルを予測するラベラーモデルで構成される、SpanCategorizerが追加された。 さらに、EntityRecognizerが既知の不正な注釈で更新できるようになり、部分的でスパースなデータを利用可能になったほか、カタロニア語の新たなコアファミリとdanish-bert-botxo重み付けを使用したデンマーク語の新しいトランスフォーマーベースのパイプラインなど、5つの新たなパイプラインパッケ
Amazon Redshift MLは、Amazon Redshiftクラスタから直接機械学習モデルを作成、トレーニング、デプロイすることが可能で、単純なSQLクエリを使用してモデルのトレーニングに使用するデータと、予測する出力値を指定することで、機械学習モデルを作成できる。 機械学習モデルの作成後は、指定されたデータをAmazon RedshiftからS3バケットへエクスポートし、Amazon SageMaker Autopilotを呼び出してデータを準備し、適切なビルド済みアルゴリズムを選択してトレーニングを行う。 トレーニングやコンパイルなど、関連するすべての処理が、Amazon Redshift、S3、SageMakerの連携によって行われ、モデルのトレーニングが完了すると、Amazon Redshift MLはSageMaker Neoでモデルをデプロイ用に最適化し、SQL関数と
AI活用サービスの選定、導入・活用を支援するコンシェルジュサービス「AI Market」を運営するBizTechは、AI開発会社やAIサービスをカテゴリ別にまとめた「AI開発会社/AIサービス カオスマップ2021」及び「カテゴリ別レポート」を5月13日に公開した。 同カオスマップでは、AI Marketが各社Webサイトやプレスリリース等の公開情報を元に調査を行い、独自の視点でAI開発会社およびAIサービスを以下のカテゴリに分け、掲載するもの。 受託等サービス系 AI開発会社(総合(画像認識・音声認識・自然言語処理・予測等)・エッジAI・医療/創薬系) アノテーション/データセット(総合・プラットフォーム) AI人材関連サービス(育成/研修・派遣/紹介/活用) ツール系 AI開発/活用プラットフォーム(総合・医療用) AI-OCR AIチャットボット レコメンド/Web接客 法務・知財関
画像の欠損補間 実世界の問題において、データが欠損していることが多々あります。そのような場合にも、スパースであるという仮定をうまく利用することで、データの欠損を補間することができます。 前回、画像の再構成について紹介したとき、自然画像をパッチに区切って辞書学習を行うと、各パッチは得られた辞書を用いてスパースに表現できることがわかりました。実はこの辞書とスパース表現は、学習画像に、ある程度欠損があったとしても、うまく求めることができるのです。 なぜ、そんなことが可能かというと、例えば100変数の連立方程式を考えたときに、式の数は100個あれば全ての変数の値を決定できます。データとして10000個方程式があったとしても、そのうちの1%だけを使って連立方程式を解くことができます。また、方程式の解がほとんど0であるとわかっている場合も少数の方程式から解が得られることが知られています。つまり、100
「Rodeo」は、Pythonでデータサイエンスを取り扱うためのIDEで、軽量なIPython Notebookとしても使える。なお、Yhatではかねてより「Rodeo」を内部的に使用していた。 IPython Notebookは、プレゼンテーションやチュートリアルには便利なものの、データサイエンスにおける日常的な作業に使うには大きすぎ、Sunlime TextやVIMといったエディタも、同様といえる。「Rodeo」は、オートコンプリート対応ターミナル、テキストエディタ、プロットの閲覧といった、データサイエンスでのデータ解析に最低限必要な機能を搭載して開発された。 ただし、ミニマルな環境でも動作するものの、軽量なPythonとしての使用では、パフォーマンスがわずかに劣る場合もある。 内部的には、UIとPython環境との通信を行うために、IPythonカーネルを使用する。エディタには、「R
Rは統計解析向けのプログラミング言語です。Rを使えばお手軽にデータ分析を行うことができ、その結果をレポートとして配布、公開することができます。さらに、その分析結果はShinyというRのパッケージを使えば、簡単に動的なWebレポートとして公開することができます。 このShinyを2回、前編/後編に分けて紹介します。前編となる今回は「環境構築編」として、Shinyで作ったWebレポートをローカルPCで照会する方法と、専用のShinyサーバーを用意してWeb公開する方法をご紹介します。後半となる次回は「アプリケーション作成編」として、具体的な例を挙げながら、実際のレポートの作り方をご紹介します。 What's Shiny? ShinyとはRのIDEであるRStudioの開発元のRStudio Inc.が開発しているRのパッケージです。Shinyを使うとRでの実行内容を簡単にWebアプリにすること
有効な分析結果を得るのに「ビック」なデータは本当に必要? ―― 普段はどのような活動を? 西内 ► 統計家として、いろんなデータ分析に携わっています。大きく分けると、自分が実際に手を動かすケースと、ユーザをデータ分析できるよう研修を行ったり、環境構築をヘルプしたりするケースがあります。最近では、分析ツールをスクラッチで作るような仕事が増えてきました。 ミック ► DBとSQLを主なフィールドとしているエンジニアです。自分でSQLを書いて分析などを行っていたこともあります。最近は、運用も含めたデータウェアハウスやBIシステムの設計を主にやっています。 ―― 最近多くの企業がビッグデータに取り組んでいます。データのエキスパートであるお二人の目に、この現状はどのように映っていますか? 西内 ► 皆さんが分析というところに向いたという意味では、すごくいい面がある一方で、そもそも「ビッグ」でなくては
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く