理化学研究所、LLMのための日本語データセット「AnswerCarefully」を公開
理化学研究所 革新知能統合研究センター言語情報アクセス技術チームの関根聡チームリーダーらの研究グループは、国立情報学研究所の呼びかけで発足したLLM勉強会の協力のもと、より安全で信頼性の高い大規模言語モデル（LLM）の実現を目指す日本語データセット「AnswerCarefully」を開発し、バージョン1.0を4月30日に公開した。Citadel AIは、同データセットの開発に協力している。 今回、バージョン1.0が公開されたAnswerCarefullyデータセットには、日本語で書かれた有害なコンテンツやバイアスが含まれるテキストデータと、それに対してLLMに求められる適切な回答例が収集されており、LLMの学習や評価に使用できる。 AnswerCarefullyデータセットをオープンソースで公開し、LLM開発者による研究用途、商業用途を問わない活用を可能にすることで、成果を広く社会に還元し
ローカル環境からコンテナやKubernetesを操作できるGUIツール「Podman Desktop 1.9」がリリース
今回、リリースされたPodman Desktop 1.9では、イメージまたはコンテナのtarアーカイブでの保存／復元が可能になった。また、KubernetesにおいてPodのターミナルに接続できるようになっている。 さらに、navigation APIへのnavigateToAuthenticationメソッドの追加や、extension APIのextensionContextにおけるシークレットの取り扱いの追加、認証セッションリクエストのみを備えた認証プロバイダサインインボタンの追加、WebViewにおけるrevealのサポートが行われるなど、数多くの機能追加・改善が行われた。 そのほか、デーモンレスのコンテナエンジンであるPodman 5.0.1がリリースされ、macOSにおいてQEMUに代わってApple Hypervisorが使われるようになったことから、パフォーマンスが向上する
Google Cloud、GPUに頼ることなくローカルのCPUとメモリ上でLLMの活用を可能にする「localllm」を公開
localllmは、コマンドラインユーティリティ経由でHuggingFaceから量子化モデルにアクセス可能なツールとライブラリのセットで、Google Cloud Workstation内にてCPUとメモリ上でLLMをローカル実行するための、包括的なフレームワークとツールを提供する。localllmの利用によって、GPUへの依存が排除されアプリケーション開発のニーズに合わせてLLMの可能性を最大限に引き出せる。 localllmでは、CPUとメモリ上でLLMを実行できるので、希少なGPUリソースが不要になり、パフォーマンスや生産性を損なうことなくLLMをアプリケーション開発ワークフローに統合することが可能になる。また、Google Cloudエコシステム内でLLMを直接使用できるため開発プロセスが合理化され、リモートサーバのセットアップや外部サービスへの依存にともなう煩雑さが軽減される。
東大松尾研発、ELYZAが商用利用可能な70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開
東京大学松尾研究室発のAIスタートアップ、ELYZAは8月29日、Metaが開発した大規模言語モデル（LLM）「Llama 2」に日本語の追加学習を行い開発した、70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」の一般公開を開始した。本モデルは、研究および商業目的での利用が可能。 「ELYZA-japanese-Llama-2-7b」は、Metaの英語ベースLLM「Llama-2-7b-chat」に対して、約180億トークンの日本語テキストで追加学習を行ったモデル。70億のパラメータ数は、公開されている日本語のLLMとしては最大規模になる。日本語の追加学習には、OSCARやWikipediaなどに含まれる日本語テキストデータが使用されている。 全部で4つのバージョンが公開されており、ELYZA独自の事後学習を施した「ELYZA-japanese-Llama
CIQ、Oracle、SUSE、Red Hat Enterprise Linux互換ソースコードの無料提供を目指す団体を設立
米CIQ、米Oracle、独SUSEは、Enterprise Linux（EL）ソースコードを無料提供することで、Red Hat Enterprise Linux（RHEL）と互換性のあるLinuxディストリビューションの開発を促進する業界団体、Open Enterprise Linux Association（OpenELA）を設立することを、8月10日（現地時間）に発表した。 OpenELAは、米Red Hatが最近、RHELのソースコード取り扱いに関する方向性の変更を発表したことを受けて設立され、3社は協力してRHEL互換ディストビューションのソースコード、ツール、システムを提供していく。 同団体は、コミュニティが同団体の提供するソースコードを無期限かつ継続的に利用できるようにすることを目的としており、RHEL 8／9、そして可能であればRHEL 7に重点を置き、2023年後半を目途
rinna、日本語に特化したGPT言語モデル2種類をオープンソースで公開
rinnaは「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指している。このビジョンの実現に向けて、AIりんなをはじめとしたAIキャラクターと人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供してきた。また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。 同社は、これまでに日本語に特化した13億パラメータのGPTなどを公開し、多くの研究・開発者に利用されているが、より利用の幅を広げられるよう日本語に特化した36億パラメータを持つ「汎用言語モデル」と「対話言語モデル」の2種類のGPT言語モデルをオープンソースで公開した。 「汎用言語モデル」は、日本語のWikipedia・CC-100 のオープン
Google、次世代の大規模言語モデル「PaLM 2」を発表
PaLM 2は、多言語、推論、コーディング機能を向上させた最先端の言語モデルで、100を超える多言語テキストにより重点を置いて学習しており、慣用句、詩、なぞなぞといったニュアンスを含む表現を数多くの言語で理解、生成、翻訳する性能を大幅に向上している。 学習に用いた広範なデータセットには、数式を含む科学論文やWebページが含まれているため、ロジック、常識に基づく推論、数学に関する能力が向上した。 さらに、公開されている大量のソースコードデータセットで事前学習を行ったことで、PythonやJavaScriptといったよく使われるプログラミング言語をはじめ、Prolog、Fortran、Verilogといった言語でもコードを生成できる。 Gecko、Otter、Bison、Unicornという4つのサイズが用意されており、Geckoは非常に軽量なのでモバイル端末での動作が可能であり、オフライン状
LLaMAのオープンソース実装OpenLLaMA、3000億トークンでトレーニングされたチェックポイントをリリース
OpenLM Researchは、米Meta AIが開発した大規模言語モデル「LLaMA（Large Language Model Meta AI）」のライセンスに基づく、オープンソースの大規模言語モデルOpenLLaMAのパブリックプレビューとなる「OpenLLaMA 7B」の、3000億トークンでトレーニングされたチェックポイントを、5月3日（現地時間）にリリースした。 今回リリースされた300Bチェックポイントは、既存の実装と広く互換性を持たせることを目的に、BOSトークンの影響を受けにくくしている。 トレーニングは、1.2兆を超えるトークンを含むLLaMAトレーニングデータセットを再現した、TogetherによるRedPajamaデータセットによって行われており、モデルアーキテクチャ、コンテキスト長、トレーニングステップ、学習率スケジュール、オプティマイザなど、元のLLaMAペーパ
CI/CDエンジン「Dagger」をPythonで操作可能に「Dagger Python SDK」が登場
米Daggerは、CI/CDエンジン「Dagger」の設定をPython言語で記述可能にする開発者キット（SDK）である「Dagger Python SDK」の提供を11月9日（現地時間）に始めた。DaggerはApache 2.0ライセンスで公開しているオープンソース・ソフトウェア。 Daggerはソフトウェアのビルド、テスト、デプロイなどの一連の作業、つまりCI/CDパイプラインをコードの形で表現可能にし、容易な操作でパイプラインを再現できるようにするツール。当初は設定の記述にGoogleが開発したCUE言語を使用していたが、汎用言語とは性格が大きく異なるため、使いやすいとは言えなかった。 そこで10月25日には、Daggerの設定をGo言語で記述可能にする「Dagger Go SDK」の提供を始めた。このときに、Daggerをほかの汎用言語に対応させるSDKを投入していくとしていた。
AWS、全世界から利用できるNTPサーバーを公開
米Amazon Web Servicesは、全世界から利用できるNTP（Network Time Protocol）サーバーを11月10日（現地時間）に公開した。同社は「Amazon Time Sync」という名称でEC2（Elastic Compute Cloud）インスタンスに時刻情報を送信するサービスを提供しているが、今回は時刻情報を送信する対象を全世界のコンピューターに拡大した。 AWSが提供を開始したNTPサーバーを利用するには、コンピューターの時刻設定で「time.aws.com」というNTPサーバーを参照するように設定すればよい。料金は発生しない。AWSはIoT端末や、オンプレミスのサーバーなど、AWSサービスと連携している端末で使用することで、AWSサービスと共通の時刻で運用できる利点があるとしている。 Amazon Time Syncは、衛星につながった原子時計を使用した
PyTorch向けライブラリ「TorchVision」に物体検出や動画分類などの機能が加わる
Python向け深層学習フレームワーク「PyTorch」を開発しているPyTorch Foundationは、PyTorch向けの画像処理ライブラリ「TorchVision」に新たな機能を加えていることを11月3日（現地時間）に明かした。新機能は現在プロトタイプとして提供しており、2023年第1四半期に正式版として提供することを予定している。 プロトタイプでは、物体検出や画像分類、動画分類に新たに対応した。さらに、画像内の任意の領域を指定するバウンディング・ボックスや、分類に使用するセグメンテーションマスクの機能も提供するようになった。さらに、画像のサイズ変更、トリミング、アフィン変換、パディングにも対応した。 そして、「MixUp」「CutMix」「Large Scale Jitter」「SimpleCopyPaste」「AutoAugmentation」といったデータ拡張手法を利用でき
軽量Linuxディストリビューション「antiX-22」が登場
Linuxディストリビューション「antiX」の開発チームは、最新バージョンである「antiX-22」を10月19日（現地時間）に公開した。antiXはDebianを基にしたLinuxディストリビューションで、古いハードウェアでも軽快に動作することが特徴。今回の新バージョンは「Debian 11 bullseye」を基にしている。 今回の新バージョンでは、Linuxカーネルをバージョン4.9.0-326に更新したほか、軽量ウィンドウマネージャー「IceWM」をバージョン3に、Webブラウザ「Firefox ESR」をバージョン102.3に、インターネット統合アプリケーション「SeaMonkey」をバージョン2.53.14に更新するなど、収録プログラムを更新した。 また、ターミナルから利用できるYouTubeプレイヤー「mps-youtube」は利用者が少ないため削除となり、モデムを制御する
イラストではじめる「Kubernetesってなに？」～Kubernetesが求められる背景と解決できる課題とは
本連載ではKubernetesの簡単な説明からはじまり、開発者の方にとってKubernetesを利用することで何が嬉しいのか、どのように開発フローが変わっていくのかについて、イラストを交えながら紹介します。今回は、Kubernetesとは何か、どんな特徴があるのかについて解説します。 はじめに はじめまして。サイボウズ株式会社のあおい（@_a0i）です。最近Kubernetesという単語を聞くシーンが増えてきましたよね。もともとインフラに関わっていなかった開発者の方でも、身近で聞くことが多くなってきたのではないでしょうか。 しかし、「最近Kubernetesについてよく聞くけれど、なんだろう？」「Kubernetesを使ってみたいけれど難しそう、どこから始めればいいかわからない」こう言った悩みを抱えている方もいると聞いています。本連載ではKubernetesの簡単な説明からはじまり、開発者
CentOS 7から他のRHEL派生ディストリビューションへの移行を支援する「ELevate」が登場
Red Hat Enterprise Linux（RHEL）の代替ディストリビューションの1つである、AlmaLinuxを開発しているAlmaLinux OS Foundationは、CentOS 7からAlmaLinuxを含む他のRHEL派生ディストリビューションへの移行をサポートする、「ELevate」を10月19日（現地時間）に発表した。 ELevateは、現時点でCentOS 7からAlmaLinux 8、Oracle Linux 8、Rocky Linux 8、CentOS Stream 8への移行に対応している。 ELevateでは、Red HatのユーティリティであるLeappに、いくつかのパッチをあてて使用しているほか、“パッケージ進化データ”と呼ばれるメタデータのpes-events.jsonなどを使用する。 なお、ELevateを用いた移行にあたっては、システムのバック
AWS、第6世代の汎用Amazon EC2インスタンスを提供開始
Amazon EC2 M6iインスタンスは、3.5GHzのオールコアターボ周波数を備えた最新世代のインテルXeonスケーラブルプロセッサ（コードネーム：Ice Lake）を搭載し、M5（第5世代）インスタンスと比較して、価格／パフォーマンスを最大15％向上している。 インスタンスサイズは128個のvCPUおよびメモリ512GB（m6i.32xlarge）で、ワークロードの統合とアプリケーションのスケールアップをより容易にし、コスト効率を高めた。また、M5インスタンスと比較して、最大20％メモリ帯域幅が向上し、Amazon Elastic Block Store（EBS）向けに最大40Gbps、ネットワーキング向けに最大50Gbpsが確保されており、メモリ暗号化が常時有効になっている。 Webサーバやアプリケーションサーバ、コンテナ化されたアプリケーション、マイクロサービス、小さなデータスト
Python IDE「PyCharm 2021.1」リリース、WSL2のサポートなど変更多数
「PyCharm 2021.1」では、Pythonインタプリタ用の新たなビルド済みインデックスによって、標準ライブラリのインデックス作成をより高速化している。 また、WSL2がサポートされており、プロジェクトをWindowsファイルシステムへコピーすることなく、WSLファイルシステムに保存されているプロジェクトをPyCharmで使用できるようになるとともに、WSLインタプリタの検出が可能になり、プロジェクトにWSLインタプリタが構成されていない場合は、システムインタプリタを探し、それをデフォルトとして自動設定する。 さらに、Pythonコードでモジュールやパッケージ名を参照して、使用できるモジュールメンバのリストを使用してコード補完を呼び出す際に、インポートステートメントを自動で追加するようになった。なお、コード補完時の自動インポートは、NumPyのnpやPandasのpdといった、一般的
Ubuntu公式派生ディストロの最新安定版「Ubuntu Budgie 20.04.2 LTS」がリリース
Ubuntu Budgieは、デスクトップ環境にSolusプロジェクトが開発しているBudgieを採用した、Ubuntuの公式派生ディストリビューション。 「Ubuntu Budgie 20.04.2 LTS」では、「ウェルカム」画面における翻訳の改善が行われたほか、xkb以外のレイアウトのキーボードアプレットへの表示、Spotifyカバーアートの表示、問題のあったChromeをベースにした通知の修正を含む、Budgie Desktopの修正が反映されている。 また、Budgie Extrasにおけるさまざまな修正や更新、Budgie Themes ＆ Layoutsにおける「Mojave」メイクオーバーの追加、既存のアプレット修正および新たなアプレットの追加、本家Ubuntuに対して行われた安定性の向上やバグ修正、最適化なども適用された。 なお、カーネルは「Ubuntu Budgie 2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stability AI、ノートパソコンで実行可能なコーディング用LLM「Stable Code 3B」をリリース
GNU／Linuxディストリビューション「Debian 11.6」が公開、カーネルをアップデート
CentOS代替を目指す「AlmaLinux」、最初の安定バージョンがリリース
