並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 149件

新着順 人気順

学習用の検索結果1 - 40 件 / 149件

  • 【ChatGPT】英語学習用に素敵な先生を錬成したよ! - はげあたま.org

    chatgpt.com 3行で 英文アウトプット練習の優れた相手をGPTsで実装できたからストアに並べたよ! 学習ツールとしての気持ちよさが自慢なのでまずは1回遊んでみてください! 「英語だと中学生レベルの文章すら全然話せない」の克服ができる………と信じて、製作者自身が酷使しています 何ができるの? 和文による出題→英訳→添削→出題…のループです。 体験の良さと自身のアウトプットカの弱さは触ってもらえばすぐに伝わるはずです。これ読む人の8割はブクマして満足するだけなんでしょうけど、これ以降を読むより先にまずは一度使ってみてください。最初にあるリンクへ飛ぶだけです。 なお「完全無料!」と言いたいですが、ChatGPTへの課金が無いとすぐに制限が入るのが最大の難点です。 特長を教えて ジャンルや問題の難易度を適宜変更可能。激ムズ要求出したら絶望感がすごい…… 日本語混じりの英文や、かなりの意訳

      【ChatGPT】英語学習用に素敵な先生を錬成したよ! - はげあたま.org
    • Googleが大量の機械学習用データベースを無料公開してた - Qiita

      個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-8Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました (はてなブックマーク情報 @sek_165 さん )

        Googleが大量の機械学習用データベースを無料公開してた - Qiita
      • 予算30万円台の深層学習用PCの買い方|shi3z

        深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利

          予算30万円台の深層学習用PCの買い方|shi3z
        • LPI-Japan、無償公開中のLinuxサーバー構築学習用教材「Linuxサーバー構築標準教科書」のバージョンアップを発表 ~最新のLinuxディストリビューションに対応し、仮想マシンを用いて独学でも学習しやすい構成に変更~|IT資格といえばLPI-Japan | LinuC/OSS-DB/HTML5/OPCEL

          LPI-Japan、無償公開中のLinuxサーバー構築学習用教材「Linuxサーバー構築標準教科書」のバージョンアップを発表 ~最新のLinuxディストリビューションに対応し、仮想マシンを用いて独学でも学習しやすい構成に変更~ 報道関係各位 LPI-Japan、無償公開中のLinuxサーバー構築学習用教材「Linuxサーバー構築標準教科書」の バージョンアップを発表 ~最新のLinuxディストリビューションに対応し、仮想マシンを用いて独学でも学習しやすい構成に変更~ オープンテクノロジー技術者認定機関としてLinux技術者認定「LinuC(リナック)」などを実施する特定非営利活動法人エルピーアイジャパン(以下:LPI-Japan、東京都千代田区、理事長 鈴木 敦夫)は、実習を通してLinuxサーバー構築の知識を学べる学習用教材「Linuxサーバー構築標準教科書」(以下:本教科書)のバージョ

            LPI-Japan、無償公開中のLinuxサーバー構築学習用教材「Linuxサーバー構築標準教科書」のバージョンアップを発表 ~最新のLinuxディストリビューションに対応し、仮想マシンを用いて独学でも学習しやすい構成に変更~|IT資格といえばLPI-Japan | LinuC/OSS-DB/HTML5/OPCEL
          • OCR処理プログラム及び学習用データセットの公開について | NDLラボ

            2022年04月25日 NDLラボのGitHubから、次の2件を公開しました。ライセンスや詳細については、各リポジトリのREADMEをご参照ください。 NDLOCR 国立国会図書館(以下、「当館」とします。)が令和3年度に株式会社モルフォAIソリューションズに委託して実施したOCR処理プログラムの研究開発事業の成果である、日本語のOCR処理プログラムです。 このプログラムは、国立国会図書館がCC BY 4.0ライセンスで公開するものです。なお、既存のライブラリ等を利用している部分については寛容型オープンライセンスのものを採用しているため、商用非商用を問わず自由な改変、利用が可能です。 機能ごとに7つのリポジトリに分かれていますが、下記リポジトリの手順に従うことで、Dockerコンテナとして構築・利用することができます。 リポジトリ : https://github.com/ndl-lab/

            • 子どもに学習用タブレットが配られたはいいが、なぜかその他の荷物が減らず現代の石板と化している…親の嘆き集まる

              ONISHI MAO @mao7735 これは本当にある怖い話なんだけど、子どもに区からタブレットが配られたのはいいんだけど、それで紙類などの荷物が軽くなるどころか、毎日ランドセルにめちゃくちゃデカくて重くて変なタブレットを多数の教科書やノートに加えて入れていくはめになり、これは現代の石盤かな、何かの寓話かなって…🪨 2021-09-07 15:25:31 ONISHI MAO @mao7735 新型コロナのことで慌てて教科書の中身をタブレットに入れられなかった…まだわかる…(遅いなとは思うけど)でもタブレットが旧型過ぎてすぐ電池がなくなる、大人でもつらいほど重い荷物を毎日毎日背負わせるのはどうにかすべき。 2021-09-07 21:23:35

                子どもに学習用タブレットが配られたはいいが、なぜかその他の荷物が減らず現代の石板と化している…親の嘆き集まる
              • 実在児童に酷似した性的画像、生成AIで作成か…ネット上で追加学習用データを売買

                【読売新聞】 画像生成AI(人工知能)で、実在の児童に酷似した画像を生成できる追加学習用データが、ネット上で売買されていることがわかった。過去に日本で活動した児童タレントの追加データもあり、追加データで作ったとみられる児童タレントに

                  実在児童に酷似した性的画像、生成AIで作成か…ネット上で追加学習用データを売買
                • 町田の小6自殺 学習用端末の中傷を何者かが削除、人物特定は困難 - ライブドアニュース

                  by ライブドアニュース編集部 ざっくり言うと 東京都町田市で小6の女子児童(当時12歳)がいじめを訴えて自殺した問題 学習用デジタル端末での同級生らの中傷メッセージが削除されていたと判明 「なりすまし」による操作ができたため、操作した人物の特定は困難だという ◆相談窓口はこちら 提供社の都合により、削除されました。 概要のみ掲載しております。 関連ニュース ランキング 総合 国内 政治 海外 経済 IT スポーツ 芸能 女子

                    町田の小6自殺 学習用端末の中傷を何者かが削除、人物特定は困難 - ライブドアニュース
                  • Googleが機械学習用のデータセットをインターネット上から検索可能な「Dataset Search」を正式公開

                    機械学習でアルゴリズムを構築する上で重要なのが「データセット」です。アルゴリズムの精度を上げるためにはより多くのデータと時間が求められますが、十分に大規模なデータセットを集めたり探したりするのは機械学習を行う上で特に苦労するポイント。そんなデータセットをオンライン上から検索できる「Dataset Search」の正式版をGoogleが公開しました。 Dataset Search https://datasetsearch.research.google.com/ Discovering millions of datasets on the web https://blog.google/products/search/discovering-millions-datasets-web/ Dataset Searchにアクセスするとこんな感じ。 データセットを検索するには、入力欄に検索した

                      Googleが機械学習用のデータセットをインターネット上から検索可能な「Dataset Search」を正式公開
                    • AWS学習用RPG「AWS Cloud Quest」、クラウド初心者の記者が挑戦

                      米Amazon Web Services(アマゾン・ウェブ・サービス、AWS)が2022年3月に公開した「AWS Cloud Quest: Cloud Practitioner」は、同社のパブリッククラウドであるAWSを対象としたゲーム形式のオンライン学習サービスだ。 学習者は自身の分身キャラクターである「アバター」となって、インターネット上に構築された3次元の仮想都市に入り込む。ITエンジニアとして街を歩き、ITの課題を抱える人々と出会い、AWSの各種ソリューションによって一つひとつ解決していく、というゲーム構成だ。学習者が課題をクリアしたりクイズに正解したりするたびに報酬をもらえるなどロールプレイングゲーム(RPG)仕立てになっている。AWSの基礎的な知識やノウハウをRPG形式で学べるという。

                        AWS学習用RPG「AWS Cloud Quest」、クラウド初心者の記者が挑戦
                      • TypeScript未経験でもスムーズに業務に取り組める、最強の学習用コンテンツを作った話 - NTT Communications Engineers' Blog

                        この記事は、 NTT Communications Advent Calendar 2023 19日目の記事です。 この記事では、TypeScript未経験のインターン生にすぐにSkyWayの開発に取り組んでもらうために、TypeScriptの学習用コンテンツを作成した話を紹介します。 学習用コンテンツでどのようなスキルを身に着けてもらったのか、効果的に学ぶためにどのような点を工夫したのかについても説明します。 はじめに 学習用コンテンツの目的 TypeScript学習用コンテンツの紹介 取り組んでもらった結果 より高度な内容について おわりに はじめに 皆さまこんにちは。イノベーションセンター SkyWay DevOps プロジェクト所属の@sublimerです。 SkyWayのチームでは、今年の8〜9月に現場受け入れ型のインターンシップを実施しました。 インターン生を受け入れるにあたっ

                          TypeScript未経験でもスムーズに業務に取り組める、最強の学習用コンテンツを作った話 - NTT Communications Engineers' Blog
                        • 【新人プログラマ応援】学習用のプログラムと仕事で書くプログラムは何が違うか - Qiita

                          はじめに これはQiitaで開催されている「新人プログラマ応援 - みんなで新人を育てよう!」イベントの投稿記事です。 今回は「先輩(ベテランから2年目社員、上級生)からのアドバイス」を書いてみようと思います。 この記事を書いている人 仕事で20年近くプログラムを書いているプログラマ 現在は株式会社ソニックガーデンでRubyプログラマをやっている Rubyの入門書「プロを目指す人のためのRuby入門」を出版している プログラミングスクール「フィヨルドブートキャンプ」のメンターでもある 対象読者 現在プログラミングを学んでいて、将来プログラマ(特にWeb系)として就職したいと考えている人 もしくはこの春から新人プログラマとして仕事でコードを書き始める人 いずれも業界未経験の初心者プログラマを想定 僕が普段Railsを使っているため、この記事ではRailsを使う開発の現場を想定していますが、大

                            【新人プログラマ応援】学習用のプログラムと仕事で書くプログラムは何が違うか - Qiita
                          • Pythonの機械学習用Docker imageのサイズ削減方法の紹介 - エムスリーテックブログ

                            エムスリーエンジニアリンググループ AIチームの笹川です。 バスケと、ロードバイクが趣味なのですが、現在、NBAのplayoffと、Tour de Franceが同時に開催されていて大変嬉しい毎日を過ごしています。 特にNBAのplayoffは、連日overtimeとなるような激戦や、giant killingがあったりのアツい戦いが繰り広げられていて最高です。 そういう状況なので(?)、今回は先日取り組んだ、Pythonの機械学習バッチを実行するdocker imageのサイズ削減についてのアツい戦いについて紹介したいと思います。 膝の上に登って寝る為に、筆者がデスクに戻るのを机の下で待ち構える犬氏(かわいい) 今回の取り組みでは、もともと3GB程度だったPythonのML用のimageを、約2.0GBに削減することができました(それでもなかなかのサイズ。MLのimageは特に大きい印象

                              Pythonの機械学習用Docker imageのサイズ削減方法の紹介 - エムスリーテックブログ
                            • 実在しない顔の画像3000点を無償配布、AI学習用データセットに 法人向け・商用利用可

                              AI活用のコンサルティング事業を手掛けるAPTO(東京都渋谷区)とエイアイ・フィールド(東京都品川区)は10月5日、AIの学習データとして利用できる、実在しない男女の顔写真3000枚の無償配布を始めた。法人を対象に11月30日までの期間限定で提供し、商用利用も認める。「AI市場の加速に貢献できれば」(2社)という。 エイアイ・フィールドが自社の技術で自動生成した、実在しない10代~90代の男女の画像を提供。APTOが作成した年齢・性別などのアノテーション(画像を説明するテキスト情報)も付属する。申し込みは専用サイトで受け付ける。 もともとはエイアイ・フィールドが自社サービスで活用するために作成した画像だったが、6月に用途を研究目的に限った上で1000点を無料配布したところ、利用者からの反響があったことから、データを2000点追加し、商用利用を認めた上で再配布することを決めたという。 関連記

                                実在しない顔の画像3000点を無償配布、AI学習用データセットに 法人向け・商用利用可
                              • 「AIに毒を盛る」──学習用データを改ざんし、AIモデルをサイバー攻撃 Googleなどが脆弱性を発表

                                Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2 米Google、ETH Zurich、NVIDIA、Robust Intelligenceに所属する研究者らが発表した論文「Poisoning Web-Scale Training Datasets is Practical」は、学習用データセットの一部を改ざんし、それらを学習した機械学習モデルを攻撃する手法を提案した研究報告である。 機械学習モデルの学習用データセットには、インターネットをクロールして収集した大量のデータサンプルが含まれるWebスケールデータセットがある。だが、これらの収集したデータの信頼性が保証されているわけではない。信頼性を保証す

                                  「AIに毒を盛る」──学習用データを改ざんし、AIモデルをサイバー攻撃 Googleなどが脆弱性を発表
                                • 和田卓人氏が教える、自動テストの使い方 学びを自動テストとして書く「学習用テスト」という考え方

                                  Qiita Conferenceは、ソフトウェア開発者が集まり、最新の技術や最先端の挑戦・ソフトウェアの未来についての考えや知見を共有し、つながる場を創出する、「Qiita」が開催するオンライン技術カンファレンスです。ここで和田卓人氏が「サバンナ便り - 自動テストに関する連載で得られた知見のまとめ(2023年5月版) 」をテーマに登壇。まずは、セッションテーマと学習用テストについて話します。 本セッションのレギュレーション 和田卓人氏:よろしくお願いします。みなさん、こんばんは。和田卓人です。今日は「サバンナ便り」というタイトルで、自動テストに関する知見についてお話ししたいと思います。 まず今日のレギュレーションといいますか。どんどん話していくんですが、オンラインの講演はライブ感とかリアルタイム感とか、そういったところがとても大事になってきます。 なので、みなさんもTwitterで「Qi

                                    和田卓人氏が教える、自動テストの使い方 学びを自動テストとして書く「学習用テスト」という考え方
                                  • 昭和の漫画女子達は学習用じゃない「創作された歴史物語」にハマったからこそ歴史に親しめた→そのラインナップが今見ても凄すぎる

                                    篠原正美/すずはら篠 @suzan2nd 群馬県出身の漫画家。お仕事募集中です。タイッツーと青空も始めました。 ID はどちらも@suzan2nd。現在はハーレクインコミック中心に活動中。デビューは新書館Wings「嵐陵王」すずはら篠 名義でBLは竹書房、三和出版、海王社。TLは秋水社。同人誌はオリジナルBLでおじさんカップルシリーズ。猫ツイ多し。 pixiv.net/users/153716 篠原正美/すずはら篠 @suzan2nd 昭和の漫画女子達は、ベルばらでフランス革命、あさきゆめみしで源氏物語、天上の虹で持統天皇、日出処天子で聖徳太子、七つの黄金郷(未完)でエリザベス1世当時の英国、エル・アルコン~鷹~でアルマダの海戦を学んでいるんじゃ。 2024-01-08 00:16:14

                                      昭和の漫画女子達は学習用じゃない「創作された歴史物語」にハマったからこそ歴史に親しめた→そのラインナップが今見ても凄すぎる
                                    • 学習用と実用のプログラミング言語

                                      学習用のプログラミング言語分類方法にもよるけど、プログラミングのパラダイム(考え方)は 命令型宣言型の2種類がある。 それぞれに根拠となる計算モデルがあり、細分化すると4種類に分類できる。パラダイム 分類 基礎となる計算モデル言語命令型 手続き型 チューリングマシン C、Java、Python、JavaScript 宣言型 問合せ型 関係モデルSQL宣言型 関数型 ラムダ計算Lisp、Haskell宣言型 論理型 一階述語論理Prolog (参考) anond:20230826113219 プログラミング言語って、似たり寄ったりだけど、それでも後から後から新しい言語が出てくるね。 それぞれのグループで代表的な言語を1個ずつ順番に学んでいけば、全ての種類を一通り制覇できる。 例えば、 PythonSQLHaskellPrologといった具合で。 各グループのどれか1個を知っておけば、同一グル

                                        学習用と実用のプログラミング言語
                                      • 超弩級! 40万コア/1.2兆トランジスタ/46,225平方mmの深層学習用チップ

                                          超弩級! 40万コア/1.2兆トランジスタ/46,225平方mmの深層学習用チップ
                                        • 「Python」で人気のプログラミング学習用マイコンボードmicro:bitをプログラミング!【どれ使う?プログラミング教育ツール】

                                            「Python」で人気のプログラミング学習用マイコンボードmicro:bitをプログラミング!【どれ使う?プログラミング教育ツール】
                                          • 携帯ゲーム機風のプログラミング学習用コンピューター「CyberPi」 ~ジョイスティックやディスプレイを搭載【どれ使う?プログラミング教育ツール】

                                              携帯ゲーム機風のプログラミング学習用コンピューター「CyberPi」 ~ジョイスティックやディスプレイを搭載【どれ使う?プログラミング教育ツール】
                                            • 地図作成のための機械学習用データセット(GSIデータセット)

                                              概要 GSIデータセット(愛称。正式名称は「CNNによる地物抽出用教師データセット」。以下、「本データセット」といいます)は、地上画素寸法20cm級の空中写真画像を対象として、画像内に写っている地物の範囲を、セマンティックセグメンテーションという手法で抽出する際に用いる機械学習用のデータセットです。道路や建物といった、多くの研究で取り組まれている主要な地物だけでなく、高塔や水制といったマイナーな地物や、広葉樹林や針葉樹林などの自然植生、水田や畑などの既耕地も対象としています。 本データセットは、国土地理院の特別研究「AIを活用した地物自動抽出に関する研究(平成30年度~令和4年度)」の研究成果として作成されたものです。このデータセットを使って学習させたモデルによる地物抽出性能が一定以上(抽出性能の評価に用いられる一般的な指標の一つであるF値という値が0.600以上となったもの。:当初はF≧

                                              • 第1回 学習用テスト ~学びを自動テストとして書く~ | gihyo.jp

                                                こんにちは、今回からコラムを書かせていただく和田(t_wada)と申します。 現代のソフトウェア開発の対象領域は、広く複雑で不確実なものになりました。この連載では、自動テスト(Automated Test)に関わるトピックを中心に、ソフトウェア開発の荒野を生き抜いていくためのプログラミングやソフトウェアエンジニアリングの考え方を書いていきたいと考えています。 初回のテーマは、学習や調査が目的のテストコードを書くテクニック「学習用テスト」(⁠Learning Test)です。では、よろしくお願いします。 二兎を追わない プログラミングのコツに、「⁠一度に2つ以上のものを相手にしないこと」があります。 未知の技術を使って問題を解決するコードを書こうとするとき、私たちは2つのものと同時に戦うことになります。未知の技術そのものと、その技術を使った問題解決の2つです。2つ以上のものを同時に取り扱おう

                                                  第1回 学習用テスト ~学びを自動テストとして書く~ | gihyo.jp
                                                • 日本語に強い大規模言語モデル「Swallow」 産総研と東工大が公開 事前学習用の日本語データに工夫

                                                  産業技術総合研究所と東京工業大学の研究チームは12月19日、日本語に強い大規模言語モデル(LLM)「Swallow」を公開した。米Metaが開発したLLM「Llama 2シリーズ」をベースに日本語能力を改善させたもの。ライセンスは「LLAMA 2 Community License」で、研究や商業目的で利用できる。 今回公開したのは、パラメータ数が70億(7B)、130億(13B)、700億(70B)のモデル3種類。Llama 2シリーズが持つ高い言語処理能力を維持しながら日本語能力を強化することを目指した。 このため、AIモデルに日本語の文字や単語などの語彙を追加し、新たに開発した日本語データで継続事前学習(学習済みのLLMに対して追加で事前学習を行う手法で、異なる言語などで言語モデルを活用するときに使われる)を行った。結果、日本語に関するベンチマークデータで、全モデルがベースモデルより

                                                    日本語に強い大規模言語モデル「Swallow」 産総研と東工大が公開 事前学習用の日本語データに工夫
                                                  • AWS、クラウド学習用教材のサブスクリプション「AWS Skill Builder」を開始

                                                    CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

                                                      AWS、クラウド学習用教材のサブスクリプション「AWS Skill Builder」を開始
                                                    • 犯人は“ヤツ”──「ポートピア連続殺人事件」が復活 自然言語処理の学習用ソフトとして無料配信へ

                                                      スクウェア・エニックスは、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。 スクウェア・エニックス(東京都新宿区)は4月21日、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。PC用アドベンチャーゲーム「ポートピア連続殺人事件」を題材にしたソフトで、自然言語処理技術を体験できる。PCゲーム配信プラットフォーム「Steam」で24日から配信する。 ポートピア連続殺人事件はエニックスが1983年にリリースしたPCゲーム。「ドラゴンクエスト」シリーズの生みの親である堀井雄二さんが手掛けた。プレイヤーは刑事となり、神戸市で起こった殺人事件の犯人を

                                                        犯人は“ヤツ”──「ポートピア連続殺人事件」が復活 自然言語処理の学習用ソフトとして無料配信へ
                                                      • Googleがテキストから音楽を自動生成するAIモデル「MusicLM」を公開へ、学習用データセットの倫理的課題もクリア

                                                        Googleが、入力したテキストから音楽を自動で生成するAI「MusicLM」を日本時間の2023年5月11日から公開すると発表しました。GoogleのAIを体験できるアプリ「AI Test Kitchen」に登録していれば、一定の制限付きでMusic LMを体験できます。 How to try MusicLM from Google’s AI Test Kitchen https://blog.google/technology/ai/musiclm-google-ai-test-kitchen/ Google updates AI Test Kitchen with 'MusicLM' text-to-music creator https://9to5google.com/2023/05/10/ai-test-kitchen-musiclm/ MusicLMは2023年1月にGoog

                                                          Googleがテキストから音楽を自動生成するAIモデル「MusicLM」を公開へ、学習用データセットの倫理的課題もクリア
                                                        • GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog

                                                          1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5. 次はマルチ環境で動かす w/ Docker リポジトリをクローン ssh/config を作成 authorized_keys を作成 hostfile を作成 Docker を build 6. つまずいたポイント 学習途中に出力したファイルを再利用するのでNFSが必要に NFSのリージョンを間違えて速度が出なかった 大量のGPUの調達はリソースを確保できないかもしれないので要サポート確認 コンパクトプレースメントポリシーは邪魔になりそうだった 7. 結果 8. まとめ

                                                            GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog
                                                          • 強化学習用の教師生成時のランダムムーブについて | やねうら王 公式サイト

                                                            将棋AIの強化学習では自己対局を用いるが、その時に同一の棋譜ができてしまわないように何らかの工夫が必要である。 1) floodgateのような大量の実戦棋譜の任意の局面から開始する 2) 定跡を用意して、ランダムに定跡を採択する 3) 初手から数手、ランダムムーブを入れる 4) 序盤では最善手と評価値(or 期待勝率)がさほど離れていない指し手のなかからランダムに選択する 2016年~2017年ごろのやねうら王は、人間の棋譜を用いないということにこだわっていたので3)にしていた。いまどきの主流が1)なのか2)なのかは知らないが、AlphaZeroに影響を受けている人は4)が多いように思う。2018年は1)を試してみた。そちらのほうが少し強くなった。 それで、これに関して、なんとかちゃんねるに気になる投稿があったので引用する。 634名無し名人 (ワッチョイ 0234-3XbD)2020/

                                                            • Metaの大規模言語モデル「LLaMA」のトレーニングにも使用されたAIの学習用データセット「Books3」が削除される

                                                              デンマークの著作権侵害対策グループ「Rights Alliance」が、約20万冊にも上る書籍のデータセット「Books3」を削除するよう、ホストする「The Eye」に対して要請し、データセットの削除が行われました。Books3はMetaの開発する大規模言語モデル「LLaMA」のトレーニングにも使用されたデータセットです。 Anti-Piracy Group Takes Prominent AI Training Dataset ''Books3' Offline * TorrentFreak https://torrentfreak.com/anti-piracy-group-takes-prominent-ai-training-dataset-books3-offline-230816/ Revealed: The Authors Whose Pirated Books Are P

                                                                Metaの大規模言語モデル「LLaMA」のトレーニングにも使用されたAIの学習用データセット「Books3」が削除される
                                                              • Adobeの画像生成AI「Firefly」の学習用データセットにMidjourneyなど別の画像生成AIが生成した画像が全体の約5%ほど混入していることが判明

                                                                Adobeの画像生成AI「Firefly」は、Adobe Stockという写真や映像のライブラリでトレーニングされていることが特徴で、インターネット上の画像をスクレイピングして学習した他の画像生成AIと異なり、商業的にも安全なAIだとAdobeは主張しています。しかし、実際はFireflyの学習したデータセットにMidjourneyなどによって生成された画像が含まれていると、アメリカ経済紙のBloombergが報じています。 Adobe’s AI Firefly Used AI-Generated Images From Rivals for Training - Bloomberg https://www.bloomberg.com/news/articles/2024-04-12/adobe-s-ai-firefly-used-ai-generated-images-from-riva

                                                                  Adobeの画像生成AI「Firefly」の学習用データセットにMidjourneyなど別の画像生成AIが生成した画像が全体の約5%ほど混入していることが判明
                                                                • 児童生徒向けの家庭学習用モバイルWi-Fiルーター貸出事業、6割以上が死蔵状態だったことが判明【やじうまWatch】

                                                                    児童生徒向けの家庭学習用モバイルWi-Fiルーター貸出事業、6割以上が死蔵状態だったことが判明【やじうまWatch】
                                                                  • “語学学習用FPS”で勉強はできるのか。16の言語が収録された「Linguist FPS」に挑んでみる

                                                                    “語学学習用FPS”で勉強はできるのか。16の言語が収録された「Linguist FPS」に挑んでみる 編集部:御月亜希 言語学習の初心者向けに設計されたというFPS「Linguist FPS」が,Steamで2022年5月21日に配信された。オーストラリアの2人組のインディーズスタジオで開発された本作は,日本語や英語,中国語にロシア語など,16の言語から1つを選び,簡単な単語や数字を覚えながら進めていくという,変わったアプローチのタイトルだ。 言語学習用というと,なんだか堅苦しいが,そういうノリではまったくない。町が殺人ロボットの軍団に占拠されてしまった! 学びたい言語の指示に従って,クリスタルを集めて町を救おう! という,ツッコミどころしかない感じである。まぁ,FPSだしね。 具体的には,町の各所にレベルの書かれた扉が配置されている。その扉に指定された数字4ケタのパスワードを入力すると

                                                                      “語学学習用FPS”で勉強はできるのか。16の言語が収録された「Linguist FPS」に挑んでみる
                                                                    • テスラがAI学習用怪物プロセッサーを独自開発、3000個でエクサ級

                                                                      米Tesla(テスラ)は2021年8月19日(米国時間)、プライベートイベント「AI Day」を開催し、AI(人工知能)技術のトレーニング(学習)に用いる独自プロセッサー「D1」を発表した。自社スーパーコンピューター「Dojo」に利用する予定だ。自動運転機能に向けたDNN(Deep Neural Network)のトレーニング(学習)などに利用する。D1を3000個利用すれば、演算処理性能が1.1E(エクサ)FLOPSのクラスターを実現できるという。

                                                                        テスラがAI学習用怪物プロセッサーを独自開発、3000個でエクサ級
                                                                      • コロナ禍の家庭学習用Wi-Fiルーター 補助金10億円分が使われず | 毎日新聞

                                                                        新型コロナウイルスの感染拡大などに伴い、家庭でのオンライン学習用のモバイルWi-Fiルーター(パソコンなどをインターネットにつなぐ接続機器)の購入費を国が自治体を通じて小中高校に支援する補助金事業で、補助金額で約10億円に相当する約11万台のルーターが全く使われていないことが会計検査院の検査で判明した。ルーターの使用率が10%未満の自治体が4割超に達することも分かり、検査院は19日、事業を所管する文部科学省に対し校外学習や校内のインターネット環境がない場所での有効活用を進めるよう求めた。 国は2019年から推進する「GIGAスクール構想」により、子どもに1人1台の学習用デジタル端末を配備してきた。そうした中、新型コロナの感染が広がり始めた状況も踏まえ、家庭にインターネット環境がない小中高の児童や生徒向けにルーターを貸与できるよう、自治体側に購入費を支援する補助金事業「家庭学習のための通信機

                                                                          コロナ禍の家庭学習用Wi-Fiルーター 補助金10億円分が使われず | 毎日新聞
                                                                        • えるエル on Twitter: "マイクロソフトが、深層学習の入門コースをPyTorch公式と提携して作成し、リリースしています https://t.co/QCHbGSfQsv 他の講座と違い、インストール・実行環境の準備がなく、学習用のサイトに貼ってあるニューラ… https://t.co/vfu3sdvCcN"

                                                                          マイクロソフトが、深層学習の入門コースをPyTorch公式と提携して作成し、リリースしています https://t.co/QCHbGSfQsv 他の講座と違い、インストール・実行環境の準備がなく、学習用のサイトに貼ってあるニューラ… https://t.co/vfu3sdvCcN

                                                                            えるエル on Twitter: "マイクロソフトが、深層学習の入門コースをPyTorch公式と提携して作成し、リリースしています https://t.co/QCHbGSfQsv 他の講座と違い、インストール・実行環境の準備がなく、学習用のサイトに貼ってあるニューラ… https://t.co/vfu3sdvCcN"
                                                                          • 検索エンジン「Brave Search」がウェブ上の著作権コンテンツを収集してAI学習用に有料販売しているという指摘

                                                                            広告ブロック機能を標準搭載するブラウザ「Brave」の開発チームは、プライバシー特化型の検索エンジン「Brave Search」も開発しています。Brave Searchの検索結果画面には検索語句に合わせてウェブサイトの文章を抜粋した「スニペット」が表示されるのですが、ソフトウェアエンジニアのアレックス・イヴァノフス氏はBrave Searchのスニペットについて「ウェブサイトの内容を勝手に収集し、著作権者の許可なく他人に販売している」と指摘しています。 The shady world of Brave selling copyrighted data for AI training https://stackdiary.com/brave-selling-copyrighted-data-for-ai-training/ An update on Brave selling copyri

                                                                              検索エンジン「Brave Search」がウェブ上の著作権コンテンツを収集してAI学習用に有料販売しているという指摘
                                                                            • カシオ 個人情報12万件余流出 学習用アプリに不正アクセス受け | NHK

                                                                              カシオ計算機は、高校などで利用されている学習用アプリのデータベースに不正アクセスがあり、12万件余りの個人情報が流出したと発表しました。 発表によりますと、流出したのは全国およそ240の小中学校や高校などで使われ、個人でも利用できる学習用アプリ「ClassPad. net」に登録されている国内外の利用者の氏名やメールアドレス、学校名、学年、出席番号など、12万件余りです。 今月11日、アプリのデータベースに障害が発生していることがわかり、解析を進めた結果、情報の流出が判明したということです。 会社によりますと、システムの誤操作などによってセキュリティー設定の一部が解除されていたため、第三者が不正アクセスできる状態となっていて、データベースには、第三者から金銭を要求するメッセージが残されていたということです。 カシオ計算機は「多大なご迷惑とご心配をおかけし深くお詫び申し上げます」とし、データ

                                                                                カシオ 個人情報12万件余流出 学習用アプリに不正アクセス受け | NHK
                                                                              • OpenAI、AI学習用Webクローラーのブロック方法を紹介

                                                                                  OpenAI、AI学習用Webクローラーのブロック方法を紹介
                                                                                • Googleの機械学習用チップTPUの最新バージョンTPU v3 Podを試してみた

                                                                                  ※v3-32 Cloud TPU v3 Podのみeurope-west4、他はus-central1 シングルのTPU利用時にはプリエンプティブを指定することで安くすることもできます。(プリエンプティブの指定のやり方は次節参照) 一方でTPU Podではプリエンプティブを指定することができません。 上表からは1時間単位の課金体系のように見えますが、実際は1分単位の課金となります。またPodでは継続利用割引などもあるので公式ドキュメントを参考にすると良いでしょう。 v3-32より大きなPodはセールスチームに問い合わせましょう。 前述したGPU(NVIDIA Tesla P100)は1時間1.46$ですが、その50倍近い性能のTPU v3を1時間2.4$で借りられるとは恐るべし。 さらにモデルのトレーニング時間は短くなるので、コスパ最強です!!! Cloud TPU Podを使ってみた さ

                                                                                    Googleの機械学習用チップTPUの最新バージョンTPU v3 Podを試してみた