人類は気づいていた。この勉強の仕方が1番早いということを。 - Qiita
はじめに 多くの勉強方法を試してきて、最後にたどり着いたのが問題駆動プログラミング法という学習方法でした 世の中では独学大全という本がベストセラーになるなど、学習内容ではなく、「勉強方法」を学びたいという人はとても増えています。 せっかく勉強するなら効率よくやりたいと考えるのは当たり前のことです。 成果を出したいならその分野の努力の仕方を学ぶのが１番効率的で賢い それは誰もが理解していることだと思います。 「では、プログラミングの勉強の仕方を学んだことはありますか？」 おそらく多くの人が自分なりに勉強をしていると思います。 なぜかというと勉強方法などの経験的な記事を書こうとすると「考え」を書くことになるため記事を書くのがとても大変でなかなか世の中には「これをやれば確実」という勉強方法を紹介している記事は少ないです。 これはエンジニアが基本的に「技術」を発信することが多くなるので仕方がないと
「時間をかけて勉強→すぐに忘れる」虚無学習から卒業できる。効率のよい学び方4選 | ライフハッカー・ジャパン
PayPayカードのメリット・デメリット|怖いと言われる理由と評判レビュー。ゴールドと一般どっちがおすすめ?
GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction
勾配消失問題
勾配消失問題 勾配消失問題とは、誤差逆伝播法の際に層が深いニューラルネットワークにおいて勾配がほぼ0になってしまい、学習が上手くいかなくなる問題です。 誤差逆伝播法では出力から入力に向かって勾配を乗算していきますが、この際勾配の値が小さくなるような活性化関数を用いていると勾配消失問題が発生しやすいことが知られています。シグモイド関数のような勾配の最大値が0.25といった小さな値を持つ活性化関数が代表例です。
huggingfaceのTrainerクラスを使えばFineTuningの学習コードがスッキリ書けてめちゃくちゃ便利です - Qiita
はじめに huggingfaceのTrainerクラスはhuggingfaceで提供されるモデルの事前学習のときに使うものだと思ってて、下流タスクを学習させるとき（Fine Tuning）は普通に学習のコードを実装してたんですが、下流タスクを学習させるときもTrainerクラスは使えて、めちゃくちゃ便利でした。 ただTrainerクラスのinitやTrainingArgumentsの引数はたくさんあるしよくわからん、という人のために、TrainerクラスのFine Tuning時の使い方を実装を通してまとめてみようと思います。 今回は自然言語処理のタスクとしてlivedoorニュースコーパスのタイトル文のカテゴリー分類問題をFine Tuningの例題として扱おうと思いますが、ViTのFine Tuningとかでも同様かと思います。 基本的にはhuggingfaceのTrainerクラスの
私が独学をして、マジ神だと思うサイトおよび他 - Qiita
初めに 私は独学でプログラミングその他について勉強をしていますが、基本的に知識を得るために金はかけません。調べれば何とかなるので。 私がプログラミングを始めるにあたって自分に投資したものは安いノートパソコンとマウスのみで合計金額は14600円（ノートパソコン14000円、マウス600円）ですね。 もちろんいいものはお金をかけなければ手に入りません。しかし、いいものというのはある程度のレベルにならなくては持っていても意味がほとんどないと思います。 実際にプログラミングの勉強を独学で始めると、なかなか教材を見つけることができず、え？こんないいサイトあったの！？もうちょっと早く見つけときゃあよかった！というものがめっちゃありましたので、これから独学でプログラミングの勉強をしたいという方に向けて、少しでもお役に立てたらと、紹介をしたいと思います。 というわけで、今回は私が感謝する神サイトおよびその
高校世界史教科書で学びなおす歴史学習メソッド（2024年/令和6年改訂版）｜tricken
0. 2024年02月上旬の世界史トークから2024-02-05月 16:00時ごろ、下記のようなTweet (post) がありました。 （スタ・エレ/ @Bt1THS9XFohvr93 さんの歴史学習関連の書き込みに対して、@Simion_Sin さんが半端な歴史本に頼ることのリスクに触れた、という流れです。） 中年になってから「勉強しなおそう」というときに紐解くべきは山川の歴史教科書であって、間違っても「教科書が教えない歴史」みたいなコンビニ本ではないのだ（戒め #こねくと https://t.co/I7It6TkD0r — Simon_Sin (@Simon_Sin) February 5, 2024 2人が触れている #こねくと とは、2023年から『たまむすび』の後継番組として始まったTBSラジオの平日午後枠の番組『こねくと』のことです。月曜1600時台のアンケート企画で、「学
【2024年最新版】ブックマークすべきGitHubリポジトリまとめ - Qiita
はじめに 今回は最新の有益GitHubリポジトリを紹介します。 プログラミング初心者から上級者まで学ぶを得ることがリポジトリを厳選しています。 developer-roadmap エンジニア向けの学習ロードマップがまとめられています。 Awesome Roadmaps プログラミング言語やライブラリ、Webアプリ開発、モバイルアプリ開発、ゲーム開発、AI、機械学習、データサイエンティストの学習ロードマップがまとめられています。 学習の方向性や現在の自分の立ち位置を把握することができます。 awesome-courses 無料で学べるプログラミング学習教材がまとめられています。 プログラミング言語、人工知能、機械学習、コンピューターサイエンス、アルゴリズム、大学の資料など幅広い教材のリンクが掲載されています。 Free-Certifications こちらもエンジニア向けの無料で学べる学習教
【2023年】モダンフロント学習教材まとめ - Qiita
はじめに 今回はフロントエンド(主にReact, Next, TypeScript)でおすすめの学習教材をまとめました。 対象者 エンジニア初心者 モダンフロント技術を学びたい人 ロードマップ Developer Roadmaps エンジニア向けの学習ロードマップが整理されています。 現在の自分の立ち位置を把握し、次にやるべきことの方向性を知ることができます。 エンジニアが使うであろう、ほぼ全技術が網羅的にまとめられているので、まずはこのロードマップを使って現在の立ち位置を掴んでみてください。 TypeScript typescriptlang 公式が提供している学習サービス。 基本文法から実践的な内容まで学ぶことができる。英語が苦手でなければここで一通り学ぶべき。 サバイバルTypeScript 実務で使えるTypeScriptの実装方法を学ぶことができる。応用的な内容も多いが、解説が丁
【完全独学】中国語の話し方 第二言語習得研究を活かした中国語学習ロードマップ - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回は中国語の話し方を紹介します。私がどうやって中国語を身につけたのか、第二言語習得研究を活かした中国語学習ロードマップを解説していきます。ぜひ注目されている中国語をマスターしてキャリアを広げていきましょう。 ↓↓こちらもぜひチャンネル登録お願いします www.youtube.com 第二言語習得研究で中国語を完全習得 第二言語習得研究とは 言語習得の仕組み 言語習得の4つのプロセス 言語知識の自動化 中国語の言語的特徴 形態論と語順 簡体字と繁体字 四声 拼音 難易度 発音 発音の落とし穴 四声&拼音 おすすめ発音テキスト 単語学習 セルフ音読はNG おすすめ単語学習テキスト キクタン中国語シリーズ 起きてから寝るまで中国語単語帳 HSK基本語彙 中国語文法 フレーズと単語を結合する中国語文法 細かい文法よりも伝わり方 仕上げとしてのパターンプラクティス おすすめ文法テキスト
36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
RetNetによる学習・評価・推論
諸注意 本記事のコードブロック内のコマンドは、基本的にubuntu 18.04.05 on Windowsターミナル（以下、wsl）上で実行しています。 本記事の誤記や、より良い方法などがありましたら、コメント欄にてご指摘ください。 環境構築 こちらの通りに、wslとpyenv-winの競合を解消し、wsl用のpyenvをinstallします 以下のコマンドを実行し、本記事用のフォルダとpython仮想環境を構築します mkdir RetNetTutorial cd RetNetTutorial mkdir .wsl_env cd .wsl_env pyenv local 3.10.4 python -V # 3.10.4 # 仮想環境構築 python -m venv ./ # pipを新しくしておく cd bin # 仮想環境起動 source activate cd ../../ #
【サービス復活】年25,000円でACM会員になればO'Reilly本が読み放題になる！！ - Qiita
昨年、惜しまれつつサポートが終了したACM会員特典のO'Reilly Online Learningの読み放題サブスクが復活しました！ 年間 ＄174 と以前よりはコストが掛かってしまうものの、それでも通常のサブスクよりも圧倒的に安いです(通常は年間$499です) O'Reilly Online Learning(旧Safari Books)とは O'Reilly出版の本やビデオ教材などが使い放題となるサービスです。英語の本が主ですが、最近は日本語の本もかなり充実していて、2023年8月11日現在は231冊の日本語の本が読み放題対象となっています。 人気の本ランキングではみなさんも見聞きしたことある本が上位に来ているかと思います。 新作本の一覧では今年の6月に発売された本などもラインナップに並んでいることがわかります 日本語本のラインナップはこちらから確認することができましたのでこちらを検
最近の話題にも詳しい14億パラメータの日本語LLMの公開
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
日本語が話せるLlamaモデルをDIYする - Qiita
2023/7/27追記: 項目2.1でrun_clm_pt_with_peft.pyを編集する必要がありますが書き忘れていました。編集箇所と方法を追記しました。一部情報が正しくない部分もあったので修正しました。 この記事ではMetaがリリースしたLlama2-7Bを元に日本語が話せるLlamaモデルを作る方法を解説しています。 日本語Llamaを作ってみようと思ったきっかけはこちらのgithubリポジトリです。このリポジトリは中国の研究者たちがLlamaモデルを中国語に対応させるために使ったもので、流れとしてはまずLlamaのトークナイザーを拡張し中国語に対応させて、LoRAで二次事前学習を行い、その後インストラクト用に学習させます。(LoRAはQLoRAではなく普通のLoRAです。) これ自体はLlamaが中国語を話せるようにするという目的で存在していますが、おそらく中国語以外の言語にも
リモートワークで新人が楽しく効率的に成長できたプラクティス - Qiita
はじめに 私のチームは、リモートワーク中心の開発チームです。 そのチームに新人が配属された時に、私のチームで行っている新人育成のプラクティスのうち、比較的ユニーク(だと思っている)プラクティスを抜粋して紹介します。 少しでも参考になれば幸いです。 リモートワークの知見を説明 新人に対して、チームで行っているリモートワークを快適に行うための知見を紹介しています。 特に、「今から通話いいですか」をすっ飛ばしてビデオ通話を開始する文化であることを共有します。 詳細は以下を参照ください。 インセプションデッキの説明 インセプションデッキとは、プロダクトづくりに関わるメンバーが各々の意見を持ち寄って共通認識をつくり出すための大事な質問に対してメンバー皆で議論して決めた回答です。 詳細は以下を参照ください。 インセプションデッキ | Agile Studio 私のチームでは、以下のテンプレートを利用し
LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。 問題意識 ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類 トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ 参考文献 こんにちは、アナリティクスサービス部の辻です。 今回は、LLMを効率的に再学習する手法として今後
生成AIグラビアをグラビアカメラマンが作るとどうなる？第一回：実在モデルで学習・LoRAでキャッチライト付加 (西川和久) | テクノエッジ TechnoEdge
百聞は一見に如かず。これってAI生成グラビア？AI画像生成に興味を持ったのは去年の年末頃だろうか。Twitterを眺めていると「どうやって撮った(作った)んだ？」と言う画像がたまに載っていたので調べると、Stable Diffusion Web UI (AUTOMATIC1111版)だった。 元々グラビアを撮っていたこともあり、あまり撮らなくなってもグラビア好きなのには違いなく、試したくなったのは言うまでもない。 AI生成画像は大きく分けて2種類あり、一つはイラスト系、もう一つはリアル系。筆者が興味を持ったのは後者。どこまで実写に迫れるのかがその興味の対象だ。百聞は一見に如かず。扉の写真はAI生成画像。現時点でこの程度の写りは容易にこなす。 とは言え、実際の撮影もそうなのだが、グラビア写真は数百枚撮ってカメラマンがある程度セレクトし納品したものが、納品先で更に絞られ、出版社などで更に絞り込
これ全部無料！ 企業や大学のIT教材・研修資料まとめ 【2023年上半期版】
6月も終わりに近づき、2023年の上半期も終わりを迎えようとしている。この半年はAIを中心に、目まぐるしい変化が続く半年だった。下半期も同様に激動の6カ月になるかもしれない。業界の動きに対応するには、業種・職種問わず新たな学びが必要だろう。 そこで本記事では、企業や大学、公共機関が無料で公開しているIT教材や、研修資料などをピックアップ。ITmedia NEWSで直近6カ月間に取り上げた記事から、8つ紹介する。 ピクシブの「iOSエンジニア育成教材」 初学者向け ピクシブは、同社が実際の研修で使ったiOSアプリ開発の初学者向け教材を公開している。お絵描きSNSの開発を通して、実践に近い形でプログラミング言語「Swift」と開発ツール「Xcode」について学ぶ内容だ。指定の課題に沿って自分でコードを書くことで、基本的な機能の開発を学べるという。 参考：ピクシブ、自社で使っている「iOSアプリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
誰でもわかる強化学習
