「GPT-3」周辺で調べたことをまとめる（2021年2月） - u++の備忘録
コンピュータサイエンス技術の一つに、自然言語処理（NLP）と呼ばれている領域があります。NLPは、コンピュータに人間の用いる言語（自然言語）を処理させる取り組み全般を指します。 ここ数年のNLPの傾向として、大規模テキストでの事前学習済みモデルの活用が挙げられます。代表的な例が、Googleが2018年10月に発表した「Bidirectional Encoder Representations from Transformers (BERT)」*1です。BERTは多数のNLPタスクで飛躍的な性能を示し、注目を集めました。BERTの登場後、大規模テキストを用いた巨大モデルを学習させていく流れが強まっています*2。 BERTの登場以前は、個別のタスクに対してモデルを訓練する取り組みが優勢でした。一方でBERTでは、事前に大量のテキストデータを用いて巨大なニューラルネットワークを学習させて汎用的
保育士さんがよく使う“肯定の言い換え言葉”「俺も全肯定されたい」「大人にも使えるのでは」
ただの猫好き @moon1807cat @mamari_official すごくわかります。ウチの子言うこと聞かなくて困ってます的な相談を保育士さんに相談したとき似たようなアドバイスを頂いたので。つい否定するような言い方しちゃうから意識してなるべく言い換えるようにしてました。でもだからといってできたお母さんではなかったのですが😭 なる @Akkyun193 @mamari_official なんか知らんかったけど、意外とあたし出来てるじゃんw 肯定の言い換え言葉だっていうんだぁ。 子供がこう言った方が分かりやすいと思って、知らず知らず言ってたw まぁそれでも言う事きかない時はきかんけど。 特にイヤイヤ期は😑
ディープラーニングで翻訳プログラムを0から作った人がその仕組みを複雑な数式ではなく図で解説するとこうなる - GIGAZINE
テクノロジーが発達することで、専門家でなくてもニューラルネットワークを使って翻訳プログラムを作ることが可能になりました。とは言っても、全く知識がない人にその仕組みを理解するのは難しいもの。そこでライターのSamuel Lynn-Evansさんが自分で情報を調べつつ0から翻訳プログラムを作成し、その時に理解した仕組みを数式を使わずに説明しています。 Found in translation: Building a language translator from scratch with deep learning https://blog.floydhub.com/language-translator/ 言語は非常に複雑で、これまで機械翻訳を行うには何人もの専門家が必要でした。しかし、人工知能(AI)の発達により、もはや専門家でなくても機械翻訳を行うことが可能になりました。これまで専門家
Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
新たなRNNと自然言語処理 - こんな夢を見た
先月のとある勉強会で使ったスライドを今更ながら貼ります。 そこそこの「seq2seqやAttentionほどは脚光を浴びていない、RNNの基礎部分の改良や知見」を載せることを趣旨にしています。 口頭のみでの説明も多かったり、読み込みが浅かったり、量重視だったりして、スライドの各説明は特に詳しくないです。まだまだ十分に検証されていないことや納得しきれない（論文著者の）言明も多々ありますので、読む際は、ふわふわと話半分に小耳に挟むくらいがちょうどいっか〜と思って読んでください。 新たなRNNと自然言語処理 from hytae 需要と質はさておき英語版もあります。 Recent Progress in RNN and NLP from hytae
ディープラーニングだけがAIじゃない。トピックモデルの第一人者に聞く機械学習の未来 | TheWave
ディープラーニングは、人間の脳の中のニューロンとシナプスの回路をコンピューターの電子回路で真似て、それを何層にも重ねた手法。この手法が思いの外、成果を上げているので、人工知能に注目が集まっている。英誌エコノミストも最近の号で人工知能を特集するなど、ビジネスマンの間でも人工知能は今、ちょっとしたブームだ。 ディープラーニングは、人間の脳の中のニューロンとシナプスの回路をコンピューターの電子回路で真似て、それを何層にも重ねた手法。この手法が思いの外、成果を上げているので、人工知能に注目が集まっている。英誌エコノミストも最近の号で人工知能を特集するなど、ビジネスマンの間でも人工知能は今、ちょっとしたブームだ。 しかしディープラーニングのように人間の脳を模倣しなくても、コンピューターを賢くさせる手法はほかにもある。例えば「トピックモデリング」。トピックモデリングは、多数の文書を読み込むことで傾向を
やる気を出すための一番かんたんな方法（研究結果） | HuffPost Japan
気持ちを奮い立たせたい時は、自分に対してそう声をかけよう。そのほうが、「私はできる！」よりも効果があるのだという。
子への苛立ちは断ち切れるか？――母が子を正論で追い込む : MAMApicks -子育て・育児・教育ニュース＆コラムサイト-
子への苛立ちは断ち切れるか？――母が子を正論で追い込む 2014年08月01日12:00 カテゴリコラム Tweet 「もういいよっ、どうせ聞く気ないんでしょ、何度言ったって無駄なんだから！ もう勝手にしなよ！ だいたいいつもさ……そもそも自分の事に責任持ちなよ……」 あぁ、今日は朝からやってしまった。 これが母から子への苛立ちに満ちた言葉のスタートだ。そして理詰めの追及が延々と続く。 ■母が子を正論で追い込む 子どもを大人が正論で追い込むのは実に簡単だ。圧倒的に大人が強い。 正論は人を追い込みすぎること、時に現実的でないことを知っているから、通常の人間関係でそれを振りかざさないよう、結構気をつける。でも、子ども相手にこれが止まらない。 自分の満足行くところまで徹底的に言葉で追い込み、子どもが理解できる範囲はとっくに超え何の効果も生まない……母親自身、こんなアプローチが最悪なのは100％自
ぐるぐる思考を止める方法 - 黒猫のひとりごと
自分は、ぐるぐる思考をしてしまう。 ストレスを受け流せる人、受け流せない人 - 黒猫のひとりごと 止めたくてしょうがないこのぐるぐる思考。 実際に自分がやっているこのぐるぐる思考を止める方法を書く。 あくまで、一時的に止める方法であり、根本的な解決は認知治療など別の手段を使う方がよい。 結論からいうと、気にしてもしょうがないため、違う思考をする。 しかし、そんなこといっても止められないという人(自分)もいるので、具体的にやっている方法を書く。 自分は、ぐるぐる思考を止めるに、以下の３ステップを踏んでいる。 1.思考のクセを知る 2.気づき 3.コーピング 「1.思考のクセを知る」は、最初に実施するだけ。実際にぐるぐる思考が起ったら、「2.気づき」「3.コーピング」を実施する。 1.思考のクセを知る まずは、自分の思考のクセを知るために、自分の思考を振り返る。 例えば、納期が短い仕事を受けて
「死にたい」なんて絶対言うんじゃねえぞ - ライフ・イズ・カルアミルク
俺はメンヘラに冷たいし脳の良心を司る部位にまったく血が通ってないクソサイコパス野郎だから、インターネットに「死にたい」とか書き込む奴には絶対に同情なんかしない。バカだと思う。 人間は、自分が信じてることを言うんじゃない。 人間は、自分が言ったことを信じてしまう。 「死にたい」と言葉を発してはじめて、なるほど、俺は死にたいのだな…と納得する。そうして「俺は確かに死にたいはずだ」と、自分が死にたいと思うに値する、確実と思われる証拠を集めはじめてしまう。私はかくの如き状況下に置かれている。これはとてもつらい。ゆえに死にたくなるのも当然である。あなたもそう思うであろう。そういうふうに、実に論理的に考える。 そうして「死にたい」が自家中毒を起こして、ますます「死にたい」としか思えなくなる。バカだなと思うけど。 文章を書くとは、自分の体に毒を回すことでもある。書いた以上は、その書いた文字の表すとおりに
潜在意識は否定語を理解できない | nanapi[ナナピ]
潜在意識は否定語を理解できない に関するライフレシピをご紹介します。nanapi [ナナピ]は、みんなで作る暮らしのレシピサイトです。突然ですが、以下のようにいわれたらどうでしょうか？ 「ピンクの象をイメージしないでください」 こう言われると、多くの人がピンクの象をイメージしてしまいます。つまり「潜在意識は否定語を理解できない」という傾向にあります。 ということは・・・ たとえば、すごく緊張する場面で 「緊張しないようにしよう」 と思っても、脳は「緊張する」という風なメッセージで受け取ってしまいます。すると緊張がどんどん高まってしまいますよね。 こういう時は 「リラックスしよう」 と置き換えて言うとよいわけです。そうすれば、潜在意識も「リラックスをする」という風に受け止めてくれるわけです。 子供の教育にも これはお子さんに注意するときなどにも活用できます。 たとえば、お子さんにも 「散らか
ピークパフォーマンス
セミナー・DVDのお申し込みはインターネットでのクレジットカード決済に対応しています。 分割・リボ払いも可能です。 ※クレジットでのお支払回数 （1・3・5・6・10・12・15・18・20・24） メンタルコーチ 1965年 神戸生まれ。東京大学大学院(専門は臨床心理)修士課程修了後、心理学講師、カウンセラー、セミナーリーダー等を経る。 このホームページの目的は、 「人のモチベーション」を確実にあげる方法をお伝えし、 あなたをサポートすることです。 そのために大事なのは、まずあなた自身が、 「自分の可能性を信じられるようになり」、 「本当にやりたいことを見つけ」 「自分らしく、夢をかなえる」 この３つを自分の内側から引き出し、ありありと実感すること。 そして実行に移せること。 「自分にはどんな可能性があるか」 「何が好きで、何をやりたいか」 「自分にできる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LHH転職エージェント - Lの転職 | 厳選ハイキャリア求人をご提案
NLPとは人生のステージを高める心理学｜人生とビジネスで使える理由
Chainerの使い方と�自然言語処理への応用
Amazon.co.jp: 100%: ジェームス・スキナー: 本
Amazon.co.jp: キッパリ!―たった5分間で自分を変える方法 (幻冬舎文庫): 上大岡トメ: 本
ログミーBiz
“折れない心”の育て方～「レジリエンス」を知っていますか? - NHK クローズアップ現代
Amazon.co.jp: 人の心を操る技術―マインドリーディングと話し方で交渉もコミュニケーションも上手くいく: 桜井直也: 本