OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
自然言語処理の最新技術動向紹介
2020年12月16日（水）に行われた対話システム勉強会（第２回）での発表資料です。 https://cotobaagent-developers-community.connpass.com/event/196095/Read less
AIと公平性（入門編） - Qiita
はじめに ABEJAのアドベントカレンダーの第・・・何番目だろ・・・？？ ABEJAでは、法務担当者をやっています。 弁護士を10年ほどやっていますが、ふとしたことで機械学習の世界をやってみたくなり、独学で、数学書やPRMLや青本やカステラ本やグッドフェロー先生の本を読んだりして、数学やら機械学習理論やらPythonの勉強をしたり、OJTで学んで、3年ほどRDチームを立ち上げて、機械学習モデルの開発・実装や技術調査に携わっていました。今は、法務関係の仕事がメインです。 今日のテーマはAIと公平性です。 色々テーマはあるのですが、ABEJAの中の人のご希望により公平性にしました。 当初は他のアドベントカレンダーの記事みたいに、コードをいっぱい書いて、「公平性確保のためのいろいろな論文を実装して効果を試してみた」「公平性に関する定義について理論面を解説してみた」系の記事にしようかと思っていたの
PythonでApache beam 入門
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
NumPy221本ノックの本書いた - Qiita
1～2ヶ月ぐらいかけてNumPyの基礎～実装力をつけるための本を書きました。問題演習形式で221問収録してあります。 着想 以前この本を書いたのですが、ディープラーニングに行く前のNumPyでつまずいている方が結構多かったのです。例えば「np.meanのaxisってどうするの？」や「shapeが何だかわからない」というケース。そこをどうにかケアしようというのが今回の目的です。 NumPyの問題演習は昔からありまして、100 numpy exercisesが有名です。昔初心者の頃自分もやったことがあります。最初の方は良いのですが、あとの方が「これイマイチ何に使うんだろう」という疑問があったのです。今振り返ってみても「NumPyの問題としてはよくても、そこまで実践的ではないな」と多少不満点はありました。「それならもう自分で作ってしまおう」ということで本を書きました。 大事にしたところ 本書を書
SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita
0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
コンピュータビジョン（CV）の動向 2021 | gihyo.jp
はじめに 国立研究開発法人 産業技術総合研究所の人工知能研究センターに所属している、片岡裕雄と申します。研究者としてコンピュータビジョン（CV）やパターン認識に関する研究を行う一方で、研究コミュニティcvpaper.challengeを主宰して「CV分野の今を映し、トレンドを創り出す」ことにも挑戦しています。cvpaper.challengeには最新動向の日本語サーベイ資料や研究メンバーによる研究成果も載せています。今回の記事に書ききれない、より詳細な情報はぜひそちらをご覧ください。 今回の記事については、出身大学の大先輩・皆川卓也氏から話を受けて実現しました。皆川氏は2010年にコンピュータビジョンの業界動向を寄稿されているのですが、今回恐れ多くもその企画を受け継ぐことになりました。 それから11年、深層学習の隆盛とともに発展してきたCV分野の動向を述べるにはあまりにも紙面が限られていま
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 | Money Forward Kessai TECH BLOG
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 きづけば2021年ですね。12月末に書いたこの記事は年末休暇の関係で、公開がこのタイミングになりました。あけましておめでとうございます。 今回は、マネーフォワードケッサイが利用しているGCP/GKEのIngreeまわりを振り返ってみたいとおもいます。 創業初期 2017年3月時点ではGCPには証明書を自動的に作成する仕組みがなかった事もありますが、まだまだ証明証は信用の為にEVを買うという考えが強かったので、EV証明書とワイルドカード証明書を購入してIngressに設定してました。 証明書の自動作成と更新できるように ユーザが利用するドメインのみ購入した証明書を使い、社内利用のドメインは、cert-managerを利用して作成したLet’s Encriptの証
松尾豊さん、2020年の大きなトピックの1つは「GPT-3」 | Ledge.ai
『人工知能は人間を超えるか』（KADOKAWA）などの著書でも知られる松尾豊さん（2020年 年頭所感）より 一般社団法人日本ディープラーニング協会（JDLA）は2021年1月4日、AI（人工知能）研究の第一人者で、JDLA理事長も務める東京大学大学院工学系研究科 教授の松尾豊さんによる年頭所感を発表した。 年頭所感のなかで、松尾豊さんは2020年を振り返り、コロナ禍に進んだデジタルの浸透に触れ、2020年の大きなトピックとして、Open AIが開発した言語モデル「GPT-3」および、「ディープラーニングを含むAI技術の立ち位置が問い直される年であったこと」の2つを挙げている。 「デジタルに関しての浸透が一気に進んだ年でもあった」 「皆様、あけましておめでとうございます。 昨年は、コロナ禍により社会全体が大きな変化を余儀なくされた年でした。人々の日常生活や仕事に大きな影響があり、さまざまな
労働組合 加入者は全体の17％ 11年ぶりに前年上回る | 働き方改革 | NHKニュース
企業などで働く人のうち、労働組合に加入している人の割合はことし6月の時点で推定で17.1％と、11年ぶりに前の年を上回ったことが厚生労働省のまとめでわかりました。 厚生労働省によりますと、ことし6月末時点で労働組合に加入している人は1011万5000人で、去年より2万8000人増加しました。 企業などで働く雇用者数は5929万人と、新型コロナウイルスの影響で去年より94万人減少しました。 その結果、労働組合に加入している人の割合を示す組織率は推定で17.1％と、去年と比べて0.4ポイント高くなりました。 組織率が前年を上回ったのは2009年以来11年ぶりです。 主な団体別では「連合」が702万人（去年比＋2万9000人）「金属労協」が203万3000人（去年比＋1万3000人）「全労連」が73万8000人（去年比－1万7000人）などとなっています。 労働組合の推定組織率を民間企業の規模別
バイキング - アンサイクロペディア
この項目では、アトラクションについて記述しているばい! ヴァイキングにつ・い・て・は「海賊」を、定額で自由に好きなだけ食べられる食事につ・い・て・は「食べ放題」を、お笑いコンビにつ・い・て・は「バイきんぐ」をCHECK IT OUT!! はい!!! 概要 このアトラクションの仕組みは至ってシンプルで上がり下がりを繰り返すだけである。最近では加速が速かったり、一回転したりするものもあるが基本的に巨大なブランコであることに変わりはない。他の特徴はジェットコースターが土台から建設されているのに対して、バイキングは設置型のアトラクションなので持ち運びできる。つまり仮に閉園したとすると、遊園地と一心同体で錆びつき滅びを待つだけか解体されて鉄くずになるかどちらかの最後しか迎えられないジェットコースターと比べると、バイキングはどこかに置かれる可能性がある。 歴史 遊園地の花形と言われているジェットコース
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
巣ごもりDXステップ講座情報ナビ （METI/経済産業省）
AIに言葉の意味はわかるか 進化する自然言語処理 日経サイエンス - 日本経済新聞
Not Found
Google従業員が労働組合結成 利益優先を批判 - 日本経済新聞
