競技プログラミング、ソフトウェア・エンジニア、コミュニティ
なんか言及もされたのでアンサー的に書いてみたけど、アンサーには大してなってないな? ってやつです。一部で言及された、競技プログラミング (競プロ) 関係の話。 その前に、「プログラミングの競技」っていろいろあります。 短時間で問題に解答していく型 (ICPC / 情報オリンピック / AtCoder Regular / TopCoder とか)最適解が容易に求まらない問題のスコアを競う型 (SuperCon / AtCoder Heuristic / ISUCON / ゴルフ / ICFP Programming Contest の一部とか)対戦型 (ICFP Programming Contest の一部とか、最近のはあんまり知らないですが RoboCode / Imagine Cup とか)謎解き型 (ICFP Programming Contest で何回かありましたね。 UMIX
超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
自分がGoogleに入った時の話
自分がGoogleに入った時の話 はじめてこの社名を知ったのは、高校生の時。自他共に認めるパソコンオタクだったぼくは書店で月刊アスキーを立ち読みしていた。そこで、新しく登場した検索サービスについて丸々1ページ使って紹介されていた。その速さの秘密は、インターネット全体をメモリに載せて処理をしているかららしい。信じられない量のメモリを持っている謎の会社。それがGoogleをはじめて知った瞬間だった。 大学は東大に進んだ。志望した主な理由はお金がある大学だと聞いたから。なぜお金が大事か？それはお金がないと速いコンピュータが買えないから。高性能なコンピュータが使いたかった。幸い無事に入学でき、その後無事に志望していた理学部情報科学科に進学した。そこには数百台程度のクラスタがあって、それらを使って友人らとオセロのAIの開発を競った。なぜそんなことを熱心にやっていたのか正直わからない。自分にとっては小
OSSベースの機械学習が強い理由
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
友達がほしいです
今日は、今まで僕がインターネットにあまり書いてこなかった、個人的なことを書きます。 これを読んでいるのは、僕のことを知っている人でしょうか。それとも知らない人でしょうか。知らない人は、初めまして。実は僕にはずっと友達がいなくて、つらい思いをしています。今までなんとかごまかしてたけど、最近はいろいろあってごまかしきれなくなってきました。なのでこれを見て、友達になれそうな感じがもしあったら、連絡をください。出来れば同性の方がいいです。 こういうかたちで友達を募集するのは、かなり滑稽だと思うし、多くの人はこんなことしなくても自然に、あるいは頑張って友達を作ってるのだと思います。こういうことを書くようなメンタリティだから友達ができないのだ、というお叱りもあるかもしれません。ただ、自分ではもう、友達をどう作ったらいいかも分からなすぎて、こういう方法をとるしか思いつきませんでした。 僕は、Facebo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nyle Engineering Blog
