超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
金融を“サービス”として再発明するための技術スタック
こんにちは。Finatextでエンジニアのマネジメントをしている河本です。 当社は「金融を“サービス”として再発明する」をミッションとして掲げ、ビジネスの成長とともに技術領域も拡大させてきました。 エンジニアチームは今、私たちが「BaaS (Brokerage as a Service)」と呼んでいる証券サービスのためのシステム基盤と、そのBaaS上のサービス開発に力を注いでいます。 今回は、そんな当社の技術スタックについて紹介したいと思います。 開発環境・CI/CDGitHubSwaggerSonarCloudPostmanTerraformAWS CodeBuildAWS CodePipelineコードはGitHubで管理され、API 仕様管理には Swagger が使われています。SonarCloud を用いてソースコードの健全性やテストカバレッジの可視化を行っています。API開発の
「収容施設」が増えすぎた都市はどうなるのか？
オーバーツーリズムの諸問題世界の歴史都市は、オーバーツーリズムの話題でかしましい。 オーバーツーリズムの定義をめぐっては様々な見解が提示されている。オーバーツーリズムは一見不思議な用語である。何が「オーバー」なのだろうか？欧州議会によれば、オーバーツーリズムは、ある場所・ある時間において観光客が過剰に集中することで、物理的要素（インフラや空間）、社会的要素（ホスト、ゲスト、市民等の諸アクター）、経済的要素（観光エリア）、環境的要素（騒音、大気汚染、水の使用量、水質等）、心理的要素（住民や観光客が感情的に耐えられるか）、政策的要素（行政が過剰な観光をマネジメントできるか）、がその地域の閾値を超える状況のことを指す[European Parliament, 2018]。 「マスツーリズム」がコミュニティを壊す（バルセロナでの反観光を訴える横断幕）わが国では、オーバーツーリズムの問題はし
Raspberry Pi 4 で構築する録画マシン | 空気録学電子版【公式】
🍓 Raspberry Pi 4 が買えるようになりました2019年11月、待望の Raspberry Pi 4 技適取得版が発売されました。H.264 ハードウェアエンコーダを搭載した、リッチなシングルボードコンピュータです。2020年5月28日には 8GB メモリ搭載の上位モデルも登場しています。 はたしてこれは何をするためのデバイスなのでしょうか？ そうです、録画ですね。もうテレビの録画をするために高価なパソコンを購入する必要はありません。5000円台から入手できるマシンを利用して、安価に録画サーバーを構築することができるようになったのです。 この記事では Raspbery Pi 4 を利用した Mirakurun + EPGStation での録画サーバー構築方法と、ハードウェアエンコーダを利用した録画ファイルのエンコードについて解説を行います。 筆者の⾃宅で運⽤している録画サー
e-Residencyの取得を検討しているなら、まず最初に読んでほしい記事
2014年12月にローンチされたe-Residency。 2019年時点で世界の登録者は50,000人を超え、日本からも約2,500人のe-Resident（電子国民）が誕生しています。安倍首相もe-Residentの1人として登録を受けていることは有名です。 一方で日本人の多くが、まだまだe-Residencyのメリットやデメリットを本当の意味で理解せず、とりあえず取得している方が多いかと思います。 今回、現地エストニア在住者の視点から、2019年最新版のe-Residency事情を大解説し、取得のメリット・デメリットや、どんな人がe-Residencyを取得するべきなのか、解説していきたいと思います。 そもそもe-Residencyとはe-Residencyは、エストニア政府の電子プラットフォームを自国民のみならず、外国人向けに開放したプログラムです。意外に思われるかもしれませんが、エ
[翻訳]ShopifyにおけるRuby on Railsで速いコードを書く方法
こちらの記事は翻訳記事となります。 原著者の許諾を得て翻訳・公開しております。 英語記事: How to Write Fast Code in Ruby on Rails原文公開日: 2019/10/08著者: Gannon McGibbonURL: https://engineering.shopify.com/blogs/engineering/write-fast-code-ruby-rails はじめにShopifyでは、ほとんどのプロジェクトの開発フレームワークにRuby on Railsを使用しています。 RailsとRubyはともにパフォーマンスに対するスティグマ（偏見）が存在します。 多くの個人や企業が、Rails以外での解決方法を探しています。 しかし一方で、私たちShopifyではRuby on Railsを採用して、毎分何百万ものリクエスト（requests per
![[翻訳]ShopifyにおけるRuby on Railsで速いコードを書く方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/30f8dce642738cd4af3a29747660c560f0d98458/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fda%3Atrue%2Fresize%3Afit%3A1200%2F0%2Ao26-6XGJfoafCjrd)
ミルクボーイがアジャイルを説明したら
序章駒場「最近、うちのおかんがシステム開発に興味を持っててなぁ、名前は忘れたらしいんやけど、迅速に開発できて、仕様変更にも対応できる、素晴らしい開発手法を取り入れてるところがあるらしいんやわ〜。」 内海「そんなもんアジャイルに決まってるがなぁ〜! 今やシステム開発と言えば、アジャイル。素早く変化に対応できるってゆーのが特徴なんよ。そもそも名前が “迅速” を意味する英語やねんから、アジャイルに決まってるがなぁ〜。」 チームの人数駒場「最初、オレもそう思たんやけどな、なんでも 40 人ぐらいで開発してるらしいんやわぁ〜。」 内海「ほなぁ、アジャイルちゃうかぁ…。アジャイルでは 5〜9 人ぐらいが推奨されてるからなぁ〜。40 人もおったら、とてもやないけど、コミュニケーションが成立するとは思われへんなぁ〜。効率の悪い伝言ゲームになるのは目に見えてるからなぁ〜。おかん、他にもなんか言うてなかった
「謎水事件」日本システム企画社のNMRパイプテクター問題
株式会社日本システム企画（以下、日本システム企画社）が販売している商品で、マンションなど集合住宅において水道管に外側から「NMRパイプテクター」と名付けられた装置を取り付けると、管の中の赤錆が黒錆に変わるため配管設備を更新しなくても数十年保たせることができる、という通称「謎水装置」と言われる機器が販売されています。 そもそも仕組みが良く分からないので、私たちのような大規模タワーマンションの管理組合などでは「そのような機序が不明な装置を入れるべきではない」という判断も働くのですが、老朽化が進み、管理組合や住民に科学リテラシーがない人たちが多いと「少しでも配管保守工事が先延ばしにできるなら」とこの機器を採用してしまう物件があるということで、問題になっていました。 単に、科学的根拠が分からない製品がそれなりの高額で売られているという案件であるというだけでも大変なことなのかなと思います。しかしなが
Google Apps Script は何が強くてどんなときに使うべきかプラクティスをまとめてみた
はじめにGoogle Apps Script は無料で色んなことが実現できるため、ついつい「全て GAS でやっちゃおう」みたいな話になりがちです。Google Apps Script も万能ではないので、強み・弱みを理解した上で他の選択肢と比較して使うのをお勧めします。 Google Apps Script のプロジェクトを 2–30 個作ってきた中で、自分なりのプラクティスをまとめてみます。 この内容は Cloud Next ’18 in Tokyo で登壇したときの内容を含んでいます。この登壇から半年以上経ったのでアップデート部分も以下にまとめています。 Google Apps Script の強み・弱みまず、強みと弱みについてまとめてみます。 強み 1. Google Apps の API を簡単に呼び出すことができる一番の強みはこれだと思います。Google Apps Scrip
国内キャッシュレス決済カオスマップ (2019年6月版)
予想以上に反響が大きかった前回 2019年1月版 から約5ヶ月が経過し、日本の元号も平成から令和と変わりました。やっと最新状況をまとめる時間が少し取れたので、前回のアップデート版として「国内キャッシュレス決済カオスマップ (2019年6月版)」を公開します。 2019年前半を振り返ると、特にスマホを中心とした対面/店舗でのQRコード決済における新規参入が多く目立ちましたが、ここに来て新規参入に関してはピークを迎えつつあります。キャッシュレス推進自体はこれからですが… 今年後半にかけて各社戦略が出揃い、特に個人 (B2C) 向けはいわゆるキャズム超え (Early AdopterからMajorityへの突破) が可能なキャッシュレス手段/プラットフォームだけが国内市場で残っていくのではと予想しております。 支払い手段のまとめ方は前回同様、大きく3つの切り口です。予想通り、今回カテゴリーとして
美少女声への変換と合成
Introduction今までは主に可愛い女の子の画像(or 動画)を生成することに取り組んできましたが、画面上に映せるようになったらやはり可愛い声で話して欲しいものです。そこで今回は、別の人の声が与えられた時に美少女声へと変換するための声質変換と、テキストが与えられた時に美少女声を生成するText-to-Speech(TTS)を行なった試行結果について述べようと思います。 Voice ConversionIntroduction声質変換のデータには2種類あります。それが、パラレルデータとノンパラレルデータです。以下にそれぞれの特徴を述べていきます。 パラレルデータを用いた声質変換 同じセリフを発する2種類の声を学習データとして用います。発話内容が同じのため、言語特徴を気にせず音響特徴量の変換を行うことが可能です。しかし、話速の違い等によって言葉を発するタイミングがずれてしまうのでDyna
うわっ、私のサイトBootstrapくさすぎ!? たった数文字変えるだけでBootstrapのくさみが抜ける7つのCSSテクニック。
なんか、このサイトBootstrapくさい。そう感じることはありませんか? その理由はズバリ、欧文ベースでつくられたフレームワークを文字構造の違う日本語で適用した際に不都合が出てしまっているからです。 それらが醸し出す違和感を放っておくと、Bootstrapくささを生み出す大きな原因になってしまいます。 そもそもの問題として、欧文と比較して和文は文字の要素が多く、文字自体のリズムも少ないため、どうしても複雑で単調に見えてしまいます。 しかし、和文だからといってあきらめることはありません。BootstrapのCSSを少しだけ変えるだけでグッと見た目がよくなる隠し味をご紹介します。 1. line-heightで行間にゆとりを。明朝やゴシックなど、フォントの種類が言葉の印象を表すように、文字の行間は読みやすさ、文章全体の雰囲気を左右します。 欧文をベースに設計されたBootstrapをそのまま
Airbnbが教えてくれたスタートアップをスケールさせるための7つの教訓
In 2012, shortly after Airbnb acquired our startup, I overheard one of the co-founders (Joe Gebbia) giving guidance to… 彼がやっていたスタートアップがAirbnbに買収されてから7年間、Airbnbでプロダクトをスケールさせた経験から得られた7つの教訓を書いている。スタートアップ関連のブログは数多くあれど、これは最近読んだ中でもずば抜けて秀逸。ここに書かれていることはどんなスタートアップにもあてはまるだけではなく、コーポレートでイノベーションを起こそうとしている人、新規事業に取り組みたい人にも役に立つヒントが満載である。ここで紹介されている7つのポイントを簡単に取り上げるが、ぜひ時間をかけてゆっくり全部を原文で、さらにはそこからリンクされている記事も良記事ばかりなのでそち
自分がGoogleに入った時の話
自分がGoogleに入った時の話 はじめてこの社名を知ったのは、高校生の時。自他共に認めるパソコンオタクだったぼくは書店で月刊アスキーを立ち読みしていた。そこで、新しく登場した検索サービスについて丸々1ページ使って紹介されていた。その速さの秘密は、インターネット全体をメモリに載せて処理をしているかららしい。信じられない量のメモリを持っている謎の会社。それがGoogleをはじめて知った瞬間だった。 大学は東大に進んだ。志望した主な理由はお金がある大学だと聞いたから。なぜお金が大事か？それはお金がないと速いコンピュータが買えないから。高性能なコンピュータが使いたかった。幸い無事に入学でき、その後無事に志望していた理学部情報科学科に進学した。そこには数百台程度のクラスタがあって、それらを使って友人らとオセロのAIの開発を競った。なぜそんなことを熱心にやっていたのか正直わからない。自分にとっては小
革新的な26のVenture Capitalとそのパフォーマンス
※この記事は元記事の筆者に許諾をとった上で掲載しています。 はじめまして、最近East Venturesで働くことになりました村上です。 「Twitterちゃんとやろうぜ」ってことなので、フォローしてもらえると嬉しいです…！ @yu8muraka3 さて、今回はこちらのMediumの記事を元に、26の革新的なVCについての解説とパフォーマンス（といってもリターンベースではありませんが）を調べてまとめて、興味深い順に並び替えました。ただすごく長いです…！ https://medium.com/startup-grind/the-most-innovative-venture-capital-firms-baba2d5a7b38 元記事を書いてるのは、Stefano Bernardiというエンジェルやってたり、EthereumのプロジェクトのAragonのExclusive directorや
Google神格化キット. Googleを神格化し、使用者に神の要素を与えるChrome拡張 | by 甲南女子大学文学部メディア表現学科／編集・インターネット研究ゼミ | Medium
1.はじめに「Google神格化キット」は、Google[1]を既存の神に変わる存在とし、普段我々が日常的に行う。インターネット上の行為である「検索」を演出した作品である。 現在コミュニケーションや、商取引などあらゆる役割が集約されたインターネットは、社会に既存の施設やコミュニティなどのあらゆる要素を取り込み、我々の生活になくてはならないものとなっている。欲しい商品についての情報を検索し、購入までの行為を全てインターネット上でいつでもどこでも行える他、日本にいながらリアルタイムで海外情勢知ることができ、友人と情報共有が手軽にできる。今やインターネットは新たなライフラインとも言えるべき存在である。 インターネットに集約されたあらゆる要素の中には宗教も入っている。島田裕巳は『スマホが神になる』で、宗教要素の一因である「コミュニティ形成」や「救済」をインターネットが担いつつある現象について「神に
2019年の予想
2019年の予想 三年ほど続けた来年度予報。その前に、今年は60冊ほど本を読んでました。(殆どがアマゾンで購入する為履歴を確認できる。) 最近勉強すればする程、マクロ経済について、しっかりとデータを集めて関係性を理解できてないのだなと情けなくなります。物理学ほど明確に答えが出ないので終わりのない迷宮のような気もしますが。 さて、2017年はビットコイン来るよと予測し、2018年は市場がクラッシュするだろうと2017年に書いてました。2018については仮想通貨については、少し深追いした予想だったと思いますが、動画が普及した年になったかなと思います。 2019年はどういう年になるのか？日本はテーマは引き続き無人化x人工知能。マクロ環境として生産年齢人口が益々減ります。SaaSが伸びるのも、採用関連のビジネスが伸びるのも全て、有効求人倍率が上がり続けるから。景気は2019年後半から悪くなるでしょ
10年後の転職市場で起きること
定量的な根拠はないけれど、私が身近で感じ始めている転職市場の変化は将来の市場の大きな流れになる気がする。なぜだかわからないけれど、ほぼ確信としてそう思っている自分がいる。 でも多分これはみんなもなんとなく思っていることなんじゃないかなと思う。YOUTRUSTを作ることで、それを加速できるならすごく嬉しいし、もしかしたらもう３年後にはそんな世界になっているかもしれない。 「転職活動」という概念はなくなる10年後の転職市場では、一旦フリーランスになって数社手伝って一番エキサイティングだと感じたところに入社したり（わざわざ正社員として入社する必要もないのかもしれない）、副業してみて面白かったのでそっちを本業にする、というのが普通になっていると思う。 なぜ今までこれをみんなやらなかったのか不思議なくらい、理にかなったキャリアの見極め方だと思う。自分の周りにもポツポツこういう方法で次の仕事を見つける
メルカリの小泉さんと組織の課題について話したら恐ろしい程勉強になった話 – tsukuruba – Medium
僕の中で仕事人生に影響を与え続けてくれている三大COO（と勝手に呼んでる人たち）がいる。 一人目がアカツキ共同創業者COOの香田哲朗くん、二人目がフリークアウト(元)COOで現hey代表の佐藤裕介さん、そしてメルカリ社長兼COOの小泉文明さんだ。 それぞれ社長もできる人だが、COOとして事業及び組織の構築も構造的分析もハイレベルにできる。恐ろしく広域のアビリティを持ち、バイタリティとバランス感覚に優れ、超人的な仕事量をこなす人たちである。 そのうちのお一人であるメルカリ小泉さんと1on1させてもらう機会があり、その話が組織の課題に悩む他の人にもとても有用だと思ったのでメモを公開させていただくことにした。（ほんとにメモなんで乱文ご容赦ください） ツクルバでは組織・文化づくりに社をあげて徹底的に投資していく方針なので、非常に参考になった。 ＊＊＊以下メモ＊＊＊ [お題] メルカリで急激に組織を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Librize – Medium