超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
新技術はなぜ浸透しないか？PSVR発売日とタクシー運転手さん
2016/10/13 予約したPlayStation VR(PSVR)を受取りに有楽町のビックカメラに行った。その帰りにタクシーに乗った時のエピソード。その時の運転手さんはラジオDJのようなほんと軽快なトークで非常に楽しかったのと心に残ることがあったので思い出して書き起こした。 当時の様子（著者撮影）６９歳のタクシー運転手さん（以下 タ） GOROman (以下 G) G 「ーーー（目的地）までお願いします」 タ「あー、そのビルだったら反対車線ですよ。遠くなるから、降りてあっちから乗った方がいいですよ。」 G 「そうですか。。。まあ、いいですよ。お願いします。」 タ「 いいの？じゃあこのまま真っすぐ行って遠くなっちゃうけど。」 （しばらくして、後ろをチラチラ気にする様子） タ「お客さん、その紙袋の気になってるんだけど何？？朝からそれ買って持ってる人みてるんだよ。」 G 「これですか？これは
金融を“サービス”として再発明するための技術スタック
こんにちは。Finatextでエンジニアのマネジメントをしている河本です。 当社は「金融を“サービス”として再発明する」をミッションとして掲げ、ビジネスの成長とともに技術領域も拡大させてきました。 エンジニアチームは今、私たちが「BaaS (Brokerage as a Service)」と呼んでいる証券サービスのためのシステム基盤と、そのBaaS上のサービス開発に力を注いでいます。 今回は、そんな当社の技術スタックについて紹介したいと思います。 開発環境・CI/CDGitHubSwaggerSonarCloudPostmanTerraformAWS CodeBuildAWS CodePipelineコードはGitHubで管理され、API 仕様管理には Swagger が使われています。SonarCloud を用いてソースコードの健全性やテストカバレッジの可視化を行っています。API開発の
Raspberry Pi 4 で構築する録画マシン | 空気録学電子版【公式】
🍓 Raspberry Pi 4 が買えるようになりました2019年11月、待望の Raspberry Pi 4 技適取得版が発売されました。H.264 ハードウェアエンコーダを搭載した、リッチなシングルボードコンピュータです。2020年5月28日には 8GB メモリ搭載の上位モデルも登場しています。 はたしてこれは何をするためのデバイスなのでしょうか？ そうです、録画ですね。もうテレビの録画をするために高価なパソコンを購入する必要はありません。5000円台から入手できるマシンを利用して、安価に録画サーバーを構築することができるようになったのです。 この記事では Raspbery Pi 4 を利用した Mirakurun + EPGStation での録画サーバー構築方法と、ハードウェアエンコーダを利用した録画ファイルのエンコードについて解説を行います。 筆者の⾃宅で運⽤している録画サー
GCPにセキュアな踏み台サーバーを作成する
TL;DR GCPのIdentity-Aware Proxy(IAP)を利用すると、手軽かつセキュアに自宅などから踏み台サーバーへのアクセスを実現できます。加えてオンプレミスとGCPで拠点間VPNが構築できると、社外からGCPを経由してオンプレミスへセキュアにアクセス可能です。 昨今の状況を含め突発的な出来事により、社内にある環境に社外からアクセスする事が必要になるケースは無いでしょうか？ 今まではダイヤルアップ型のVPNを構築する、踏み台サーバー(要塞ホスト)を構築するといったやり方で解決が図られて来ましたがどちらのやり方もエンドポイント(VPN Gateway、踏み台サーバー)へのセキュリティ対策を綿密に行う必要があるため実装には多くのコストがかかります。 社外から社内へアクセスする際のイメージ今回はGCPを使ってセキュアかつ簡単に社内へアクセスできる環境を構築する方法をご紹介します。
[翻訳]”URL”の歴史 — Cloudflare Blog
こちらは翻訳記事となります。原著者の許諾を得て翻訳・公開しております。 英語記事: The History of the URL原文公開日: 2020/03/05著者: Zack BloomURL: https://blog.cloudflare.com/the-history-of-the-url/ 1982年1月11日、22 人のコンピュータ科学者が「コンピュータメール」(今日の電子メール）の問題を議論するために集まりました。議論の参加者にはサン・マイクロシステムズを作った人、Zork の開発者に NTP の開発者、そして政府に Unix の支払いをするように説得した人も含まれていました。 問題は単純で、 ARPANET にある455台のホストが制御不能に陥っていたのです。 この問題は、ARPANET がもともとの NCP プロトコルから、今日の”インターネット”と呼ばれる TCP/I
![[翻訳]”URL”の歴史 — Cloudflare Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d08fa716709e9ce713da4039682c4ddc6011178/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fda%3Atrue%2Fresize%3Afit%3A514%2F0%2AvGh9FcrsUeIMw0DK.gif)
モデリングから考える長期的なCOVID-19戦略
青が何も介入をしなかったとき、黄色が4月8日から8割の接触を減少させたときです。 4月8日から接触を8割カットすると、新規患者数は4月17日頃にピークを迎え、その後減少が予想されます。5月8日から普段通りの生活に戻ると再度感染者は増加する。 長期的に見ると 波は横にずれますが、形はほとんど変わりません。ピーク時の1日の新規感染者数が120万人となると到底医療システムが成り立ちません。 ところで、「集団免疫」という言葉がかなり聞かれるようになりましたが、免疫をもつ人が人口のある程度の割合（この割合は病原体それぞれの感染力や人々の接触パターンによりますが）に達した時に、感染拡大は収まります。 逆に集団免疫の状態に到るまでは一時的な措置を取っている間は感染拡大がおさまってもそれをやめると再燃する、というジレンマがあります。 厳しい外出制限をこのまま永遠に（ワクチンが開発されるまで）しなければいけ
「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」を１年掛けて整理した
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
The best ways to test your serverless applications
Serverless is more than a cloud computing execution model. It changes the way we plan, build, and deploy apps. But it also changes the way we test our apps. Meet Alex. Alex is an ordinary JavaScript developer, focused on Node.js lately. This is AlexOver the last couple of months, his good friends, Anna and Jeff, are always talking about that serverless thingy. Even through they are annoying from t
[翻訳]ShopifyにおけるRuby on Railsで速いコードを書く方法
こちらの記事は翻訳記事となります。 原著者の許諾を得て翻訳・公開しております。 英語記事: How to Write Fast Code in Ruby on Rails原文公開日: 2019/10/08著者: Gannon McGibbonURL: https://engineering.shopify.com/blogs/engineering/write-fast-code-ruby-rails はじめにShopifyでは、ほとんどのプロジェクトの開発フレームワークにRuby on Railsを使用しています。 RailsとRubyはともにパフォーマンスに対するスティグマ（偏見）が存在します。 多くの個人や企業が、Rails以外での解決方法を探しています。 しかし一方で、私たちShopifyではRuby on Railsを採用して、毎分何百万ものリクエスト（requests per
![[翻訳]ShopifyにおけるRuby on Railsで速いコードを書く方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/30f8dce642738cd4af3a29747660c560f0d98458/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fda%3Atrue%2Fresize%3Afit%3A1200%2F0%2Ao26-6XGJfoafCjrd)
ミルクボーイがアジャイルを説明したら
序章駒場「最近、うちのおかんがシステム開発に興味を持っててなぁ、名前は忘れたらしいんやけど、迅速に開発できて、仕様変更にも対応できる、素晴らしい開発手法を取り入れてるところがあるらしいんやわ〜。」 内海「そんなもんアジャイルに決まってるがなぁ〜! 今やシステム開発と言えば、アジャイル。素早く変化に対応できるってゆーのが特徴なんよ。そもそも名前が “迅速” を意味する英語やねんから、アジャイルに決まってるがなぁ〜。」 チームの人数駒場「最初、オレもそう思たんやけどな、なんでも 40 人ぐらいで開発してるらしいんやわぁ〜。」 内海「ほなぁ、アジャイルちゃうかぁ…。アジャイルでは 5〜9 人ぐらいが推奨されてるからなぁ〜。40 人もおったら、とてもやないけど、コミュニケーションが成立するとは思われへんなぁ〜。効率の悪い伝言ゲームになるのは目に見えてるからなぁ〜。おかん、他にもなんか言うてなかった
Go言語の思想とエウレカでの5年間の活用
こんにちは、こんばんは。CTO の kaneshin です。エンジニア組織のマネジメントに多く時間を割いていますが、技術的な方面では Go と GCP を掛け合わせて Nature Remo + Go + Cloud Functions + BQ を駆使して、部屋の温度・湿度・照度や人体センターの検知を趣味で少しずつ開発しています。 クラウドサービスをはじめとしたマネージドサービスが主流な界隈にとって、今までアプリケーションの責務として実装していたところをマネージドサービスに責務を委譲することができたりするので、アプリケーションを複雑に実装しなくて済むようになっていますし、保守・運用の観点からもそのような設計方針をよく目につくようになりました。 例えばバッチ処理でデータを ETL 処理の設計を責務分割するのは良い例でしょう。 Data Transformation with Cloud D
バッチ処理のスケジューリングパターン
この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについてご紹介したいと思います。以下、８パターンあげてみました。とはいえ、最後の3つは GCP のバッチスケジューリングという観点からは少し外れますが、バッチの起動時に使われるということでご容赦を。 Cloud Scheduler : フルマネージドな cron ジョブスケジューラです。フルマネージドという点が非常に大きなメリットであり、多くの処理を自動化し実行することが可能です。Google App Engine cron サービス : HTTP GET を利用して、特定の URLを呼び出します。Google AppEng
Not Using Serverless Yet? Why You Need to Care about re:Invent 2019’s Serverless Launches
Why Container Devs Need to Care about re:Invent 2019’s Serverless Launches Another re:Invent is over, and an army of weary AWS employees have flown back home, their launch tasks complete. The AWS Serverless teams, including AWS Lambda, Amazon API Gateway, AWS Step Functions, Amazon EventBridge and others were especially prolific in in the run up to, and during, re:Invent. But what does it all mean
Cloud Run が GA になったから改めて色々見てみる
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 7日目の記事です。 本記事で触れるのは Fully managed 版の Cloud Run のみです 🙇 みなさん、こんにちは。Google Cloud の Kazuu( かずー ) です。2019 年 4 月 9 日に Fully managed 版の Cloud Run が Beta としてリリースされてから半年以上経ち、去る 2019 年 11 月 14 日にとうとう GA となりました㊗️ 本記事では GA に至るまでにどんな機能が主に追加されてきたのかリリースノートの時系列で見ていきたいと思います。 Cloud Run の基本的なところを知りたいという方は Next Tokyo の動画や Cloud OnAir も併せてご覧ください。Cloud
GCP の IAM をおさらいしよう
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 6日目の記事です。 TL;DR本記事ではGoogle Cloud Platform (GCP) での ユーザーや権限を管理する IAM について整理していきます。 はじめにクラウドを使う上で、ユーザー管理や権限管理は重要ですよね。GCP を使う際に、どのようにユーザー管理できるのか、権限管理や認証を整理してみようと思います。GCP では権限管理を Identity and Access Management（ IAM ）というもので管理しています。IAMでは、誰が、どのような操作を、何に対して行えるかというものを定義・管理します。これによりアカウントの追加・削除や権限付与がシンプルになり、管理が容易になります。 IAMのユーザーと権限GCP で利用できるアカウ
テックブログ、登壇、イベント…会社で技術広報を継続して行うためのガイドライン
※こちらの記事はZeals Advent Calendarの記事となります。面白そうなので参加してみる みなさんこんにちは。 チャットボット開発のスタートアップ…から最近転職した福本です。 リアクション頂いたみなさんありがとうございました転職してからブログをサボっていたのですが（すいません）、新しい職場にも徐々に慣れてきたので、ブログに限らず今後もアウトプットを続けていればと思っております。 さて、今回はタイトルにもある通り「技術広報」についてです。 前職であるZealsではそれなりに技術広報活動に打ち込み、テックブログをほぼ毎週の頻度で更新したり、情報を発信していく文化をそれなりに作ることができたと自負しております。
Google Cloud Japan Customer Engineer Advent Calendar 2019
https://medium.com/google-cloud-jp から派生したGoogle Cloud Japan の Customer Engineer (CE) が 書く Advent Calendar 2019 です。CE 達が是非紹介したい機能、いままで培ってきたノウハウ、知っておくと便利なTipsなどを公開予定です。 google-cloud-jp はGoogle Cloud Platform 製品などに関連するコミュニティが記載したテクニカル記事集です。掲載された意見はすべて著者個人のものであり、必ずしも Google のものを反映するものではありません。 12/1Kubernetes とGCPの世界をつなぐアクセス管理のはなし (Hiroki Tanaka)12/2Apache Hadoop のデータを BigQuery で分析するための移行手順 ( Keiji Yosh
エンタープライズ版でクライアント情報もセキュアに管理。株式会社はてなのScrapbox利用術
コンテンツプラットフォームを軸にさまざまなソリューションを展開している「株式会社はてな」。 「はてなブログ」や「はてなブックマーク」「人力検索はてな」など、そのサービスは多くの人の生活に馴染み、さまざまなシーンで利用されています。 同社は2019年の4月からドキュメント共有サービス「Scrapbox」を使い始めました。そして、現在はエンタープライズ版を導入し、サービス開発に関わる部署全体に浸透させるべく利用の促進を図っている真っ最中。 今回は同社におけるScrapbox活用の発案者であるhitode909様と、同社に入社して初めてScrapboxを利用したmaku693様の2名に、その使い方についてお話を伺いました。 hitode909様（以下「hitode」） 株式会社はてな サービス・システム開発本部 アプリケーションエンジニア maku693様（以下「maku」） 株式会社はてな サ
EOF2019 スピーカー＆発表資料一覧
2019/10/31 にEngineer Organization Festival 2019 が開催されました！ 早速タイムテーブル順のスピーカー＆発表資料一覧をまとめましたので，ご活用ください。※ 資料公開後，順次更新していきます 11:00–11:45質とスピード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
