ディープラーニングのフレームワークと特許戦争
6. BN (Batch Normalization) 代替へ • Google特許は dropout, word2vec, DQN 等もよく知られているが、BNほどの出願国数は稀 • BNの代替手法開発は優先度高 Group Normalization [Yuxin Wu+, ECCV2018] https://arxiv.org/abs/1803.08494 • “batch of training examples”を必ずしも必要としない正規化層 • 特許制度がイノベーションを促進した好例なのでは 特許を交えた企業間の研究開発競争が進んでいる 8. Apache License 2.0 特許条項 日本語参考訳（ https://ja.osdn.net/projects/opensource/wiki/licenses%2FApache_License_2.0 ） 正文（ http:/
パラメタ数1.5Bのgpt2-XLを学習した話
この度、gpt2論文を参考に最大サイズのgpt2の日本語版モデルを学習し公開いたしました。 この記事では学習にあたり工夫した点や問題点等を書き連ねます。シングルノードですが比較的大きなモデルを学習しているので知見などを共有できればと思います。 なお学習はA100(40gb)8枚のノードを使って合計70日程かけて学習しました。 現在公開されているdecoder系モデルのうち今回作成したモデルに近い規模のモデルは知る限り2つあり、こちらはgpt3論文を参考にパラメタ設定をしていると考えられ、今回作成したモデルとは層の深さと隠れ層の次元が異なります。 https://huggingface.co/rinna/japanese-gpt-1b https://huggingface.co/yellowback/gpt-neo-japanese-1.3B rinna/japanese-gpt-1bは生
dbt の導入、毎日30分の輪読会でチームに浸透させる - Techtouch Developers Blog
テックタッチアドベントカレンダー15 日目担当の teru です。今年の個人的ベスト家電はスマートフォンで見れるネットワークカメラでした。子ども達が寝室で寝ている様子を確認しながら家事ができるのでとても便利です。 きっかけ 輪読会の準備 輪読会の実施 やってみてどうだったか 良かった点 気になった点 終わりに きっかけ 13 日目の記事 でも触れているように、弊社でデータ分析基盤のモデリング用途に dbt の利用が始まりました。私の所属する分析運用チームでもこの流れに乗って、dbt を使って分析業務に関わる範囲のデータテーブル構築を自分たち自身で行えるように取り組むことにしました。 分析運用チームには、この記事を書いている時点で私を含む 2 名が在籍していました。二人とも BI ツールを用いて SQL クエリを書いたりレポートを作成したりといったデータアナリストの業務経験はありましたが、d
ふたたび畑を借りて野菜を作り始めた - 偏った言語信者の垂れ流し
この記事は pyspa Advent Calendar 2022 の3日目の記事です。昨日は @hiroakis_ の 中古マンションを買ってリノベした でした。 今年の夏から畑を借りて野菜を作り始めたのでその話。どんな感じに始めるのか、費用感など。 畑を借りた（３年ぶり、２回目） 市内の民間の農園で4m×5mの小さい畑を貸してくれるところがあり、そちらで畑を借りました。 この農園の畑は３年に一度募集を行っていて、一年ごとの契約更新で最大３年間借りることができます。 以前、2016年～2018年にこの農園を利用していたことがあり、３年間を空けて２回目の利用になります。 以前借りていたときに書いた記事（Advent Calendarでしか畑の話をしてない） 2018年 2017年 2016年 この農園は年間1万円程度で借りることができて、水道や倉庫も利用できるので、かなりリーズナブル。 今年
OSの登場
OS の登場 前回とりあげた、MEMEX から NLS の間というのは非常に長い期間になっています。 今回は、前回と同じ期間で、MEMEX から NLS に至る流れとは別の流れ、「OS の登場」を追ってみようと思います。 目次 自動プログラミング FORTRAN モニター MULTICS UNIX BSD 1950年のEDVAC の登場で、コンピュータは「技術」の問題ではなく「学術」的研究という俎上に乗せられることになりました。目指すべき方向性が明確に示されたことの影響は大きく、その方向にしたがってさまざまなアイディアが出されます。 こうして、ハードウェアはすぐに安定し、実用的になります。しかし、同時に新しい問題が出てきました。 プログラムの問題です。それまではハードウェアさえ出来ればさまざまな計算に使えると信じられていたのですが、ここに来てプログラムが想像以上に難しいことがわかったのです
営業組織のデータ活用をBigQueryで推進した話 - Speee DEVELOPER BLOG
※この記事は、2022 Speee Advent Calendar7日目の記事です。 昨日の記事はこちら。 tech.speee.jp みなさんこんにちは。イエウール・ビジネスコンサルタントの椎木陸斗（@rikus1023）です。2021年4月に新卒で入社し、現在はイエウールに加盟いただいている不動産会社様の成果創出支援を担当しています。 普段はビジネスコンサルタントとして働く傍ら、1年ほどかけてBigQueryを活用した提案のアップデートも行っており、最近は各所で徐々にいい事例が生まれてきました。データ活用をチームや組織（特に営業）に浸透させる過程には難所が多かったなと感じています。改めて振り返ってみると大事なポイントを経てきた感覚もあったため、1年の締めくくりとしてそれらをまとめたいと思います。 私と同じように「チームのデータ活用を推進したい！」という方や「営業組織でデータ活用していく
EBS スナップショットと仲良くなりたい、と思ったら coldsnap - してみんとて
結論 EBS スナップショットをダウンロードしたり EBS スナップショットとしてアップロードしたかったら coldsnap を使おう。Rust で書かれてて速そう。 coldsnap どうやって使うの? Rust で書かれてるので cargo install coldsnap とかするとインストールできる。 $ coldsnap download snapshot-00000000000000000 snapshot-00000000000000000.img と実行すると snapshot-00000000000000000.img に snapshot-00000000000000000 の中身が落ちてくる。凄い！ $ coldsnap upload test.img と実行すると test.img の内容でスナップショットができる。凄い！ 以下蛇足 EBS スナップショットをダウン
Pikeを使ってTerraform実行ユーザー用の最小限のIAMポリシーを生成する | DevelopersIO
「terraform apply を実行するユーザーやロールにも最小限の権限を付与するようにしたい。」 Terraformで色々管理しているから、Terraform実行ユーザーの権限は強めにしているけど少し不安。最小限の権限を割り当てる方法はないかな？ そんな時には、Pikeを使ってみるのもいいかもしれません。 Pikeとは 一言で言うと、TerraformのコードからTerraform実行に必要な最小限のIAMポリシーを生成してくれるツールです。 JamesWoolfenden/pike: Pike is a tool for determining the permissions or policy required for IAC code Terraform実行用IAMユーザー・IAMロールの権限 例えば、TerraformでAWSインフラを管理しているとします。 terrafor
デザインの言語化／または私は如何にして抗うのをやめて言語化に向き合うようになったか - NRIネットコムBlog
本記事は Designers Week 2022春 4日目の記事です。 🌷 3日目 ▶▶ 本記事 ▶▶ 5日目 🌷 こんにちは。NRIネットコムでアートディレクター・Webデザイナーをやっています、柳田です。 今日は、デザインを伝えるということ、その中でもとりわけ「言葉で」伝える、つまり言語化するということについて書きたいと思います。 言語化なんて、デザイナーの仕事じゃない！……はずだった 書き出し早々になんですが、私は文章を書くこと、言葉でうまく物事を伝えることが苦手です。世の中の優れた書き手のように、言葉を巧みに操ることはできない。自分の書いたものはつまらないし、価値がない。だいたい書くのが苦痛だし、人前で話すのは緊張するし。ましてや仕事になんか絶対したくない。それが私の「言葉」「伝えること」に対する姿勢です。（よってこのブログも半ベソかきながら必死で書いてます） 思い起こせばもう
サービス提供者はユーザーの多様なコンテンツ消費を促すべきか？ - kuri8iveにいきてこ。
はじめに こんにちは、@kuri8iveです。 本記事では個人的に好きな Algorithmic Effects on the Diversity of Consumption on Spotify [Anderson et al. 2020] という論文の紹介を中心に「サービス提供者はユーザーの多様なコンテンツ消費を促すべきか？」について考えたいと思います。 （※画像はいずれも紹介する論文内のものになります。） この記事は情報検索・検索技術 Advent Calendar 2022の13日目の記事になります。 adventar.org はじめに 背景とデータ 多様な消費とユーザー体験 対象となるデータと曲埋め込み GSスコア 様々な観点から見た消費多様性とユーザー体験の関係 消費多様性と活動レベル ユーザー／アルゴリズム駆動の消費多様性 消費多様性と人口統計学的属性 消費多様性と顧客維持
データプラットフォームにおけるパーソナルデータとの向き合い方
この記事は datatech-jp Advent Calendar 2022 15 日目の投稿です。 TL;DR データ活用において、パーソナルデータとの関わりは切っても切り離せない存在。 パーソナルデータと個人情報の区分けと分類を正しく理解し、持ち得るデータがどういうリスクがあるのか？どいう状態であれば利活用や第三者への提供が可能なのかを理解する その上で、パーソナルデータの漏洩リスクと利活用の利便性のバランスを選択したアーキテクチャを設計しデータプラットフォームを実現する はじめまして、DeNAのデータエンジニアの Shinichiro Joya と申します。 ビックデータやAIなどと叫ばれて久しいですが、5−6年のデータエンジニアとしての経験の中で、ユーザさん、顧客から預かった大切なパーソナルデータについて、少し知見と実際にどうするべきか？という考えがまとまり始めたので、このタイミン
JavaScriptでつくる量子コンピューター : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の4日目です。 「DSAS for Socialは量子コンピューターつかってるのかよ」という声が聞こえてきそうですが、すいません、単にタイミングの問題です。 ■古典計算脳の恐怖 JavaScriptで量子コンピューターがつくれるのか？もちろん無理です。本物は。古典的計算機の上で動くブラウザの上で量子コンピューターが動くはずはありません。 しかしシミュレーターならば話は別です。たとえば本来なら並列で計算すべきところを、順番に計算すればよいだけ。非決定性チューリングマシンだって、何だってつくれます。 何のためにJavaScriptで量子コンピューターをつくる必要があるのか。NO REASON! ですが、強いていえば「新しい計算パラダイムを学ぶため」です。古典計算機に憑かれた頭をリフレッシュして、
エンジニアならバグ票を書き慣れているので『事実と意見』を分けて話せる - 室長のひとりごち
仕事をしていて、状況をヒヤリングしていると、事実と話し手の意見の混同というか、話し手が質問を理解できなくて自分の思い、いや、感想を話し出すことはしょっちゅうある。 一方的に話し手の思いがダダ漏れしているというよりは、コミュニケーション自体、質問する側からの投げ掛けがキッカケなのだから、受け側の話し手のリアクションが期待するものでなければ、問いかけ側の質問が悪い。 例えば、次のエントリの中に出てくる会話はよくある上司と部下の日常的な風景に思えるかもしれないが、であれば部下へ聞きたいことを効率的に聞こうと思ったら、部下の返答の癖（事実と意見を区別できないこと）を知っているわけだから、上司の聞き方は上手とは言えない。 blog.tinect.jp そういうときの質問の仕方も曖昧だったりする。聞き手が最短で聞きたいことを質問するなら枕詞として、 「先に事実だけ教えて。そのあとに意見を教えて」 と誘
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
