BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
なぜネイティブ英語が聞き取れないのか？原因は？ 単語耳と英語舌の作り方・外国語認知メカニズム - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回はなぜネイティブの英語・子音が聞き取れない？その原因や英語耳と英語舌の作り方を解説していきます。まぜ、日本人がネイティブの話す英語や子音を上手く聞き取れないのか？という原因について考えていきながら、外国語の認知メカニズムを明らかにします。まずは、外国語聴解に必要な要素（英語が聞き取れない原因）を整理します。その次は、理解される外国語音声の表出するために意識するべきことを確認します。それらの基礎理論を踏まえ、ネイティブの英語耳・英語舌を作りのための具体的なトレーニング方法を説明していきます。最後に、発音の学び方として、トレーニングにおすすめの教材を紹介していきます。 今回のブログではリスニング力の音声認識・認知メカニズムに焦点をあてています。頭の中で日本語から英語に翻訳してしまうなどの問題に対してはチャンク学習（パターンプラクティス）がおすすめです。 www.sunafuki.
【科学が証明】行動力が自然と右肩上がりになる3つの方法。やっぱり “書く” のが最強だった - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
「私にはまったく行動力がない」とお考えですか？ それはきっと間違った思い込みです。行動力を高める術を、まだ知らないだけではないでしょうか。あなたの行動力が自然と右肩上がりになる、科学に裏打ちされた実践法を3つ紹介します。 【方法1】あえて夢と現実のギャップを脳に知らせる 脳内メカニズム「RAS」の働き 【方法2】最初のハードルは極限まで下げる 【方法3】トレーニングで全体観を成長させる 全体観トレーニング1「オプション」 全体観トレーニング2「フレームワーク」 【方法1】あえて夢と現実のギャップを脳に知らせる ドミニカン大学カリフォルニア校の心理学教授であるゲイル・マシューズ氏は、こんな実験を行なったそうです。 ＜マシューズ氏の実験（2007年発表）＞ 267人の参加者を5グループに分け、以下を実践してもらう（ただし、研究を完了したのは149名のみ） 4週間以内に達成したい目標を立てる⇒行
はじめにインターネット上において、性的表現について論じられる時、しばしば「性的表現の悪影響」が取り上げられ、一部のフェミニストやリベラル知識人たちから規制の強化が必要だと叫ばれる。 その時、頻繁に引用されるのが2012年に渡辺真由子氏が出版した総説論文『性的有害情報に関する実証的研究の系譜～従来メディアからネットまで～』である。例えば、直近でも次のようなツイートがあった。 参考文献 渡辺 真由子(2012) 「性的有害情報に関する実証的研究の系譜 ～従来メディアからネットまで」『情報通信学会誌』30(2):81-88(2023年7月20日取得,https://t.co/n8yzJevsvq…) https://t.co/YHF5bdSReu — 金木犀。6/14 (@kaneki_say) July 20, 2023 Twitterで表現の自由界隈と呼ばれている（私も含まれる）人々にとって
要約：「低気圧の体調不良」という病態は存在する。「低気圧の体調不良には五苓散が効くという研究」はあるが質は高くない。とは言え、実地臨床では五苓散のような漢方薬は有用である。 ちょちょんまゲさんから、「低気圧の体調不良には五苓散が効くという研究」について評価してほしいというご要望があった。 NATROMさん、お時間が許し、気が向いたらで結構ですので、こちらにある「低気圧の体調不良には五苓散が効くという研究があり」についてご評価をお聞かせ願えませんでしょうか。よろしくお願いいたします。https://t.co/SnxJXkvXjH— ちょちょんまゲ (@chochonmage) December 5, 2020 もともとは、■水素水や血液クレンジングなど『疑似科学』を科学的に評価している明治大学のウェブサイト Gijika がなかなか良い仕事していると話題にというTogetterまとめについた
機械学習の論文を探す場所まとめ
論文を読んでみる 趣味9割、仕事1割くらいの割合で論文を読んでいます。 学生のときは「論文なんて、何の役に立つんだろ？」とか思っていたダメ学生でしたが、最近は「論文は最先端の研究にキャッチアップするための最高の知のアーカイブの一つ」と少しだけ思えるようになりました。 機械学習・ディープラーニング(AI)の分野では、無料で読める論文がたくさんありますし、コードが公開されているものも多く、（比較的）手元で再現実験しやすいのも良いですね。 いつもTwitterに流れている論文を適当に拾うことが多いのですが、それ以外の情報源をメモがてら個人的にまとめてみます。ガチ研究者ではないので、そういう方は近くの優秀な人に聞いてくださいね（そして、コメントとかで教えてください）。 arXiv 機械学習系では、最も有名かつ最大の論文アーカイブサイトです。機械学習系の論文を探すと、大体はここに行き着きます。 ar
リズ・トラス政権の見かけ上の「多様性（ダイバーシティ）」と、「グローバル・ブリテン」について - Hoarding Examples (英語例文等集積所)
今回は、パレスチナについて前々回および前回の続きを準備していたのだけど、英国の新内閣について言うまでもない当たり前のことをTwitterでちょろっと書いたら数千の単位でRetweet/Likeされるということになってしまったので、それについて少し詳しく扱っておこうと思う。よい機会だ。パレスチナについては明日。 リズ・トラス政権が発足し、「多様性」が注目されているようだ。だが私はその「多様性」は見かけだけだと見ている。ちなみに私は「政局」にはほぼ関心を向けずに、英国政治の細部を10年も20年もずっとウォッチしているオタクである。ただのオタクなので、権力者についてものを書き、その権力者に直接会ったといってきゃあきゃあ騒いだりしない立場にある。 順番に話をしていこう。英語を読むという技術的なことについても、いつも通り、ちょいちょい挟んでいく。いつもは当ブログは上限4000字を目安に書いているのだ
気がついたら8月中旬になっていた。 今更ながら今年の上半期に読んだ中からおすすめの5冊を紹介する。 【目次】 2021年上半期に読んだ本 『生命の歴史は繰り返すのか? 進化の偶然と必然のナゾに実験で挑む』 『「運命」と「選択」の科学 脳はどこまで自由意志を許しているのか？』 『失敗の科学 失敗から学習する組織、学習できない組織』 『恐れのない組織 「心理的安全性」が学習・イノベーション・成長をもたらす』 『三体Ⅱ 黒暗森林』 終わりに 2020年下半期に読んで面白かった本 2021年上半期に読んだ本 今年も今週のお題で「2021年上半期」があるかなと思っていたら、もうこんな時期。 まあ、お題があっても書けなかっただろう。今に至るまで書いていなかったのは、仕事が忙しくブクログへの登録が溜まりに溜まっていたためである。お盆休みにどこへも行かず、ひたすら読み終えた本を登録し続け、ようやく準備が整
（ツイッター上でのアドバイスを受けて一部訳を変更しました） たぶん、経済学者はこの面白そうな問題を考えるべきなんだろう。 Noah Smith No one knows how much the government can borrow マクロ経済学で最も重要な疑問の1つ、それは変な話だけど経済学者が研究しない事を選んでいる疑問だ。その疑問とは、「政府はどれだけ安全に借りることができるか」。 じつのところ、この疑問への答えは誰も知らない。そして、誰も答えを知らないんだから、これが今、考えなきゃいけない特に重要な疑問なのかどうも誰も知らない。COVIDの救済支出の結果、合衆国の連邦政府負債がGDPの125％まで、2008年の金融危機前のGDPの60％くらいから急増してしまってるんだから、借り入れの制約について考える時なんじゃないのと、あなた思ってない？そしてバイデンがこれから数年、さらに赤
Go: A Documentary
Go: A Documentary by Changkun Ou <changkun.de> (and many inputs from contributors) This document collects many interesting (publicly observable) issues, discussions, proposals, CLs, and talks from the Go development process, which intends to offer a comprehensive reference of the Go history. Disclaimer Most of the texts are written as subjective understanding based on public sources Factual and ty
本エントリは社会人学生 Advent Calendar 2020の19日目です。ただ今月の後半は個人的事情で非常に忙しいことが予想されるので、本日書いてしまってまだ筆の熱が残っている内に公開してしまおうと思います。 改めて自己紹介をさせてください。37歳の職業ソフトウェア技術者です。現在フルタイムで働きながら、北陸先端科学技術大学院大学（通称JAIST）の博士前期課程で情報科学を専攻しています。実は本アドベントカレンダーは去年も参加しました。そちらには進学の動機や入学したばかりの初々しい気持ちが表明されているような気がします。 fushiroyama.hatenablog.com さて、本エントリで何を書こうか少し悩みました。考えた結果、前半で「1年目を終えた率直な感想」を、後半で「JAISTで社会人大学院生をやること」について書こうと思います。特に後半には、この1年でのべ100人ぐらいに
最新の情報検索手法を知るにはどうしたらいいの...という人に向けたコンテンツまとめ記事2021 - Qiita
こんにちは。情報検索分野の勉強をしている @KoheiShinden です。 最近、「教科書読んだ後の最新の情報検索について知りたいんだけど何かいい記事とか媒体知ってる？」という質問を受けて自分が勉強する時に役立ったコンテンツをまとめて紹介するという機会が数回ありました。 そこで、そんな時にサッと紹介できるようにまとめてみようと思いこの記事を書くに至りました。 0. はじめに ここでは簡単にこの記事がどんな内容かを書きます。 この記事で書いてること 2021年11月現在の情報検索に関連する書籍・論文・記事・動画・コミュニティなどのコンテンツのリンクと簡単な説明を行っています。完全に主観です。 特に、書籍で得られる基礎的な知識から BERT などの機械学習手法を適用した最新の手法までにはなかなかのギャップがあるのでそこを埋めるための手助けができたらなと思います。 この記事で書いていないこと
英語のボキャブラリーを増やす学習方法 語彙習得の最新研究を紹介・英単語アプリも効果的？ - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回は英語のボキャブラリーを増やす学習方法について考えていきます。最新の語彙習得の研究や英単語学習アプリも紹介していきたいと思います。まず語彙知識の種類や習得プロセスを概観し、具体的な記憶術やボキャブラリーの増やし方を紹介していきます。さらに学習とゲームの関係を考察しながら、ゲームフィケーションが組み込まれたおすすめアプリも紹介していきます。 第二言語習得研究に基づく英語学習動画を随時追加しています↓↓ www.youtube.com 英語のボキャブラリー 語彙知識の種類 語彙習得の基本プロセス 英単語を書いて覚えるのはだめ？ コアミーニングの重要性 語彙学習の種類 意図的学習と付随的学習 文脈からの意味推測 適切なテキスト教材 セマンティッククラスタリング 記憶術とボキャブラリーの増やし方 英単語とジェスチャー 語呂合わせ カタカタ語の活用と注意点 学習とゲームの関係 ゲーミフ
コーパスとは？ 使い方をわかりやすく解説 無料英語学習最ツール coca corpus・SKELLも紹介 - ポリグロットライフ | 言語まなび∞ラボ
はじめに コーパスとは？今回は英語学習無料ツールであるコーパスの使い方をわかりやすく解説します。コーパスとは膨大の言語データベースで言語学の研究のために使用されています。まず始めに、コーパスの意味や活用方法、無料で利用できるcoca corpusを紹介します。英語学習への効果やコロケーションについても解説します。実際にSKELLというサービスを使って、頻出動詞のコロケーションも完全整理したので、ぜひチェックしてみてください。コーパスを活用すれば、頻出の動詞やコロケーションを知ることができます。英語話者が実際に使用している語句を網羅すれば、効率よく英語学習を進めることができます。 ↓↓こちらの動画でも解説してます www.youtube.com 英単語の覚え方はこちら↓↓ www.sunafuki.com 英語脳についてはこちらで解説↓↓ www.sunafuki.com 主な参考文献 「英
3つの要点 ✔️ デコンパイルに特化した初のオープンソースモデル「LLM4Decompile」を開発 ✔️ モデルに新しい学習目的を導入し、デコンパイルの精度向上を実現 ✔️ 再コンパイルと再実行可能性に焦点を当てたデコンパイルのための初の標準化されたベンチマークを構築 LLM4Decompile: Decompiling Binary Code with Large Language Models written by Hanzhuo Tan, Qi Luo, Jing Li, Yuqun Zhang (Submitted on 8 Mar 2024) Comments: Published on arxiv. Subjects: Programming Languages (cs.PL); Computation and Language (cs.CL) code： 本記事で使用してい
論文PDFファイルの可読性を劇的に向上させるGoogle公式Chrome拡張機能「Google Scholar PDF Reader」レビュー
科学論文のPDFファイルを読みやすくするChrome拡張機能「Google Scholar PDF Reader」をGoogleが公開しました。論文の内容読解にめちゃくちゃ役立ちそうだったので、インストール手順や搭載機能をまとめてみました。 Google Scholar Blog: Supercharge your PDF reading: Follow references, skim outline, jump to figures https://scholar.googleblog.com/2024/03/supercharge-your-pdf-reading-follow.html ◆Google Scholar PDF Readerのインストール手順 Google Scholar PDF Readerをインストールするには、まずChromeで以下のリンクをクリックして配布ペー
先日『Ananta: Azure を支えるステートフル L4 ロードバランサー - Qiita』という記事を書いたのですが、そのときに偶々見つけた Microsoft Academic と呼ばれる文献検索サービスが相当優秀だったので紹介します。 ■ Home | Microsoft Academic https://academic.microsoft.com/home TL;DR Microsoft Academic は、高度な文献検索機能を有する Google Scholar のような Web サービス Microsoft Research が研究開発した、自然言語処理によるコンテンツのトピック抽出技術、意味論的検索エンジン、文献重要度の算出手法などを活用 検索の他にも、文献やトピックをフォローして関連情報を収集できる機能も Microsoft Academic とは？ Microso
アニソンDJをしております、ふくゐちゃんです。 このnoteのテーマは「どうやったらいいアニソンDJになれるのか」。現場で約10年間コツコツ学び盗み考えてきた、誰も教えてくれなかった「アニソンDJとは何をしているのか」を体系化しています。 これからアニソンDJを始める人、最近始めた人が、基本となる考え方を超速で押さえて、見たことのないプレイを生み出すきっかけになれば嬉しいです。対象は、10年前「へぇ、このDJいい繋ぎするじゃん」と繋ぎばかりにこだわって何もわかってなかった駆け出しアニソンDJの僕です。 僕は現在、アニソンディスコという日本一のアニソンパフォーマンスDJグループに所属しています。東京大学在学中に（クイズやってればよかったのに）アニソンDJとしてのキャリアをスタート。過去には、U-25の全国アニソンDJコンペや複数の有名イベント公募で優勝。イギリスのジャパンフェスにゲスト出演す
以下の内容の「読書がストレスを軽減する」というツイートがバズっていました。実は二年ちょっと前に既に検証していたブログがあったので、そちらをリンクしておきます。 ・どの活動によってストレスレベルが一番下がるのかを調べた。 ・検証の結果、読書が 68% と、一番高い数値を示した（コーヒーは 54%、散歩は 42%、ゲームは 21%） ・この 68% という数値はたったの 6 分間で効果が表れた。 嘘だった！？読書でストレス軽減の真実は / True or False.... Stress Relief by Reading! - 医薬翻訳者の洋書キッチン/ The Book Kitchen 私も人並みには本を読んでおりますが、現実のストレスは減るどころか増える一方なので、疑わしく思って調べてみました。結論だけ書くと、「この話は査読付きの研究でもなければ学術誌に載ったわけでもないマーケティング的
家のインターフォンに何かぶら下がっている。聞くと高専生の長男が技術力の無駄遣いをしていた→「商品化出来るww」「素晴らしい息子さん」
Hironobu Takagi / 高木 啓伸 @hirotakagi 日本科学未来館 副館長 IBM Research - Tokyo, Accessibility Research 論文: scholar.google.com/citations?user… ＊掲載内容は私自身の見解でありIBMや未来館の立場、戦略、意見を代表するものではありません。 miraikan.jst.go.jp/aboutus/direct… Hironobu Takagi / 高木 啓伸 @hirotakagi 家のインターフォンに何かぶら下がっている。聞くと高専生の長男が「人が来るとDiscordにメッセージが飛ぶ」ようにしたらしい。ゲームで荷物に気づかないと怒られるからと。技術力の無駄遣いw pic.twitter.com/VcAZxXlFEC 2024-02-11 14:36:07
Treasure Dataは、2011年に芳川裕誠氏、太田一樹氏、古橋貞之氏の3名がシリコンバレーで創業したビッグデータ分析企業。2018年8月、ソフトバンクグループ傘下のコンピュータチップ設計企業ARMが、約6億ドル（約660億円）で同社を買収したニュースは記憶に新しい。Treasure Dataの元CTOで現取締役の太田一樹氏に、学生時代から創業までの経緯や、グローバルスタートアップとして成長するプロセス、ARMとのM&Aの裏側などについて聞いた。（前編：日本人CTOがシリコンバレーで25歳で起業し、660億円で買収されるまでの道のり） ※インタビューシリーズ「シリコンバレーから日本を考える」では、櫛田健児氏（スタンフォード大学ジャパン・プログラム リサーチスカラー）がシリコンバレーの企業・スペシャリストにインタビューし、日本の未来・可能性について掘り下げます。 ＜目次＞ ・一番大きな
言語獲得のプロセスとは？ 言語獲得装置や臨界期もわかりやすく解説 母語習得との関係は？ - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回は言語獲得のプロセスについて考えていきたいと思います。言語獲得装置や臨界期についてもわかりやすく丁寧に解説していきます。まずは言語獲得で議論となっている模倣説や生得説を解説し、普遍文法や言語獲得装置など主要な言語獲得理論について説明します。それらを前提に、母語習得や言語獲得プロセスと語彙の発達について概説していきます。最後に英語学習のヒントなる、第二言語習得研究との違いについて見ていきたいと思います。 ↓↓英語学習動画も随時追加するので、登録よろしくお願いします。 www.youtube.com 言語獲得 言語獲得とは？ 言語獲得期はいつ？ 模倣説と生得説 言語獲得の臨界期 言語獲得理論 言語獲得の2つの理論 普遍文法 言語獲得装置 用法基盤モデルにおける言語獲得のプロセス 母語獲得に必要なスキル 母語の発達過程 語彙の発達 幼児の年齢と語彙数の関係 象徴機能の発達 言語獲得
GoogleはGmailやChromeなど便利なツールを多数提供していますが、Chromeは定期的にPCの中身を「監視」していると報じられたり、Googleアプリはたとえ位置情報を無効にしても場所データを追跡・収集していると報じられたりと、プライバシーを考慮すると「Googleのサービスを使用することに不安を覚える」という人も少なくありません。そんな人のために、Googleが提供するさまざまなツールの代替となるようなツールやウェブサービスをまとめた「No More Google」が登場しています。 No More Google https://nomoregoogle.com/ 各ツールの代替となるサービスの上位3つまでをまとめると以下の通り。代替サービスの名称横に書かれているポイントは、ユーザーにより賛成ボタンが押された回数を示しています。 ◆Google Chromeの代替ツール 1：
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
論文の読み方 [和訳] - Qiita
はじめに この文章のターゲット この記事は、S. Keshav 著の How to Read a Paper という論文をラフに日本語に訳してまとめたメモです。基本的な文章の流れや内容はそのままですが、ところどころ改変 (表現を柔らかくフランクにしたり削ったり) していますので、原論文と見比べながら読んでください。 論文の読み方がイマイチ分からない人が読むと絶対に何かの発見があると思います。 論文の読み方 和訳 タイトル、著者 タイトル: How to Read a Paper バージョン: 2016年2月17日 著者: S. Keshav 所属: David R. Cheriton School of Computer Science, University of Waterloo Waterloo, ON, Canada Introduction 研究者であれば、毎年ものすごい時間を割
![論文の読み方 [和訳] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/898e2aac09137880d23cd88ba589ac07f22a7207/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU4JUFCJTk2JUU2JTk2JTg3JUUzJTgxJUFFJUU4JUFBJUFEJUUzJTgxJUJGJUU2JTk2JUI5JTIwJTVCJUU1JTkyJThDJUU4JUE4JUIzJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iZWJjZGQxYmQ4NWI4YjgzMTZiYjZiOGYzNjYyNzRjMg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBjaXJ1c3RoZW50ZXImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY3OGE3ZDViZmI2MjAyMzQ0MGRiNzIzZmQ1NWM5N2I2%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1dfd7c72ae67f3b928064e197c9d5691)
『ダークソウル2』にて、“開発者の残したメモ”を表示させるModが話題に。マップ構成の意図から小言まで、舞台裏をのぞき見 - AUTOMATON
ホーム ニュース 『ダークソウル2』にて、“開発者の残したメモ”を表示させるModが話題に。マップ構成の意図から小言まで、舞台裏をのぞき見 フロム・ソフトウェアが開発を手がける高難易度アクションRPG『DARK SOULS』。同シリーズのPC版においては、現在も多種多様なModが開発・配布されている。高画質化をはかるものから敵の配置をランダムにするもの、新たな物語を追加するModまでその内容はさまざま。そんななか、「Developer Signs Restored」という名称の一風変わったModが現在注目を集めている。 「Developer Signs Restored」は、ModderのTKGPが開発・配布する『DARK SOULS II』向けのMod。同Modを適用すると、通常ならプレイヤーの目に見えないはずのとある文章がマップ内に表示される。その文章とは、開発者が開発中に記した“メモ
GoogleのDeepMindが囲碁のルールを自ら学習することでAlphaZeroを凌駕する強化学習手法「Muzero」を提案。
3つの要点 ✔️その１ DeepMindからAlphaZeroの進化版「MuZero」が登場 ✔️その２ モデルベース強化学習によりルールを与えなくてもAlphaZeroに勝利 ✔️その３ 囲碁・チェス・将棋に加えてAtariでも同一モデルで最高性能を達成 続きを読むには (3155文字画像6枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
今回紹介するのは、画像生成AI、GAN（敵対的生成ネットワーク）の中身を詳しく調査したという研究です。最近のGANは人でも本物の写真かどうか見間違うほどの性能を発揮しますが、GANがどのように『描いている』かを可視化した結果、簡単には説明できないような描画スキルを獲得していることがわかってきました。(※1) 論文 https://openreview.net/forum?id=Hyg_X2C5FX (1) AIの中身 先週、日本政府がまとめた人工知能（AI）に関する原則が明らかになったと日経新聞が報じました(※2)。AIの社会浸透は急激に進んでいますが、その判断過程がブラックボックスのまま使われることを国、あるいは国際的な枠組みである程度規制するとともに、AIの中身を専門家でなくても理解しやすくするための研究開発が進められています。 今回扱うのはGANを使った画像生成AIです。以前AI-S
ある日、google scholarから気になるタイトルの論文がオススメされてきた。タイトルを見る限り、私が学生の頃に書いた論文に非常に近い話のようだ。 この論文は、とある確率モデルの振る舞いについて計算したものだ。この分野では、厳密に計算できるモデルは限られているので、解けることが知られていない（現実的に意味のある）モデルを提案して解くと、研究成果として認められるという文脈がある。 似ている内容さて、この論文で提示されているモデルだが、私の論文で昔提示したものと酷似していた（該当論文に対する引用は無い）。ちなみにそれ自体は大きな問題ではない（少しでも違っていれば）。ただ、私の論文では、解けるギリギリまで一般化しているつもりなので、そこからちょっとでも何か変更を加えたモデルは「普通は」解けないはずである。 不自然に似ている式変形が…なにか新しい理論的な進展があるかと思いながら読み進めると、
無料で米国の有識者にリサーチしてもらう方法
知りたいことの「検索」には限界がある。 問いが漠然としていたり、不案内な分野だったりすると、そもそもキーワードを何にするか分からない。膨大な結果をどうやって絞り込めば良いか分からない。 日本語圏の場合 そういう時は、品川図書館のレファレンスサービスを利用している。メールで問い合わせすると、2週間くらいで返事がくる（大量の参考文献つきで）。無料だし、品川に住んでなくても大丈夫。ちなみに私は、こんな質問をしたぞ。 「最近の若者は……」という愚痴は、いつから？ 沢山の翻訳書があるが、高校の現代国語には無いの？ 女子大は男性差別であり、男女平等に反する？ 得られた回答を元に記事にしたのがこれ。 プラトンは「最近の若者は…」と言ったが…… 男子医大は憲法違反か 英語圏の場合 では、知りたいことが英語圏なら？ Google検索の設定画面で、言語を英語にしたり、検索の際のパラメータに「?gl=us&hl
返信です。ママ友ガンダム増田だ。 たくさんブクマいただいて恐縮です。 皆さんいろいろなご意見を書いてくださってありがとう。 まず、文献を貼らずに・・・と何人かの麿が目を剥いていたので、ほぼ古典レベルのこの文献を貼っておく。 面白いから全部読むといいけど、大事なところだけ抜粋した。 木下富雄(2002)リスク認知の構造とその国際比較, 安全工学 41 (6), 356-363 https://www.jstage.jst.go.jp/article/safety/41/6/41_356/_pdf/-char/ja P.357これまでに日本で行われたほとんどすべての研究において、女性が男性に比べてリスクに敏感であることが知られている6)10)11)。そしてこの傾向は、科学技術のリスクだけではなく、BSE汚染や自衛隊の海外派遣のような、社会的な事態のリスクにも及んでいる12)。性差はさらに年齢と
一文字も読まずに本を評価する3つの方法
読むべき本が積み上がっているのに、面白そうな新刊が出てきた。ルトガー・ブレグマン『Humankind』という新刊だ。 「激推し」「人間への見方が新しく変わる」「正しく世界を認識できる一冊」など、インフルエンサーたちの熱き言葉が飛び交い、評判がよさそうだ。おまけにKindleという便利なボタン一発で買えてしまうので、お財布はいつだってピンチだ。 だが、ちょっと待て。 本当にそれは「いま読むべき」なのか？ 本当にそれで「あらゆる疑問がクリアになる」のか？ 財布のダメージもさることながら、集中力や時間といったリソースも無駄にしたくない。 信頼できる書評家に頼る そういうとき、私は信頼できる書評に頼る。 基本読書の冬木糸一さんが頼りになる。私の興味と重なる新刊をいち早く・数多く紹介してくれるので、ありがたい。面白いポイントをつかみ取り、ポジティブに評価している。 そんな冬木さんが慎重な書き方をして
きょむたん(虚無虚無) @Akyomutan 「先行研究全然なくて〜」って言う子にGoogle scalarで前の方に出てくるめちゃくちゃ引用もされてる論文のこと聞いたら「読んでないです！」って言われる現象に名前つけて欲しい。全然なくてってなんなんだみたいな。めちゃくちゃ関連してるやん、これ、みたいな。 2022-05-24 20:05:47
FOMO - Wikipedia
今やスマートフォンは常時、公私にわたりネットワークにつながり続けることを可能にした。こうなると「何か見逃しているものはないか」とひっきりなしに更新やメッセージをチェックせずにいられなくなることもある[1]。 FOMO（英: fear of missing out、フォーモ、取り残されることへの恐れ）とは、「自分が居ない間に他人が有益な体験をしているかもしれない」、と言う不安に襲われることを指す言葉である[2]。 また、「自分が知らない間に何か楽しいことがあったのではないか」、「大きなニュースを見逃しているのではないか」と気になって落ち着かない状態も指すことから、 「見逃しの恐怖」とも言う。社会的関係がもたらすこの不安は[3]、「他人がやっている事と絶え間なくつながっていたい欲求」と言う点で特徴づけられる[2]。 FOMOはまた「後悔に対する恐れ」とも言え[4]、それは社会関係、画期的体験、
今月で2010年代が終わる。改めて「2020」という文字を見ると、近未来感があって少しワクワクする。そんな感想も今月限りなのだと思うと寂しい。世界の情報化はますます進んで、「インプットよりもアウトプット、スピードこそが価値」みたいな考えが幅を利かせていて息苦しい。アウトプットし続けないと埋もれてしまうのは事実だけど、情報があふれる今だからこそ、緻密なインプットに基づく丁寧な仕事が求められているのではないかと感じる。思い付きで何かを始める前に 過去に同じことを考えたことのある人が世界のどこかにいるのではないか この問題は今どこまで解決していて、どこから未解決なのか といった点をしっかり押さえてから着手することで、2度手間が減り論点もクリアになって、結果的に時間に対するアウトプットの質を高めることができると思う。 研究の世界では、質・量いずれにおいても「論文」が最も重要なインプットであり、新着
野尻伸一💉x7 @Shinichi_Nojiri 写真は40年以上前。 場の量子論と重力理論の研究をしています。 論文については、scholar.google.com/citations?hl=j… を、履歴等は ResearcMap の researchmap.jp/read0132813 を参照。 profs.provost.nagoya-u.ac.jp/html/100001024…
※これはポエムであり、自分語りです。ただただ時系列順に書き連ねていきます。 本記事は退職エントリというよりは入学エントリ、合格体験記に近いです。 TL;DR FROM: 株式会社リブセンス TO: 奈良先端科学技術大学院大学 先端科学技術研究科 博士前期課程 リブセンスは、9月27日が最終出社でした。 10月2日より奈良先端科学技術大学院大学（NAIST）の先端科学技術研究科の博士前期課程に入学します。 専攻は自然言語処理で、松本研に入る予定。 進学を考え始めた時の話 遡ること昨年の春過ぎ...。 この頃からコンピューターサイエンスをやりたいと考え始めていました。 それは自分が経済学部出身であることを負い目を感じていたことや、自身の未熟な技術力に対する欠乏感から湧いた気持ちだったように思います。 当時は「流行りを追い続けるのではなく、それらの技術が基礎に置いている技術を学びたい」と同僚によ
この記事は、NTTコミュニケーションズ Advent Calendar 2019の18日目の記事です。 昨日は @yusuke84 さんの記事、WebRTC Platform SkyWayのサポートについて考えていること でした。 メリークリスマス！ はじめに 会社のAdvent Calendarということで、当初はある程度流れに忖度して技術的なTipsを書こう！ とか考えて、Neural Networkについてネタ探ししてたのですが、結局自分が興味のある話、それも実装よりも理論一辺倒な話に落ち着いてしまった、本記事はそんな成れの果てです。 （まあ１人くらい暴走しても良いですよね、きっと） というわけで、Neural Networkを用いた物理系の表現について、少し前から気になってる話をツラツラと書いていきます。そのうちに、この辺の話を端緒に新規性のある手法を論文化するから、それ相応の評価
グラフってこんなにすごい！深層学習との融合をレビュー
3つの要点 ✔️ GNNの表現力の強さから、急速にアプリケーションが進んでいる。 ✔️ GNNの柔軟かつ複雑な構造への、従来深層学習手法の展開についてのレビュー ✔️ 一方で、深層学習に共通、グラフに固有の課題も継続中 Graph Neural Networks: A Review of Methods and Applications written by Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun (Submitted on 20 Dec 2018 (v1), last revised 9 Apr 2021 (this version, v5)) Comments: Published on AI O
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
渡辺真由子氏の総説論文「性的有害情報の実証学的系譜」への批判｜手嶋海嶺
「低気圧の体調不良には五苓散が効く」のか？ - NATROMのブログ
2021年上半期に読んで面白かった本5選 - 本しゃぶり
ノア・スミス「政府負債の危険なんて、誰もわかっちゃいない」（2021年1月22日）
働きながら修士課程1年目を終えて - 怠惰を求めて勤勉に行き着く
デコンパイルに特化した大規模言語モデル「LLM4Decompile」の登場
Microsoft Academic のすゝめ - Qiita
【1時間で爆速上達する】アニソンDJの思考法｜ふくゐちゃん
読書は６８％もストレスを軽減するのか、読書の可不可 - ネットロアをめぐる冒険
日本人起業家が大型M&A後に描く次のビジョン「今35歳。あと2、3周は何かにチャレンジしたい」
Googleの代替サービスを提案してくれる「No More Google」
「Python実践データ分析100本ノック」を写経してみた - Qiita
「なぜここまで賢くなるのか説明不可能」 ―画像生成系AI、GANを例にして
自分の論文と同じテーマの捏造論文を見つけたので通報してみた｜tkEzaki
返信です。ママ友ガンダム増田だ。 たくさんブクマいただいて恐縮です。 皆..
「先行研究全然なくて〜」という人がGoogle Scholarの最初の方の論文すら読んでない問題はなぜ起きるのか
新着論文の集め方・文献管理方法 - yokaのblog
小学校の卒業アルバムを見ていたら面白いページを発見してびっくり「1970年の物価と公共料金」「パーマネント高っ!」
退職をしてNAISTの修士課程に入学します - SKYROCKETING WORK!
認めたくないものだな… Neural Networkの力学系表現というものを - Qiita