大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
はじめに 今回は私が良くやっている「一人議論」という方法について紹介いたします。 これはアイデア出しや壁打ちに便利な手法です。 「使えるかも」と思った方は、ぜひやってみてください。 一人議論とは？ ChatGPTを使った議論のシミュレーションの一つです。 具体的には次のようなプロンプトを利用して行います。 # タスク テーマについて議論してください。 # ルール - 登場人物を3人出してください。 - 議論をまとめないでください。 - 10回会話を続けたところで会話を止めてください。 # テーマ ChatGPTがもたらしたもの すると、次のような議論が始まります。 ここからが一人議論のポイントです。 次に、自分の意見を差し込みます。 ChatGPTにて次のような文章を打ち込みます。 すると、それを元に、次のような会話が続きます。 あとはひたすらこれを続けるだけです。 強めの反論をしても誰も
![[人要らず]ChatGPTを使った一人議論やってますか？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1798ce5b088e58c4c4b438b339aa53729f88055d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU0JUJBJUJBJUU4JUE2JTgxJUUzJTgyJTg5JUUzJTgxJTlBJTVEQ2hhdEdQVCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSVBMyVFMyU4MSU5RiVFNCVCOCU4MCVFNCVCQSVCQSVFOCVBRCVCMCVFOCVBQiU5NiVFMyU4MiU4NCVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRSVFMyU4MSU5OSVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NzE1YWQyY2QyNmM1YTBiMGM1Zjc0NmEyOGE3ODE1ZTA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwR2FtYXJpMDAwOSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MWZmNTg2N2RhNDgwZDYyYjY1NzE1Yzc5Y2I0MDEyYmU%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D5ca724cc6b3042fa51a78f87dd701442)
こんにちは！はてなアプリケーションエンジニアの id:takuya-a です。 みなさんは、このような疑問をもったことはありませんか？ grep はどのように文字列を検索しているのか？ MeCab はどうやって辞書を高速にルックアップしているのか？ パーサやコンパイラを作りたいけど、何から始めればいいのか？ 本稿では、「文字列アルゴリズムとはどんなものなのか？」「なぜ重要なのか？」「何を知っておくべきか？」「どうやって勉強すればいいのか？」といった疑問にお答えしていこうと思います。 文字列アルゴリズムの意外な応用や、モチベーションを保ちやすい勉強のしかた、文字列アルゴリズムを勉強するために行った社内での取り組み、実装するときのコツといったトピックについても触れています。 このエントリは、はてなエンジニアアドベントカレンダー2016の22日目の記事です。昨日は id:syou6162 さんに
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
注目コード譜 CD発売及び配信開始日→ 相思相愛（aiko） 2024/05/08 会いに行くのに（あいみょん） 2024/05/01 はなむけ（Radio Happy Willows） 2024/04/26 朝、月面も笑っている（DISH//） 2024/04/26 黒いマントと真っ赤なリンゴ（長渕剛） 2024/04/24 ただいま！（トータス松本） 2024/04/24 ワルツ（家入レオ） 2024/04/24 喉仏（クリープハイプ） 2024/04/17 さよーならまたいつか！（米津玄師） 2024/04/08 旅立ちの鐘（20th Century） 2024/04/04 失恋ソング（岡崎体育） 2024/03/27 タイムマシン（SEKAI NO OWARI） 2024/03/05 タイムパラドックス（Vaundy） 2024/02/28 リズム64（あいみょん） 202
Millions translate with DeepL every day. Popular: Spanish to English, French to English, and Japanese to English.
フリーの英単語リストをまとめてみた
Horn List (100 Most Common Words) 頻度順 http://www.englishcorner.vacau.com/vocabulary/hornlistfreq.html アルファベット順 http://www.englishcorner.vacau.com/vocabulary/hornlistalpha.html ［出典］Horn, E. (1926), A basic writing vocabulary, 10,000 words most commonly used in writing, College of Education. Dolch List (220 Basic Sight Words) 頻度順 http://www.englishcorner.vacau.com/vocabulary/dolchfreq.html アルファベット順
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
校長先生の話エンドレス
このサイトでは、マルコフ連鎖で作成した校長先生の話を永遠に聞くことが出来ます。ぜひ音声ありでご視聴ください。
2022年8月23日に無料公開された画像生成AI「Stable Diffusion」は、「ボールで遊ぶ猫」「森の中を走る犬」といった指示を与えると指示通りの画像を出力してくれます。Stable Diffusionはデモページで画像生成を試せる他、NVIDIA製GPUを搭載したマシンを用いてローカル環境で実行することも可能です。しかし、デモページは待ち時間が長く、NVIDIA製GPUは所持していない人も多いはず。Googleが提供しているPython実行環境「Colaboratory」を利用すれば、NVIDIA製GPUを所持していなくともStable Diffusionを待ち時間なしで実行する環境を無料で整えられるので、実際に環境を構築する手順や画像を生成する手順を詳しくまとめてみました。 Stable Diffusion with 🧨 Diffusers https://huggingf
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です！ 今日発表されたGPT-4について見ていきたいと思います。 なにがすごいのか 専門的な問題を解けるようになった たとえば米国司法試験で上位10%、GPT-3.5は下位10%だった 非常に長い文章を入出力できるようになった 最大で32k tokens (日本語で約2.5万文字、文庫で50pくらい) 画像をもとに会話できるようになった (これは実験段階でまだ提供されません) 特に嬉しいのは32k tokensまで文章を扱えるようになったことでしょう。 たとえば小説を書くみたいなときも、プロット、設定等に3000文字使っても、残り2.2万文字くらい使えます。 画像をもとにした会話の例 USER: この画像はどこがおかしいですか？パネルごとに説明してください GPT-4: この画像は、3つのパネルで構成される
ChatGPT で自分の仕事がどう楽しくなるのかを考えるネタ集 -2023年10月バージョン-
企業・組織に属している方向けの ChatGPT の社会・ビジネスへの影響を考えるお話です。 人とComputerの在り方が大きく変わったこれらも交えて。それらが周囲にあふれ出すその日のために、今はしっかりと Prompt の仕方を学んでおきたいものです。そのためのサンプルも幾つか継続して提示しています - とある人の、変わってしまった日常の一部 - なぜ?何が? ChatGPT で変わるのか? - Plugin の可能性 - Code Interpreter の可能性 - Copilot の可能性
HなStable Diffusion
前提として、Stable Diffusionでエロ画像を出そうとしてもsafety checkerという機能が入っており、センシティブな画像を出そうとすると黒塗りになる。 (Stable DiffusionのSaaSであるDream Studioはぼかしだが、多分別の技術) https://github.com/huggingface/diffusers/releases/tag/v0.2.3 そこでGoogle Colabでちゃちゃっと環境を作り、なおかつNSFWを回避する。 1. 下記のリンクでノートを開く https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb 2. 下記の箇所を書き換える vvvvvvvvvvvvvvvvvv f
エンジニア兼SF作家がGPT-4執筆支援を実戦投入できないか実験してわかったこと｜Anno Takahiro
今のGPT4は実践投入レベルの使い方もあれば、そうでない使い方もあると思っている。今回のポストでは、私がやった執筆支援の実験を8つほど紹介し、物書き目線から3段階評価した。○は作品制作にすでに実戦投入している利用方法。△は自分が実作に活用はしていないものの、ユーザビリティが良くなれば使いたいと思えるもの。×は現状だと使い所がない、ありがたみがないなと思ったものである。 1）AI読者モニター：書いた小説を読んでもらって感想や質問をGPTに自動生成させる → △使って意味ある場面はありそうPython-docxを利用して該当の位置にGPTの感想や質問を自動挿入 できた〜！ボタン1つ押せばChatGPTにWordで小説を読ませて「ここまで読んだときにこういう感想を持ったよ」とか「こういう疑問を持ったよ」みたいなことをコメントさせられるようになった。仮想モニタ読者の反応をヒントに執筆支援ができんじ
コトノハ - ○×ソーシャル
コトノハとは コトノハは、様々なコト(キーワード)に対して○と×で答えていく、新感覚のコミュニティサイトです。 ○× を通して、自分と似た価値観の人を見つけたり、自分自身の新しい一面を発見できるかも知れません。 コトノハについてのみんなの○× → 見てみる ご登録・ご利用は無料です。どうぞお楽しみください。→ 登録はこちらから 今○×しているユーザ
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
GitHub - livedoor/cicindela2: a highly customizable recommendation engine written in perl + MySQL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
読者の皆さんは、「Cyan」（サイアン）という言語をご存じないかもしれない。Cyanは、Lispのマクロを持ち、Python風のインデントによってブロックを表すプログラミング言語。2008年の春、林拓人という1人の高校生によって設計された。 連載第1回の竹内郁雄氏が「開発」の天才、第2回の五十嵐悠紀氏が「発想」の天才とするならば、今回の林氏は「プログラミング言語」の天才だ。 林氏がプログラミング言語に初めて触れたのは中学3年の夏休み。そこから冬休みまでの5カ月間に、5つのプログラミング言語を習得した。その後もいくつかのプログラミング言語を学ぶ中、林氏の興味はWebサービスなどのものづくりには行かず、ひたすら言語自体へと向かっていった。 高校2年の春、自身でプログラミング言語Cyanを作り上げた。Cyanを設計した林氏は、「U-20プログラミング・コンテスト」（以下、U-20プロコン）で経済
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
統計的機械学習入門(under construction) 機械学習の歴史ppt pdf 歴史以前 人工知能の時代 実用化の時代 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise データの性質 数学のおさらいppt pdf 線形代数学で役立つ公式 確率分布 情報理論の諸概念 (KL-divergenceなど) 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 パーセプトロン カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 クラスタリングppt pdf 距離の定義 階層型クラスタリング K-means モデル推定ppt pdf 潜在変数のあるモデル EMアル
ChatGPT APIを使ったLineBotの作り方を、人格の与え方まで完全解説【プログラミング不要】｜ChatGPT研究所
元々書いてあるコードを全て削除したのち、以下のコードを貼り付けます。 function doPost(e) { const props = PropertiesService.getScriptProperties() const event = JSON.parse(e.postData.contents).events[0] let userMessage = event.message.text if (userMessage === undefined) { // スタンプなどが送られてきた時 userMessage = 'やあ！' } const requestOptions = { "method": "post", "headers": { "Content-Type": "application/json", "Authorization": "Bearer "+ prop
Imagicを理解する
17 oct 2022に出たImagicという技術について、ペーパーとソースを見比べながら説明します。
文字列操作の比較表: Ruby, Python, JavaScript, Perl, C++ Ruby, Python, JavaScript, Perl, C++ の文字列操作の比較表を作りました。配列操作の比較表の続編です。間違いなどがあったらご指摘いただけると助かります。 Ruby (String) Python (str) JavaScript (String) Perl C++ (std::string)
理化学研究所(理研)とフランス国立科学研究センター(CNRS)の共同研究チームは10月12日、日本人は生後14カ月までに「abna」のような子音の連続が含まれる単語と「abuna」のような子音連続が含まれない単語の音を区別して聞き取れなくなっていることを発見したことを明らかにした。 日本人は、外国語の音の聞き分けが苦手といわれているが、その理由は個別の母音や子音の聞き分けができないだけでなく、音の組み合わせや強勢、韻律などのさまざまな要素がかかわっている。これまでの研究により、母語に含まれない母音や子音の弁別がどのように発達していくのかが徐々に明らかになってきており、乳幼児は、生後間もなくから、自分の母語にない外国語の音も聞き分けられるが、生後12カ月ごろまでにだんだんと聞き分けられなくなっていくことが知られている。しかし、音の並びの規則がどのように獲得されていくのかについては、よく分かっ
従来は人工知能の開発というと、高度なスキルがないと手が届かないイメージがあった。 しかし現在では、多少のプログラミングの知識があれば、人工知能を使ったアプリケーションやシステムを開発できるようになった。 そこで今回は、手軽にはじめられる人工知能を使ったアプリケーションの開発方法をまとめてみた。 「言語処理AI」「音声処理AI」「画像処理AI」など様々な種類の技術を、入門者向けに広くピックアップした。興味のある分野について、それぞれ掘り下げてみることをおすすめする。 ※2016.07.23「Amazon ML」を追記 目次 目次 関連記事 開発方法1．ユーザーローカル社の「全自動会話API」 タイプ 難易度 特徴 開発方法2．Locl Interactive Incの「Meya」 タイプ 難易度 特徴 開発方法3．ユーザーローカル社の「形態素解析API」 タイプ 難易度 特徴 開発方法4．P
3秒の音声があれば本人そっくりの声で日本語・英語・中国語合成できる「VALL-E X」はやはり脅威。MSが非公開にした技術のOSS版を試して実感した（CloseBox） | テクノエッジ TechnoEdge
わずか3秒の元音声から本人そっくりな音声合成が可能な技術「VALL-E X」が誰でも使える形で公開されました。オープンソース版で、ローカルマシンからWebUIで利用できます。さっそくインストールして使ってみました。 以前、ディープラーニングベースの音声・歌声合成ソフトであるDiff-SVC、リアルタイム処理が可能なAIボイチェンRVCを紹介したとき、自分は記事タイトルに「驚異の」という形容詞を付けました。それでも学習には数十分の本人による音声データが必要で、そこまでのデータを用意するのは容易ではありません。それに対してVALL-E Xでは元データが3秒あれば本人に似た声を生成できるのです。
米スタンフォード大学が「機械学習」「データベース」「人工知能」の無料オンライン授業を今秋から開始 − Publickey
米スタンフォード大学は、今秋から同大学で行われているコンピュータサイエンスの講義のうち、3つのコースをオンラインで無料公開することを発表しました。 公開されるのは、「Machine Learning」（機械学習）、「Introduction to Databases」（データベース入門）、「Introduction to Artificial Intelligence」（人工知能入門）の3コース。どのコースも今年の10月に開講し12月に終了する3カ月間の予定。コースによっては実際の講義とほぼ同様の宿題も用意され、提出すると自動採点してくれるようです。 機械学習のコースを担当するAndrew Ng准教授は発表の中で次のようにコメントしています。 “Both in the United States and elsewhere, many people simply do not have a
朝日新聞社は4月2日、指定した字数や割合に長文を要約する「長文要約生成API」を開発したと発表した。評価用途に限り、無償で利用できる。会議の議事録や、採用活動で受け付けるエントリーシートの速読などに役立てられるという。
人工知能「東ロボくん」 東大を断念 | NHKニュース
東京大学合格を目指し、毎年、センター試験の模試を受けてきた人工知能の「東ロボくん」が、東大合格を諦め、進路変更することを開発チームの国立情報学研究所のグループが明らかにしました。 これまで順調に成績を伸ばしてきた東ロボくんですが、教科書などの情報と検索技術によって正解にたどりつく世界史などは得意な一方、文章の意味を理解して、問題文を読み解く「読解力」がなかなか向上しませんでした。このため国語や英語などの科目では、今後の成績向上に限界があり東大合格の水準にあたる偏差値７０以上にまで成績を上げることは現在の技術では難しいと判断したということで、ことしで東大合格は諦め、“進路変更”を決めました。 チームでは、「東ロボくん」よりもセンター試験模試の偏差値が低い受験生がいる背景には、読解力の問題がある可能性があると見ていて今後は、東ロボくんの研究成果を中高生の「読解力」を養う教育分野の研究などに生か
「長文読解」という言葉に反応してしまう人もいるように、あまりに長い文章は読む人の意欲を削いでしまうこともあるもの。「文章の中身をできるだけギュッとまとめて短くしてくれるものがあればいいのに……」と思っていたら、AIを使って長文を3行ぐらいにまとめてしまうエンジン「IMAKITA」がリリースされたというのでさっそく使ってみました。 長文を３行ぐらいで纏めてくれるエンジン IMAKITAを作ってみました - コンピュータ将棋 Qhapaq http://qhapaq.hatenablog.com/entry/2018/12/09/234447 自分でいうのもナンですが、結構出来が良い気がします。無駄に多言語（日英中独仏西葡伊）対応 → 長文を３行ぐらいで纏めてくれるエンジン IMAKITAを作ってみました - コンピュータ将棋 Qhapaq https://t.co/j2WwZTstNv #は
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
誰でも簡単にできる Twitter ボット作成入門
DeepLearning Advent Calendar 2016の17日目の記事です。 はじめに はじめまして。 Liaroという会社でエンジニアをしている@eve_ykと申します。 今年もあと僅かとなりました。 ここらで、今年のDeepLearningの主要な成果を振り返ってみましょう。 この記事は、2016年に発表されたDeepLearning関係の研究を広く浅くまとめたものです。今年のDeepLearningの研究の進歩を俯瞰するのに役立てば幸いです。 それぞれの内容について、その要点や感想なんかを簡単にまとめられたらと思います。 特に重要だと思った研究には★マークをつけておきます。 非常に長くなってしまったため、興味のある分野だけ読んでいただければと思います。 言い訳とお願い 見つけたものはコードへのリンクも示すので、プログラミングに関係ある記事ということで… 分野的にかなり偏っ
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり基本的なことからそこそこ高度なことについて解説されてあり，自然言語処理について理解が深まり過ぎる ボリュームがあるのに書き方が平易でついつい読みふけってしまう 演習問題があり，自分の理解度を確かめられたりするのもケシカラン 原著は欧米語のための言語処理について書かれた書籍なのに，日本語の形態素解析などについても解説してあって我慢できない 必要ライブラリのインストールなど環境構築に時間が取られそうでヤバい 書籍の応用でBotとか人工無能とか作ったらどうかな−，と
ユーザーローカルは7月24日、入力した文章から重要部分を取り出して要約する「ユーザーローカル自動要約ツール」を公開した。Webサイト上で無償利用できる。 入力フォームにテキストを貼り付けるか、テキストファイルをアップロードすると、文章構造を分析して特徴語（特徴的な言葉を機械的に抽出した単語）や重要文を自動抽出するツール。重要な文章をマーキングやヒートマップ、モノクロ強調で視覚的に捉えられる強調表示にも対応する。 要約文は「3行ダイジェスト」「5行ダイジェスト」「10行ダイジェスト」といった分量調整もできる。 重要文の抽出には、重要単語を多く含み、他の文に類似度が高い文を抽出するアルゴリズム「LexRank」を活用した。 ツールが公開されているWebページには、ニュース配信各社から引用したニュース本文の要約をダイジェストとしてランキング表示している。 同社は「インターネット上には、日々ニュー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
[人要らず]ChatGPTを使った一人議論やってますか？ - Qiita
文字列アルゴリズムの学びかた - Hatena Developer Blog
松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
無料歌詞検索（コード譜とダイヤグラムを表示！）－J-Total Music
DeepL Translate: The world's most accurate translator
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
GPT-4のすごさとその影響範囲について - Qiita
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
いまさら聞けないHadoopとテキストマイニング入門
Cyanを設計した高校生、5カ月で5つの言語を習得
統計的機械学習入門
いやなブログ - 文字列操作の比較表: Ruby, Python, JavaScript, P...
理研ら、日本人が英語の発音や聞き分けが苦手な原因の一端を解明 | エンタープライズ | マイコミジャーナル
人工知能アプリケーションの開発を簡単にはじめる8つの方法 - 648 blog
朝日新聞社、長文を要約するAPIを無償公開 500字→200字に圧縮、重要事項の自動抽出も
AIが長文を3行ぐらいにギュッとまとめてくれるエンジン「IMAKITA」を使ってみた - GIGAZINE
八角研究所 : 誰でも簡単にできる Twitter ボット作成入門
DeepLearning研究 2016年のまとめ - Qiita
Google Japan Blog: 大規模日本語 n-gram データの公開
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUD
文章の「自動要約ツール」、ユーザーローカルが無償提供