Jubatus : オンライン機械学習向け分散処理フレームワーク — Jubatus
Jubatus : オンライン機械学習向け分散処理フレームワーク¶ Jubatusは「分散したデータ」を「常に素早く」「深く分析」することを狙った分散基盤技術です。 Jubatusの名前の由来は、俊敏な動物であるチータの学術名からの命名で、「ユバタス」と読みます。株式会社Preferred NetworksとNTTソフトウェアイノベーションセンタが共同開発した、日本発のオープンソースプロダクトです。 最終的に全ての人にスケーラブルなオンライン機械学習フレームワークを提供することがJubatusの目標です。 Jubatus は以下の特徴を持ったオンライン機械学習向け分散処理フレームワークです。 オンライン機械学習ライブラリ: 多値分類、線形回帰、推薦（近傍探索）、グラフマイニング、異常検知、クラスタリング 特徴ベクトル変換器 (fv_converter): データの前処理と特徴抽出 フォルト
［4］Apache Spark/MLlibの歴史と特徴を学ぶ
オープンソースフレームワークであるApache Spark、およびそのエコシステム（周辺ソフトウエア）であるMLlibを活用することで、高速かつ柔軟な機械学習処理を実現できる。本稿では、Apache Sparkを用いた機械学習の特徴や歴史を紹介する。 Apache Sparkとは？ 本稿では、「ポストHadoop」の最右翼と言われているApache Sparkのエコシステムである、MLlibライブラリを用いた機械学習システムについて説明する。 オープンソースソフトウエアであるApache Sparkは、2014年2月にApacheのトップレベルプロジェクトに昇格したほか、ビッグデータ分野のリーディングカンパニーである米クラウデラがサポートを行うなど、安定的な発展が見込まれている。 Apache SparkはHadoopと同じく、計算処理を分散環境で並列実行するための基盤である。RDD（Re
意外と知られてない、すごく効果のある文章上達法｜ふろむだ@分裂勘違い君劇場
文章上達法について、「大量に書け」派と「大量に読め」派の人がいます。 「ひたすら大量に文章を書け。文章上達にはそれしかない」というのは書け派の典型。 「まずはラノベを千冊読め。話はそれからだ」というのは読め派の典型。 しかし、大量に文章を書いているのに文章の下手な人はたくさんいますし、 ラノベをたくさん読んだけど面白いラノベの書けない人もたくさんいます。 これはスキル全般に言えることで、 たとえば、アメリカに二十年住んでいるのに英語がいまいちな人なんて、いくらでもいます。 「量をこなせば自ずと質に転換する」のは、もともと才能のある人間だけです。 私のような凡才は、量をこなすだけでは効率よく上達しません。 質の高い修練を大量にやってはじめて、効率よく上達するのです。 では、質の高い修練とはどういうものでしょうか？ それは、次の２つです。 (1)優れた文章のどこがどう優れているかを、文章を書く
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）、Llama（Meta）、PaLM（Google）があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります： Classification: 感情やポジ
NumPy 入門 — ディープラーニング入門：Chainer チュートリアル
NumPy 入門¶ 本章では、Python で数値計算を高速に行うためのライブラリ（注釈1）である NumPy の使い方を学びます。 本章の目標は、単回帰分析と重回帰分析の章で学んだ重回帰分析を行うアルゴリズムをNumPy を用いて実装することです。 NumPy による多次元配列（multidimensional array）の扱い方を知ることは、他の様々なライブラリを利用する際に役立ちます。 例えば、様々な機械学習手法を統一的なインターフェースで利用できる scikit-learn や、ニューラルネットワークの記述・学習を行うためのフレームワークである Chainer は、NumPy に慣れておくことでとても使いやすくなります。 それでは、まず NumPy の基礎的な使用方法を説明します。 NumPy を使う準備¶ NumPy は Google Colaboratory（以下 Colab
GPTの仕組みと限界についての考察（2.1） - conceptualization
全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
「あなたには弱者の気持ちがわからない」という呪縛 - いつか電池がきれるまで
ランキング参加中雑談・日記を書きたい人のグループ kawango.hatenablog.com これを読んで思ったことなど。 僕は川上さんのことがずっと気になっていて、著書も読んできたし、けっこうファンでもあるのです。 fujipon.hatenablog.com 冒頭のエントリも、川上さんは川上さんの目で見てきた世界のことを書かれていて、その率直さには頭が下がります。 「あなたには弱者の気持ちがわからない」っていう言葉は、僕もネットでよく浴びせられて、考え込んでしまっていました。 「なんだ医者か、勝ち組じゃん」 「親ガチャ勝ってるだろ」 「お前みたいな恵まれた立場にいるやつに、俺たちの気持ちはわからないよ」 もう10年近く前、ほとんど一睡もできずに働いていた当直の夜に、急性アルコール中毒で救急搬送されてきた若者がいました。 ぐったりしながらも必要な処置をしていたら、その若者は少し酔いが醒
マッキンゼー式「問題解決1枚シート」で、圧倒的に仕事がしやすくなる納得の理由。 - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
「商品の売上が減っている」 「チーム内でミスや不手際が多い」 「コンプライアンスが徹底されていない」 こんなビジネス課題の解決を任されたら、あなたならどうしますか？ どこからどう手をつけていいかわからず、途方に暮れてしまう……なんて事態に陥らないためにぜひ知っておきたいのが、“問題解決のノウハウ”。 今回は、かの有名コンサルティング会社 マッキンゼー・アンド・カンパニー出身者が開発した「問題解決1枚シート」というフレームワークをご紹介します。マッキンゼー流の仕事術を学び、仕事で課題にぶつかった際にぜひお役立てください。 元マッキンゼーの識者が提唱「問題解決1枚シート」とは？ 「問題解決シート」を取り入れてみるとこうなる （Step0）A4用紙を十字に4分割し、シートを作成する （Step1）左上スペースに「解決したいビジネス課題」を書く （Step2）左下スペースに、問題の分析結果を箇条書
知的好奇心がくすぐられる良質なゆっくり解説
ここでの「ゆっくり解説」の定義：ゆっくりボイス又はボイロを使って解説をしている、まんじゅうが居なくても良い 「ちょっと調べた」とかコタツ記事のレベルを超えてるゆっくり解説をまとめる 難しすぎるとかマニアックすぎるタイプは除いてる 他にあったら教えて （なんかYoutubeへのリンクが貼れなくなってる？量多いからかも） 奇書の人三崎律日/Alt F4 著書持ち ニコ動からやってて有名なので今更かとは思う @altf4854 しくじり企業の人カカチャンネル こちらもニコ動からやってた古参、最近は起業家の話とか調査報告書の解説もやってる @cakachannel 地理の人地理の雑学ゆっくり解説 この人の動画は雑学というレベルではない、地理ｘ人類史が非常に面白い、参考にした本もたまに教えてくれる @GeoYukkuri 生き物系へんないきものチャンネル 著書持ち、ざんねんないきものブームの火付け役
ゼロから作るDeep Learning
ディープラーニングの本格的な入門書。外部のライブラリに頼らずに、Python 3によってゼロからディープラーニングを作ることで、ディープラーニングの原理を楽しく学びます。ディープラーニングやニューラルネットワークの基礎だけでなく、誤差逆伝播法や畳み込みニューラルネットワークなども実装レベルで理解できます。ハイパーパラメータの決め方や重みの初期値といった実践的なテクニック、Batch NormalizationやDropout、Adamといった最近のトレンド、自動運転や画像生成、強化学習などの応用例、さらには、なぜディープラーニングは優れているのか？ なぜ層を深くすると認識精度がよくなるのか？ といった“Why”に関する問題も取り上げます。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正
「勉強の習慣化」がうまくいっていなかった私が、勉強を1か月以上も継続できた方法。 - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
勉強を習慣化しようと何度もチャレンジしたけど、結局挫折している……。 いまひとつ達成感が得られないので、ますます勉強したくなくなる……。 そんな人は、とにかく小さく続けることを目標にするのが吉。今回は「小さな習慣」の有効性を、筆者の実践例とともにご紹介します。 勉強の習慣化がうまくいかない理由 1. 設定したハードルが高すぎる 2. 達成感を得られていない 勉強の習慣化には「小さな習慣」が最適 「小さな習慣」で戦略的に勉強を習慣化してみた 「小さな習慣」なら、新しい習慣も簡単に身につく！ 1. 負担を感じることなく勉強できた！ 2. 勉強を毎日継続できた！ 3. 勉強以外の習慣化にもおすすめ 勉強の習慣化がうまくいかない理由 勉強を習慣化できない原因は、どこにあるのでしょうか？ 識者らは、次のように分析しています。 1. 設定したハードルが高すぎる ひとつめは、設定したハードルが高すぎるこ
統計学の講義資料(2022年度) | Logics of Blue
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
エンジニアのための「Notion」入門
株式会社SODAの社内勉強会で使用した資料です こちらは株式会社SODAのエンジニア社内勉強会にて @decoch が発表したときの資料です。 株式会社SODAについては以下リンクなどをご覧ください。 これはなに？ いま流行りの Notion を使っている方は多いと思うのですが、いまいち使いこなせていない、メモ帳としては使っているけどデータベースってなに？ というエンジニアの方向けに Notion の使い方を書いた入門記事です。 Notion とは notion.so からお借りしました ドキュメントやテーブルだけでなく望み通りに機能するようにカスタマイズできるワークスペースです。 基本的な使い方 新しくページを作りメモをとったりチェックボックスでタスクを管理したり、Markdown のように使うことができます。 / と打つことでサジェストされ /page と入力し決定をすると新しいページ
勉強するとこんな人になりますよ - megamouthの葬列
axia.co.jp どこかのエントリで呼ばれた気がした。 必要もないのに他人のエントリに乗っかるのは好きではないのだが、たまにはブログっぽいことを書かないと、と思ったので、軽く書く。 ある勉強したプログラマの末路 まず自分の話をしたい。 私は趣味で多数の求人サイトに登録している。 転職エージェントはうるさいので使っていない。 サイトに登録して、経験言語と年数にチェックを入れ、職務経歴書をサニタイズして（なんとこの用語は顧客を特定できないように「無毒化する」という意味で一般的に使われ始めている）掲載しているぐらいである。 ちなみにpaizaでもSランクを持っている。自慢にもならないし、求職活動に役立つわけでもないが、持っている。 こうして、現年収を正直に「200万」と書いておくと、スカウトメールがけっこうやって来るので、それらを暇つぶしに眺めるのである。 Webで年収400万超えるとこって
プロジェクトマネージャ試験に20時間の独学で一発合格した方法 - 斗比主閲子の姑日記
昨年10月にIPA（情報処理推進機構）の国家資格『プロジェクトマネージャ試験』を受験しました。 年が明けて「そういえば合格発表はいつだったっけ？」とIPAのサイトを見に行ったら、昨年12月下旬には合格発表がされていて、無くさずに持っていた受験票の情報を使ってチェックしたら、合格していたのでした。結構厳しいかと思っていたので、新年早々かなり驚いてしまい声が出たので、家族には変な目で見られました。 ※午前1は免除。午前2と午後1は60点以上で合格、午後2は4段階でAが必須 この記事では、非エンジニアの私がどうしてプロジェクトマネージャ試験を受験をしようとしたのか、どのような勉強をしたのかを紹介します。どなたかの参考になれば幸いです。 受験のきっかけ 2週間（20時間）しか勉強しなかった背景 勉強計画の策定 各試験のリソース配分 午前2（試験時間40分） 勉強時間 3時間 午後1（試験時間90分
エンジニアの勉強と技術力と育児 | 外道父の匠
仕事力と技術力と不安に関する雑文 | YuheiNakasaka’s Diary を読んで、自分も勉強とは技術力とはなんぞやと考えてみたくなったのでポエムです。 詰まるところ人それぞれではあるものの、考えることは少なからず良い方向に向かう、そう願いたいものです。 勉強とは 世の中にある意見として、エンジニアは生涯勉強だとか、強々エンジニアになるための勉強だとか、色んなモノを見かけます。そういう勉強に対する意見ってたいていネガティブな印象の内容が多く、なんだか迷走しているなぁという感想を持つことが多いです。 良い子ちゃん視点では、学ぶこと、その全てには意義がある、と言いたいところですが、こと仕事においては無駄な学びもあるし、将来無駄になる学びもあります。また、自発的かどうかでその効果は天地の差があるので、他人に向かってこれくらいやるべきとか言うことの意味は薄く、突き詰めると自己責任の範囲の話
Stable Diffusion の仕組みを理解する - ABEJA Tech Blog
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3D & VR Development Training from Unity Learn | Unity
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab