先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
はじめに 前提 アメリカで働くためのビザ 業務経験 2023年のアメリカのテック業界の状況 具体的な就活のステップ ソフトウェアエンジニアのインタビューで求められることの抽象的な理解 レジュメ Job Descriptionから逆算してレジュメを作る 一枚におさめる 数字を用いてスケールとビジネスインパクトを示す なるべく隙間を埋める フォーマット添削ツールにかける レビューを受ける ネットワーキング・リファラル 応募する アメリカの就活はNumber Game 採用のトレンドを追う 時期を見計らう Linkedinで最新の求人を見つける方法 Promotedをすべて非表示にする "Most Recent"順にする 検索クエリを工夫する 設定をブックマークする 時間を決めて巡回する コーディングインタビュー対策 アルゴリズムの地図を脳内に作る 大学やCouseraでアルゴリズムの授業を取る
クックパッドを退職しました - 昼メシ物語
2024年1月末まで在籍していますが昨年12月に業務は終えていて、いまは有休消化期間中です。2010年から約14年間勤めてきた、自分の生き様そのものとも言えるクックパッドを離れるのには、表現しきれないほど大きく、複雑な思いがあります。 僕がこの14年間でやってきたことを振り返ってみます。 入社 クックパッドに入社した時は新卒3年目相当で、26歳でした。もともと料理と Ruby が好きで、当時まだ珍しかった Ruby on Rails でサービス開発をしているらしいという点や、当時からネットウォッチしていた @ryo_katsuma さんが所属していること、直属の上司の井原さんが転職したことが決め手になり、体当たりで飛び込みました。当時の僕はほとんど実績もなく、入れてもらえるかギリギリのところだったと思いますが、おそらく井原さんが頑張って交渉してくれたのだと思います。本当に感謝しています。こ
はじめに 今回は各大学が公開している、エンジニア向けの資料をまとめていきます。 東京大学 ChatGPT活用法 ChatGPTの基礎的な内容から実際にどのように活用すべきかが解説されている。 Pythonプログラミング入門 Pythonについて環境構築から始まり、基本文法、応用的な使い方まで分かりやすく解説されている。 AWS入門 ハンズオン形式でAWSの学習ができる。 AI・データサイエンスの活用事例 データサイエンスやAIの活用事例を学べる。 人工知能・深層学習を学ぶためのロードマップ AIやデータサイエンスの具体的な活用事例が学べる。 京都大学 プログラミング演習 Python 統計学 統計学やデータ分析、検定を学べる。 慶應大学 ChatGPTの活用資料 ChatGPTを用いた開発方法が学べる。 東京工業大学 機械学習 筑波大学 データベース データベースの基本から正規化や設計とい
こんにちは、JUNERAYです。 皆さんは日本酒がお好きですか？私は大好きです。夏の午後、プールへ行った帰りにアイスを食べて、クーラーの効いた部屋でする昼寝くらい好きです。 長いことお酒や飲み物にまつわる仕事をしていて、ありがたいことにビギナーさんにお酒の基礎知識や美味しい飲み方などのレクチャーをさせていただく機会も増えました。 日本酒についても何度か解説記事を書いているのですが、実は毎回ぶつかる壁（でかい）（かたい）があります。 まじこれ。 馴染みのない専門用語がたくさん出てくるだけでなく、そのいちいちが「特別本醸造」とか、「山卸廃止酛」とか、墾田永年私財法か？？ってくらい漢字の繋がった用語だらけ。ぷよぷよだったら連鎖して消えてます。 ビギナーさんの中には、「日本酒のことが知りたいと思って入門書を買ったけど、ちょっと読んだだけで投げ出しました」なんて方も少なくなく、レクチャーする側として
ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間１億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です
１年以上インボイス制度対応をして、業務とシステムを踏まえて法整備がされるべきだと思った - SaaSベンチャーで働くエンタープライズ部長のブログ
受取請求書処理SaaSのプロダクトマネージャーとして、この1年以上プロダクトのインボイス制度対応を行ってきました。 請求書の受け取り、仕訳処理、支払処理などを行うB2BSaaSだったのですが、インボイス制度自体が非常に複雑で対応方法に非常に頭を悩まされてきました。 法制度自体が過度に複雑なため、業務もプロダクトの設計もユーザー体験も複雑にならざるを得ない点を感じました。 インボイス制度は増税観点で批判されることも多いのですが、業務自体の生産性やエンジニアの開発生産性にも影響を及ぼすと感じ、今回は法制度の複雑性に焦点を当てていきます。政治的な内容はあまり書くつもりはないのですが、昨今あまりに業務をおざなりにして法制度が作られることが気になるので課題意識を書いてみたいと思います。 インボイス制度とは インボイス制度によって業務負担が増える 適格請求書を逐一確認する業務負担が増える 適格請求書か
この図はざっくりと3つの領域に分かれます。まず左下が従来のプログラミングの領域です。これは簡単に言うと「プログラムは間違ってはいけない定形な仕事を奪う」ということです。次にその上の士業が責任を取る領域です。これは「責任」を取る人がいないと成立しない仕事です。ミスが発生した際に罰則を与えるという形で、ミスの発生を防いでいます。最後に右側のホワイトカラーの仕事の領域です。ホワイトカラーの仕事は入出力が不定形であり、作業フローも非定型であったりします。そのため、多少のミスはあっても仕方ないという前提の上で仕事が行われています。 機械学習がビジネスに組み込まれるにつれ、ホワイトカラーの仕事領域はそれらによって少しずつ代替されつつあります。その図がこちらになります。 ホワイトカラーの担っていた領域は、表データの機械学習（重回帰や、Lasso回帰、SVM、RandomForest、LightGBMなど
はじめに こんにちは、CTO/DevRelブロックの堀江（@Horie1024）です。ZOZOではGitHub Copilotを全社へ導入しました。本投稿では、GitHub Copilotの導入に際して検討した課題とその課題の解決策としてどのようなアプローチを取ったのかを紹介します。 目次 はじめに 目次 GitHub Copilotとは何か？ GitHub Copilot導入の背景と目的 導入する上での課題 セキュリティ上の懸念 ライセンス侵害のリスク GitHub Copilot for Businessの利用 導入による費用対効果 試験導入による費用対効果の見積もり 試験導入の実施 対象者の選出 アンケートの設計 試験導入の実施 アンケート結果の集計 アンケート結果の考察 費用対効果の見積もり 全社導入の判断 導入決定後のGitHub Copilot利用環境の整備 社内LT会 おまけ
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
こんにちは。しおぱんです。ChatGPTのプラグインがあまりに多すぎて大変だったので、プラグイン機能一覧を作りました。 【お知らせ】 プラグインの増加速度が早すぎるため、記事作成が追いついておりません🙇 お急ぎの方はこの記事作成でも利用しております、こちらのプロンプトを使ってみてください🙌 【カテゴリ検索の方法】 ブラウザの検索バーに [カテゴリ名] を入力すると絞り込みできます🙆 Mac: Command + F / Windows: Ctrl + F 【カテゴリ一覧】 [エンタメ] [音楽・音声] [画像・動画] [学習] [学術] [語学] [プログラミング] [ビジネス] [マーケティング] [ファイナンス] [ニュース] [ツール] [リサーチ] [ウェブアクセス] [天気] [旅行] [レストラン] [ショッピング] [医療・健康] [不動産] [求人] [ユーティリティ
ChatGPTで圧倒的に回答精度を高めやすいよう開発したプロンプト(入力文)ひな形を無償公開： GPT研究所のGPT監査活動を通じて編み出した汎用型プロンプト【日本マネジメント総合研究所合同会社】
ChatGPTで圧倒的に回答精度を高めやすいよう開発したプロンプト(入力文)ひな形を無償公開： GPT研究所のGPT監査活動を通じて編み出した汎用型プロンプト【日本マネジメント総合研究所合同会社】 報道機関各位 2023年5月21日 日本マネジメント総合研究所合同会社 各種感染症・台風/豪雨災害・各種震災など各地の災害や戦禍等で、国籍等に関わらず感染・被災・苦境に直面された方々と、復興者の方々や平和維持活動の皆様・世界各地の医療機関関係各位ならびに各種関係各位のご安全と1日も早い実りあるご快癒・復旧復興・和平等と共に、ご無念ながらに天上に召されました尊い御霊・御仏のご冥福を心よりお祈り申し上げます。 弊社の理事長が所長を務めるGPT研究所にて、下記の通り、ChatGPTにおける入力・質問文を工夫することで、より精度の高いGPT出力・回答を得やすくなるプロンプト（ビジネス・プライベートなど各
はじめに 当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。 そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と心療内科から診断を受け休職し、会社制度により退職することになりました。「え？そんなに素晴らしい環境なのにメンタル弱すぎでは？」と思われる方もいらっしゃることでしょう。返す言葉が全くありません。おっしゃる通りです。 しかし同時に、「何故鬱になったの？」と思われる方もいらっしゃるのではないでしょうか。本記事ではこの点について鬱を発症した本人の目線から「どうしてそんなことが起きてしまったのか」という点について考察
AIに「お前のところの営業担当、マジでクソだ、二度と顔見せんな。替えろ」をメールの文章に変換してもらったら超実用的だった
ところてん @tokoroten 株式会社NextInt 代表 著書「ChatGPT攻略」 共著「仕事ではじめる機械学習」「データサイエンティスト養成読本 ビジネス活用編」 データ分析、コンサル、ゲームディレクター、技術顧問、企業での研修・講演などで出稼ぎ労働中。 お仕事相談はDMからどうぞ。 nextint.co.jp slideshare.net/TokorotenNakay…
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
勉強について エンジニアの皆さん。エンジニア以外の皆さん。 ・勉強しようと思っているけど、何を勉強したらいいかわからない ・ネットを漁っても良質な教材が出てこない ・他人がどんなことをしているか気になる こんなお悩みありませんか？ 今回は、有名企業の研修資料をまとめましたので、勉強のネタにしてみてはいかがでしょうか？ 新人、ベテラン関係ありません！ GWに暇を持て余したら、こちらをご覧くださいね サイボウズ サイボウズです。 22年度の内容が公開されていました。 ■モバイルアプリ開発 ■サイボウズのアジャイル・クオリティ ■MySQL - テストデータが偏るということ ■モブに早く慣れたい人のためのガイド ■テクニカルライティングの基本 ■ソフトウェアテスト ■セキュリティ ■ソフトウェアライセンス 講義資料と講義動画まで公開されています。 資料が苦手な人でも学習が捗りますね。 ラクス こ
AI搭載版『ポートピア連続殺人事件』が4月24日にSteamで無料配信決定、『THE PORTOPIA SERIAL MURDER CASE』として名作ADVが蘇る スクエニAI部に経緯を訊いた
スクウェア・エニックスは、堀井雄二氏が手掛けた『ポートピア連続殺人事件』を題材に、先端AI技術を搭載したテックプレビュー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を2023年4月24日にSteamにて無料配信すると発表した。また公式サイトをオープンしている。 AIの一分野である自然言語処理（NLP）の技術を使った「NLPアドベンチャー」と銘打っており、日英の言語に対応している。 「THE PORTOPIA SERIAL MURDER CASE」とは 『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』（以下、THE PORTOPIA SERIAL MURDER CASE）は、『ドラゴンクエスト』シリーズで知られる堀井雄二氏が手掛けたADV
かれこれ三年以上ほぼ毎朝論文を読んでいます。 ほぼ毎朝、というのは本当にほぼ毎朝です。この三年のうち読まなかった日はワクチンの副反応でダウンしている日など、あわせて 10 ~ 20 日ほどでしかありません。この日課だけでも 1000 本以上は論文を読んだことになります。 論文読みの日課についての知見が溜まってきたのでこの記事で共有します。 主な想定読者は研究者と学生の皆さんですが、それ以外の論文読みに興味のある皆さんにも有用な情報が詰まっているはずです。 日課の流れ Readable について 🧐 論文の選び方 自分の研究内容と直接関係あるものを読む（特におすすめ） 完全にランダムに選ぶ 被引用数の多い順に選ぶ（特におすすめ） トピックごとに重要な論文を読んでいく 研究者ごとに論文を読んでいく 📝 論文メモの書き方 ⏳ 時間を計測する 🤗 論文メモを公開する 📜 表現集の作成 🔨
生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について
各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長（教育・情報担当） 太田 邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の
全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning（微調整）することで生まれました。ChatGPTがとりわけPythonが得意なのはここから来ています。 ChatGPTの学習データを考えることはその能力を発揮させるときに極めて有効です。質問時も以下のように、『涼宮ハルヒの憂鬱』というライトノベル作品について日本語で聞いたときはSOS団の略称を間違えるなどしますが、英語ではほぼ期待通りの回答を見せます。 図1 『ハルヒの憂鬱』について日本語で聞いた場合の回答 図2 『ハルヒの憂鬱』について英語で聞いた場合の回答 知ったかぶりをするChatGPT ところで、ChatG
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
ChatGPTが本当にヤバい。 断言する。新卒がこれを使いこなせば、今職場で「優秀」とされている5-6年目くらいの先輩なら余裕で出し抜ける。鬼になれる。 筆者はメーカー社員なので、メーカーの新入社員がChatGPTを使って鬼になる方法を1つ提案したい。 「ChatGPT×Python」である。 Pythonとは、ご存知のとおり物理シュミレーションからデータサイエンス、機械学習までカバーする汎用性をそなえたプログラミング言語だ。何でもできるわりには書ける人がなぜか少なく、いまだにスキルとして重宝されている。 そんなPythonにChatGPTを使おう。 ChatGPTを使えば、上司から求められるアウトプットを一瞬で出すことができる。それに対してフィードバックをもらい、それも一瞬で打ち返すことができる。 「あいつ"Python書ける"だけじゃないんだよな。こっちが言ったこと正確に理解するし、そ
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
クリエイターに出会ったり、もっとファンになったり、noteで創作をつづけたくなるようなイベントを開催する「noteイベント」。今回は「チャットAI使いこなし最前線」をテーマに、黎明期からチャットAIを活用しているnote CXOの深津貴之氏が登壇しました。こちらの記事では、ChatGPTユーザーの悩みを解決するプロンプトなどが語られました。 ChatGPTユーザーの悩みを解決するプロンプト 徳力基彦氏（以下、徳力）：まず今日はChatGPTの使い方をしっかり覚えていただきたいと思います。ここで「深津式汎用プロンプト」。 深津貴之氏（以下、深津）：僕は1個1個、個別の例を出すのはあんまり好きではないです。さっき言ったように原理原則を1個理解すれば、全部その原理原則から引っ張れる方向が好きですね。 なので今日も、細かいプロンプトを出すよりは、だいたいあなたの悩みのすべてを解決するプロンプトを1
「GPT-4」発表 日本語でもChatGPT英語版より高性能、司法試験で上位10％、「この画像何が面白いの？」にも回答
「GPT-4」発表 日本語でもChatGPT英語版より高性能、司法試験で上位10％、「この画像何が面白いの？」にも回答（1/3 ページ） 米OpenAIは3月14日（現地時間）、大規模言語モデル「GPT-4」を発表した。テキストでのやりとりだけでなく、新たにユーザーから画像を受け取り、適切な情報も返せるようになったという。司法試験の模擬問題を解かせたところ、現在の「ChatGPT」が採用しているGPT-3.5では受験者の下位10％ほどのスコアしか取れないのに対し、GPT-4では上位10％のスコアで合格するとしている。 ChatGPTの有料版「ChatGPT Plus」やAPI経由ですでに利用できるようになっている。 専門的領域なら人間レベル 日本語でもGPT-3.5の英語版より高性能に GPT-4の性能について、同社は「現実世界のシナリオにおいては人間に劣ることも多いが、（司法試験の模擬問
Twitter で医師が拾われて Google のソフトウェアエンジニアになって 3 年半が過ぎました - nodchipの日記
はじめに 『天才』はつくれる 競技プログラミング同好会競技就活部門 Google は世界最高のプログラミングスクールである 雇用形態と働き方 ソフトウェアエンジニア (SWE) Google でのお仕事 Google の面接の内容 Google の面接の問題の種類 コーディングクイズ 知識を吐き出す系 Open-ended question システムデザイン Google の面接の評価基準と対策方法 知識 技能 マインドセット Google の面接のタブー Google の面接の心構え 面接官への話し方 話す量 エリート意識 自己愛 優秀さ、知識量に対するこだわり Google の面接のテクニック 入力条件を確認する 入力の条件を簡単にできるか交渉する テストケースを作って提示する 関連する知識を答える 正しく修正する 競技プログラミングと Google の面接 おわりに はじめに nuc
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
新世紀エヴァンゲリオンにでてくる超AI、MAGIシステムを作ってみたメモ。 OpenAI社のGPT3を使って、三頭制合議型のAIシステムを組んでみた。 MAGIシステムとは？MAGIは、アニメ「新世紀エヴァンゲリオン」にでてくる超AI。 このAIの面白い特徴は、性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステムです。 キリストの祝福を告げた三賢者にちなみ「メルキオール」、「バルタザール」、「カスパー」という3つのAIが、それぞれ開発者である赤城博士の「科学者」、「母」、「女」として側面をから答えを出します。 MAGI GPT3の実装最近話題のChat GPTの凄さをみるに、「MAGIシステム」現実に作れるのでは？と思って、Google Colabで実装してみました。 1つの質問に対し、GPT3を4回ぶんまわすシステム図のように、1つの質
2022年4月13日の試験で統計検定準1級に合格したので、記事を書く気になりました。daminです。（Twitter: @5882353i） うおおおおおおお統計検定準1級合格！！！！！！！うおおおおおおお！！！おおおおおお！！！！！！うおおおおおお！！！！！！！！！！！！！！！ pic.twitter.com/J1LDsgUVm1 — 惰眠👻 (@5882353i) 2022年4月13日 背景や、合格するまでに使った本などを書いていきます。 背景（受験までのおおまかな流れなど） 余談：センター統計選択のススメ 持っていた方がよいもの・知識 線形代数の知識 Pythonの知識 goodnotes5 使った本 東大出版の統計学入門（通称：赤い本） 公式の準1級対策本（通称：ワークブック） 過去問 クラインバウム生存時間解析 ゼロDL ベイズ漫画 まとめ 真剣に読んでいる人向けのまとめ あま
ハーバード大学のコンピューターサイエンスの講義（日本語版）が無料公開されている件「聞き取りやすいから英語も勉強できる」
QDくん⚡️Python x 機械学習 x 金融工学 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。 pic.twitter.com/XyBBslyeBa 2022-10-08 22:01:21 🎍QDくん🎍Python x 機械学習 x 金融工学 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出
はじめにこんにちわ、UKIです。 金融引き締めによって株式投資に苦しい期間が続いていると思いますが、いかがお過ごしでしょうか。 今回は少し長めの記事を書いてみましたので、お付き合い下さい。 結論だけ知りたい方は、目次の「株のトレーディング手法まとめ」まで飛んでください。 マケデコについて本記事は、マケデコ&J-Quants Advent Calendar 2022の最終日の記事となります。 マケデコとは、Market API Developer Communityの略称で、簡単に言うと「東証が公式データを提供しますので、しっかり相場分析して投資に活かしてください」というコミュニティです。 ディスコードでのディスカッション、APIやラッパーに関する最新情報の共有、初心者や上級者向けのセミナーの開催などが行われています。 マケデコの協賛は、日本取引所（JPX）のデータ部門子会社である株式会社J
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
「Twitterのタイムラインをごちゃごちゃにする仕事」は本当に実在したのか？ 話題の元Twitterエンジニアに聞いた
「Twitterのタイムラインをごちゃごちゃにする仕事」は本当に実在したのか？ 話題の元Twitterエンジニアに聞いた実際にはどういう仕事で、どのようにして導入されることになったのか。タイムラインの「重要度順表示」の導入に関わった、 元Twitterエンジニアのイハラさんにお話を聞きました。 「タイムラインごちゃごちゃにする仕事」で波紋Business Insiderが12月1日に掲載した、「感謝祭の前夜にTwitterをレイオフされた日本人エンジニア」のインタビューが話題になっています（もともとは英語版Business Insiderが11月28日に掲載した記事で、日本版はこれを翻訳したもの）。 インタビューの内容もさることながら、特に注目を集めたのは、インタビューを受けたエンジニアがTwitterで行っていたという「業務内容」でした。 「解雇される前、私はツイッター（Twitter）
日本のウェブデザインの特異な事例
sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人
｢ソフトウェア分野で迅速なイノベーションを実現するには、それぞれが何に取り組んでいるのか、誰が何をコーディングしているのか、把握しておくことが不可欠です｣ 11月21日にツイッターのサンフランシスコ本社で開かれた全社会議の場で、マスク氏は大規模な人員整理が完了したこと、（テスラのような）テキサス州への本拠移転計画は考えていないことを語っているが、上記のメールはその数時間後に送られた。 なお、Insiderがすでに報じたように、同社のフルタイム従業員数は現在約2300人、10月末にマスク氏が経営権を握った時点の7500人に比べて3分の1以下まで激減した。 メールは、エンジニアらに各自報告を求める内容として、｢どんなプロジェクトに取り組んでいるか｣｢何を到達目標としているのか｣の説明に加え、｢その週に書いたコードのサンプルまたはファブリケーター（Phabricator、コードレビュー用ツール）
Elon Musk は Twitter で何をしようとしているのか - The Decisive Strike
まだ Twitter の一斉解雇をめぐる混乱は続いているようですが、この解雇を通じて見えてくる Elon Musk の意図を考えてみたいと思います。これは公開されている情報に基づく長山個人の推測に基づいた分析であって、正しさはいっさい保証されていません。 個人的な所感としては以下です。 まず第一に、Musk は、Twitter をメディア企業からエンジニアリング企業へと変質させようとしているんじゃないかと考えています。これは、「どの部署がレイオフ対象になったか」から見えてくることです。TechCrunch の記事によれば、米国でレイオフ対象になった主要なチームは、アクセシビリティ、機械学習倫理 (META: ML Ethics, Transparency & Accountability)、人権、キュレーション、PR (Comms)、SRE (Site Reliability Eng) な
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
アメリカでソフトウェアエンジニアの職を探した - pco2699’s blog
【まとめ】大学が公開している有益な資料 - Qiita
【酒屋さん監修】「世界一やさしい日本酒入門」を目指して、資料を作ってみました - JUNERAY
ChatGPTを業務に組み込むためのハンズオン.pdf
AIはどのような仕事ができるようになったのか？ChatGPTで変わる「優秀な人材」
GitHub Copilotの全社導入とその効果 - ZOZO TECH BLOG
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
ChatGPT プラグイン機能一覧｜しおぱん
自社開発メガベンチャーをわずか半年で鬱退職した雑魚エンジニアの話｜JoanOfArc
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
GWの休みに勉強しよう！！！有名IT企業の研修資料まとめ - Qiita
論文読みの日課について - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
GPTの仕組みと限界についての考察（2.1） - conceptualization
ChatGPTのおさらいと、プログラミングに活用するための第一歩 | gihyo.jp
GPTの仕組みと限界についての考察（１） - conceptualization
新入社員のみんな、「ChatGPT×Python」で鬼にならないか？｜ピーナッツ
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
ChatGPTの精度を上げる、あらゆる質問の最後に置く「命令」 優秀な壁打ち相手を作る、「チャットAI力」の高め方
【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
30分で完全理解するTransformerの世界
エヴァのMAGIシステムをGPT3で作ってみた｜深津 貴之 (fladdict)
統計検定準1級に合格した話 - i5882353iの日記
【保存版】株のトレーディング手法まとめ｜UKI
イーロン・マスク、エンジニア全員に｢週報｣提出を義務化。1週間で書いたコードの明細まで