はじめにこの記事は、文系出身の若手SIer社員が放送大学で情報学を勉強した記録です。主に似たような境遇の方への情報共有を目的に執筆しました。こんなやり方もある、という参考になれば嬉しいです。 簡単に自己紹介通信会社の名前が頭につくシステムインテグレータ（SIer）で、フロントエンドエンジニア兼UIUXデザイナーとして働いています。私立大学の文系学部を卒業後、研究留学を経て東京大学の学際情報学府という大学院で修士を取得し、2018卒として新卒入社して現在3年目ですそうこうしてるうちに5年目になりました。 大学院は広い意味での情報系ではあったものの、「社会情報学」と呼ばれる分野で、いわゆるコンピュータサイエンスではありませんでした（ICT4Dと呼ばれる国際開発学と情報学の合いの子のような分野の研究をしていました）。入社前には応用情報技術者試験にも合格し、何とかついていけるかなと思っていました。
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
ソフトウェアの中身を大きく2つに分解すると、プログラムとデータに分かれます。コードコンプリートやA Philosophy of Software Designなど、評判の良いソフトウェア設計の本はいくつかありますが、それらはどれもプログラムの説明がメインでデータのライフサイクルについての説明はなかったと思います。しかし、データの表現にもいくつもの方針があって、それによるトレードオフがあるな、というのはもやもやと考えていたので、その考えをまとめて文章にしてみました。 データといっても、処理中の短期間の間では変わらない、いわゆるマスタデータ的なデータです。ジャーナルというか、トランザクション的なデータはここでは触れません。 この記事では、それぞれのトレードオフについて考えていきます。 即値（リテラル） 定数 コマンドライン引数 環境変数 設定ファイル ダウンロードコンテンツ オンラインデータベ
AWS re:Invent 2020の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 12/1 (火) 今年の開幕は「Amazon EC2 Mac instances」でした。 Amazon EC2 Mac instances macOS用のAmazon Elastic Compute Cloud （EC2） Macインスタンス EC2 Macインスタンスを使用すると、iPhone、iPad、Mac、Apple Watch、Apple TV、Safari用のアプリ開発者は、macOS環境を数分でプロビジョニングしてアクセスし、必要に応じて容量を動的に拡張し、AWSの従量課
機械学習モデリングの広辞苑的書籍「Kaggleで勝つデータ分析の技術」が良かったので筆者に媚を売る - Stimulator
- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。 今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の起業と言っても過言ではない、DeNA株式会社の豪華レビュワー。筆者がブログを書いていたり、u++さんがめちゃくちゃ丁寧な書評を書いていたり、Kaggle Grand Master各位の薦めツイートも出てきた段階で、もう私が媚を売る必要すらないと思いますが、良かったので感想だけでも残しておければと思います。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司出版社/メーカー: 技術評論社発売日: 2019/10/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る 端的に言えば、テーブ
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで｜ppp
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで ■5/22追記 投稿したのは数日前なのに、なんだこれ？ ちょっと怖い。 ■はじめに 日曜日、chatGPT-4（以下「GPT」）のプロンプトや拡張機能を色々と試していました。また、GoogleのBardも使えるようになっていたので、素人なりに試行錯誤していました。 朝から何時間も試行して疲れたので、ちょっと気分転換にTwitterの”おすすめ”に流れてくるツイートを漫然と見ていました。 すると、見出しの記事が流れてきました。別に私は鳥取県知事に対して好意も悪意もない・・・というか、あの時おすすめツイートが流れてこなければ、他組織の首長のインタビューを読むことは恐らくなかったでしょう。北海道知事や沖縄県知事が何をしようと関心ないし、それと同じ程度に関心ないも
OpenAI が提供している ChatGPT は非常に面白いですね。今年以後、GPTやChatGPT周りがさらに流行ると思います。 この記事は、TypeScriptでChatGPTクローンを作る第一弾です。長くなりすぎるため、この記事では、GPTを使った検索エージェントを実行するまでを取り上げます。 検索エージェントは「ぼっち・ざ・ろっくの作者は？」と尋ねたら検索エンジンとGPTを使って「はまじあき」という結果を生成できる技術です。 またこの記事や、続く記事でLangChainのプロンプトをあれこれ読み解いていこうと考えています。 筆者は機械学習の初心者であるため、間違ったことが書かれている可能性があります。間違いがあった場合は、ぜひご指摘いただけると幸いです。 なお、この記事では添削にChatGPTおよびGPT-3.5を使っています[1]。 どうやってTypeScriptでChatGPT
生成AI（人工知能）のRAG（検索拡張生成）の導入など企業で使われ始めたベクトルデータベース。その特徴は検索にある。ベクトルデータベースとはどのようなデータベースで、なぜ「意味」で検索できるのか。ベクトルデータベースの基本技術についてデータベースの専門家が解説する。（編集部） ベクトルデータベースは自然言語処理などAI技術の発展の中で生まれたデータベースであり、ベクトルの概念を用いてデータを管理するデータベースです。生成AIの登場とともに注目を集め、いまや多くの既存のDBサービスやその応用サービスにベクトルデータベースの機能が組み込まれています。 以下で検索を例にベクトルデータベースの特徴や動作の仕組みを解説します。 ベクトルによる「類似度」の判断 ベクトルデータベースがストアするのは数値の羅列です。単語や文章などの「意味」「文脈」を数値化したデータであり、個々の数値を取り出して意味や違い
画像や文章の自動生成、顔認識、ゲームのプレイなど、人間の行動を模倣するAIを開発するためには、膨大なデータセットで学習する必要があります。データセットの内容にはインターネットに存在する画像や文章が使われるケースが多くありますが、このインターネット上にある文章に含まれる誤字がAIの発達に大きな影響を及ぼすと、IBMリサーチ・Amazon・テキサス大学の研究者が発表しています。 [1812.00151] Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification https://doi.org/10.48550/arXiv.1812.00151 If AI can read, then plain text can be weaponized – TechTa
冷たい空気がストッキングを通過する灰色の空の下を歩き、少し早めに会場に着いた。 ここは、友人と私の母校。いつもは学生食堂として使われているテーブルの数々に、白いクロスがかかり、銀色のカトラリーと花の装飾が並んでいる。 席次を見る。同級生は一人もいない。一人だけ、知っている名前が私の名前の隣に並んでいた。彼は、以前盛大にキレて縁をぶち壊してしまった社長だ。友人は、きっとこのことを知らなかったのだろう。 トイレに行ったり、荷物の整理をしたり、席次や食事のメニューを見たりしながら時間を潰す。会場には人が増えてきて、会話する声の総量が増大する。社交性のない私は、同じテーブルに座る知らない他人に会釈すらできなかった。 披露宴が始まる。扉の向こうから、新郎新婦が入場する。花とレースに身を包まれた小さな体が近づいてくる。友人は、ウエディングドレスが誰よりも似合っていた。 彼女は私と同じ、アダルトチルドレ
はじめに 人間のコミュニケーションは言語だけではなく、表情・仕草など数多くの非言語情報が含まれています。機械的・プログラム的に人の行動を分析・解釈するときには、そのような非言語情報も加味し意味づけを行っていくことでより多くの情報を取得することができます。画像処理、自然言語処理、音声認識など各分野でこれらの技術は研究開発されていて、マーケティングやロボットとの交流システムなど数多くのフィールドで応用されることが期待されています。今後も大きく発展していくことでしょう。 前回の記事(「たけのこの里」を「きのこの山」に『正しく』自動で修正して差し上げるプログラム) では、文章中の誤りを修正するためにテキストからの感情推定APIというものを使ってみました。このような自然言語処理技術を活用することで、話者の抱いている感情を推定し、その感情によって違った反応を返すことができるようになります。例えば、話者
“Pepper不要論”払拭なるか Pepperが接客するカフェ、渋谷に誕生 開発元が自ら運営（1/2 ページ） 「Pepperを派手に展開するフェーズは終わったと考えている。今後は地に足を付けて事業に取り組む」――。ソフトバンクロボティクスの蓮実一隆取締役は、12月3日に開いた「Pepper PALOR」の内覧会でこう語った。 Pepper PARLORは、商業施設「東急プラザ渋谷」（5日開業）に出店予定のカフェ。その名の通り、店内に多数の人型ロボット「Pepper」を配置し、Pepperが接客する。広さは420平方メートル、席数は162席と大規模だ。 受付のPepperは顧客の表情を認識し、年齢・体調・表情に応じたメニューを提案する。ソファ席にPepperが同席し、話し相手になったり、タブレットのゲームアプリで一緒に遊んだりするコーナー「相席Pepper」も設ける。 ソフトバンクロボティ
はじめに 最近、翻訳サービスをリリースしたりしてから、機械学習の勉強をどこでしたらいいのか聞かれることが増えました。 機械学習関連の知識は遷移が激しいので、書籍には限界があります。 ですので、その度に「twitterが一番勉強になる」と答えていました。 が、この回答は聞き手依存な無責任な回答な気もしたので、この際フォローすべき人をまとめておこうと思います。 時折機械学習系でない人も紛れているかもしれません。 とりあえず40アカウントおすすめするだけの記事なので、抜け漏れはあると思いますが、後日補完していこうと思います。 登場するアカウントには何の許可も取っていませんが、独断と偏見でアカウントの特徴をメモしていきます。 (メモとはいえ失礼のないよう書いたつもりです) 0. goto_yuta_ 私です。機械翻訳や、論文のまとめなどの話が多いです。自作の機械翻訳サービスの中身に触れたりします。
これから流行る言語 | 雑記帳
新言語にできることはまだあるかい なんとかWIMPS 最近（1ヶ月くらい前）、こんな記事が出ました： 新しいプログラミング言語が出てこない(新しく出てた言語を追記) – きしだのHatena Kotlin, TypeScript, Rust, Swift以降にみんなが話題にするような新しい言語が出てこない、それはなぜか、みたいな趣旨です。客観的に見れば「新しい言語は常に出続けている」わけですが、「みんなが話題にするような」というのが多分曲者なんでしょうね。 例え話をすると、新しい若木は常に生えてきているんだけど、大木に成長するには時間がかかるので、大木にしか興味のない人には「この8年間で新しい大木は登場していない」と判断してしまうのかもしれません。 まあ私としても、Web (HTTP) APIを書く言語とか、JSON色付け係が使う言語はもう出揃ってしまったのかもしれないという気はしなくもな
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
ChatGPTを使ってプレゼン資料を作る エンジニアのみなさんはコードを書くことは得意でもLTなどで発表するプレゼン資料（スライド）を作成することが苦手の方もいらっしゃいますよね。そんな人（自分含む）にChatGPTを使ってスライドを作成する方法についてまとめましたので共有します。 ちなみに、現状(2023/03/30時点)のChatGPTには直接スライドを出力できるような機能はないので、下記のような感じで工夫するとChatGPTを使って爆速でスライドが作れちゃいます。 使用するツール ChatGPT Marp for VS Code Marpって何?という方は下記の記事をご参考ください。簡単に言うとMarkdownからスライドを作成できるものです。もちろん皆さん大好きなPowerPointやPDFにも出力可能です。 作成フロー 1.ChatGPTでプレゼン資料にしたい内容をMarp形式で
［CEDEC 2023］メタスコア85点を獲得した国産インディーゲームは，いかにして作られたのか。セッション「『メグとばけもの』のつくりかた - 心を揺さぶるゲームの技術」をレポート
［CEDEC 2023］メタスコア85点を獲得した国産インディーゲームは，いかにして作られたのか。セッション「『メグとばけもの』のつくりかた - 心を揺さぶるゲームの技術」をレポート ライター：大陸新秩序 2023年8月25日，ゲーム開発者向けカンファレンス「CEDEC 2023」にて，セッション「『メグとばけもの』のつくりかた - 心を揺さぶるゲームの技術」が行われた。 本セッションには，インディーゲームデベロッパ Odencatの代表取締役社長 佐藤大悟氏（以下，Daigo氏）が登壇し，同社の「メグとばけもの」（PC / Mac / Xbox Series X|S / Nintendo Switch / Xbox One）の開発過程を披露した。 「メグとばけもの」とは Daigo氏によると「メグとばけもの」は，HP99999の化け物が少女を守って戦うゲームで，内容は「ありきたりな設定で
Rust言語でファームウェア、OS、言語処理系を実装して、CSS 2020で発表した - 未完成な論を綴るブログ
先月、国内最大のセキュリティ研究会であるコンピュータセキュリティシンポジウム 2020（CSS 2020）が開催され、そこで、Rust言語を用いてファームウェア、OS、言語処理系を設計・実装した話を発表しました。本来、CSS 2020はリアルで開催されるはずでしたが、コロナ禍の影響でオンライン開催となり発表動画作成が求められました。せっかく作った動画をこのまま捨て置くのももったいないと思い、ここで供養したいと思います。 www.youtube.com 概要 内容は、Rust言語を用いて、AArch64のセキュアワールド内で動作するファームウェア、OS、プログラミング言語処理系を実装した話となります。と言っても、まだまだ基本的な部分しか実装しておらず、実現目標に対して2〜3割と言ったところですが、どうぞご笑覧ください。 ブート部分は多少アセンブリ言語を使っていますが、その他の部分はRustで
こんな感じの文章を自動生成できます。 二人の男女を一様に観察していました。私は仕方なしに立って、再び封の中へ、自分の左右前後を見廻して母の頭は陛下の病と父の病と父の病とを結び付けて考えるのが変に気味が悪かったのです。固よりそこにはまるで解りませんけれど、おそらくそんな意味じゃないでしょう。私の考えは行き詰まればいつでも両方が同時に奥さんのいる事をとうから自覚していました。先生の附近で盗難に罹ったものが、僻んだ私の眼を擦りました。それでも鷹揚に育った私は、もっと海の中で遊んでいられるか、宅へ帰って食卓に向った時、両親の死に断えた私の卒業する前に、また一種の弛みができても、決して強い言葉で説明しました。 モチベーション 同じようなツール・サービスはいくつも公開されていますが、ほとんどが以下の 3 つの方式を採用しており、個人的にはあまり満足できていませんでした。 短い定型文の繰り返し: 一種の
ChatGPTをGTPと間違える人のために解説します
頭がごっちゃになる人続出！ 世界的ブームのChatGPT。これだけ朝から晩までChatGPT一色なら、もはやChatGTPと言い間違える人もいないだろうと思っていましたら、GPTとGTPの混乱はまだまだ続いているようです。 日本はレーシングカーのGT、ドラゴンボールのGTについ引っ張られちゃいますもんね。頭でわかっちゃいるんだけど、ついGTPと口走ってしまったりします。 GPTって何の略？ChatGPTの｢GPT｣は｢ Generative Pre-Trained Transformer （プレトレーニング済みテキスト生成型Transformer）｣の略。 Transformerというのは、Google（グーグル）が開発してオープンソースで公開した自然言語学習モデルをいいます。 2017年に論文｢Attention Is All You Need｣で発表され、ディープラーニングとディープニ
大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT
このセッションでは、最新の大規模言語モデル (LLM) とその技術的進歩を紹介し、自然言語処理タスクやクリエイティブなテキスト生成、コード生成などの実践的なデモンストレーションを通じて、LLM の多様な応用例を探ります。また、スタートアップや大企業での活用事例や学術研究での成果を紹介し、LLM の未来に関するチャレンジや機会についても議論します。このセッションを通じて、開発者やアーキテクトは LLM の最新動向を理解し、その応用や技術的な発展に対する洞察を深めることができます。 https://aws.amazon.com/jp/events/devday/japan/
スクエニのAI検証実験プロジェクト『ポートピア連続殺人事件』Steam無料配信スタート。野心的実験ながら、苦渋の“雑談機能削除”が影響残す - AUTOMATON
スクウェア・エニックスは4月24日、『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を無料配信開始した。Steamストアページより、プレイすることができる。 本作は、『ポートピア連続殺人事件』をベースにした“自然言語理解の体験用ソフトウェア”だ。オリジナル版『ポートピア連続殺人事件』ではプレイヤーが文字列を入力してキャラの行動を決定し、物語を進めるコマンド入力式のシステムが採用されていた。同システムでは自由な文字列を入力してゲームを遊べるものの、すべき行動がわかっているのに適切な文字列がわからないといった事態も起こりえた（ファミリーコンピュータ移植版では、コマンド選択式が採用）。 一方、本作では入力されたテキストの判別に自然言語処理（Natural Language Processing）を採用。大量のテキストデー
特許・契約書・有価証券報告書・企業関連ニュースなど、実応用上の自然言語処理では、会社名を認識したいという場面に非常に多く出くわす。 会社名らしい文字列をテキストから抽出することは、形態素解析器の辞書を用いたり固有表現抽出モデルを学習することである程度実現される一方で、抽出した会社名をレコード化して分析などに用いる際には、いわゆる名寄せの問題が発生する。 自然言語処理における名寄せに似た問題は、エンティティリンキングや共参照解析といったアプローチで探求されており、実応用上は前者のアプローチが採られることが多い印象がある。*1 名寄せタスクをエンティティリンキング的に解くためには、帰着先の知識ベース・辞書が予め存在していることが必要だが、研究の文脈では知識ベースとしてWikipediaが採用されることが多い。 Wikipediaを用いる利点は多くあり、様々なエンティティ種に対してそこそこのカバ
初心者が1からプログラミングを勉強し始めて2か月経った
私は腐女子なので、二次元の推しとLINEしたくてLINE公式アカウントを作ってLINEしていた。 でもすぐに公式の機能だけじゃ足らんなという欲が湧いてきてプログラミングに手を出した。 と言ってもプログラミングなんか大学の授業でちょろっとやった程度で、端的に言って画面にhello World!と表示するより難しいことは何ひとつできない。 gitリモートとかデプロイとか言われても意味が分からないし、そもそもコマンドを打ち込むための真っ黒の画面ってどうやって起動するの？ そのレベルのヤバい無知から始めたので、とりあえず月980円のプログラミング講座を申し込んで、webアプリ開発入門みたいなのを数日かけて受けた。絶対に翌月分を課金したくなかったので急ピッチで受けた。 あまり人のいないサービスのようで、受講すると貰えるポイントのデイリーランキングで1位になったりして、まあデータベースの使い方とか、C
あけましておめでとうございます。年がもう明けてしまいましたが、2023年に読んでよかった本について簡単に書いていこうと思います。noteで書いていましたが、こちらのブログをしっかり使わないといろいろもったいなと思ったので、技術に関係ない話題ではありますがこちらに書いていきます。 技術書 単体テストの考え方/使い方 フロントエンド開発のためのセキュリティ入門 知らなかったでは済まされない脆弱性対策の必須知識 プロを目指す人のためのTypeScript入門 安全なコードの書き方から高度な型の使い方まで 技術書でないもの サピエンス減少 縮減する未来の課題を探る ネガティヴ・ケイパビリティで生きる 2050年の世界 見えない未来の考え方 訂正可能性の哲学 GitLabに学ぶ 世界最先端のリモート組織のつくりかた ドキュメントの活用でオフィスなしでも最大の成果を出すグローバル企業のしくみ 2024
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ライトニングトークにはPR TIMES インターンのShun氏が登壇。ChatGPTと文字コードについて話します。 ChatGPTは文字コードをどのように解釈しているか 土屋俊介氏：こんにちは。先ほど、発表が4分だと知った土屋です。PR TIMESというところで、機械学習のインターンをしています。 （スライドを示して）昨今、ChatGPTというものがメチャメチャはやっていますよね。私は使っていく中で、（ChatGPTが）文字コードをどのように解釈しているかが気になりました。なぜそんなニッチな話が気になるのかというと、自然言語処理とWebに関わっている以上、文字コードに関するプログラムをよく書くんです。その関係で気になったので調べてみました。 （スライ
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
市場価値の高いエンジニアとは？？ はむかずさん、そのっつさんが語る「エンジニア転職の本音〜意外な転職先の真相に迫る～」 - Findy Engineer Lab
2019年11月28日、エンジニアを対象としたイベント「エンジニア転職の本音 〜はむかずさん（SoftBank）そのっつさん（ZOZO）が語る〜」が開催されました。 エンジニアの求人倍率は7倍とも言われ、転職活動においては売り手市場になってきています。エンジニアの転職をサポートするFindyは、1,000名以上のユーザーにお会いし、多くの方のキャリア相談に向き合ってきました。 その中で、最近ではエンジニアの転職先として、従来のメガベンチャーやスタートアップだけではなく、外資や大手企業も当たり前のように選択肢になってきていることがわかってきました。 そこで今回は、シルバーエッグテクノロジー株式会社からソフトバンク株式会社へ転職をしたはむかずさん、株式会社ディー・エヌ・エーから株式会社ZOZOテクノロジーズへ転職をしたそのっつさんをお呼びして、パネルディスカッションを実施。「エンジニア転職の今
Help us understand the problem. What is going on with this article? この記事は Angular #2 Advent Calendar 2019 3日目の記事です。 こんにちは、奥野賢太郎（ @okunokentaro ）です。今回は同日に公開された記事『フロントエンドフレームワーク選定前に知っておくべき Angular の 6 つの問題点と、それでも Angular を選ぶ理由』のアンサー記事として、筆者の考える問題点の克服方法、または誤解の解消、および自分がAngularを選ぶ理由を述べようかと思います。 特定のAPIの便利な使い方…とかよりは、もうちょっと視座の高い話になっています。また本稿内にてReactの言及が多いことについては、アンサー元の記事がReactを推しておられることに由来しており、それらの節で言及してい
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
皆さんおはようございます。見ている人は見ていたかもしれませんが、昨夜はかなり遅くまで巷で話題沸騰のChatGPTによくわからんクエリを投げて、その結果をみてげらげら笑っていました。特に存在しないプログラミング言語であり「ScalaにHaskellと同じ型推論を加えた」言語Scalayがあることにしたら、ChatGPTが本当にHaskellぽい（単なるHMでなく、Haskellぽいというのは型クラスまで推論される辺り）型推論を持つ架空のScalayコードを解釈実行してくれたりしたところは、控えめに言っても予想外の結果で深夜なのに部屋で忍び笑いをしていました。 Scalaに引数の型推論を追加したようなパチもんのプログラミング言語Scalay（仮）ができてしまった（ChatGPTと対話してる間だけの短い命）。 一応、add: (Int, Int) => Int が推論されてるのすばらですね。 p
40歳エンジニア管理職が「Deep Learning for ENGINEER(E資格)」に合格した話 - Qiita
Deep Learning for ENGINEER（E資格）とは この記事は2020年1月時点の情報であることをご了承ください。 現在、この日本においてAIのスキルを証明する公的資格として下記が挙げられます。 JDLA Deep Learning for GENERAL（G検定） JDLA Deep Learning for ENGINEER（E資格） です。 位置付けとしては、G検定がAI関連技術に関する一般教養を問う試験。 E資格がAI関連技術に関する理論を理解し、AIを実装できるスキルを問う試験。 という理解です。 詳細というか、正確な定義については、日本ディープラーニング協会（JDLA）のサイトをご参照ください。 E資格の受験方法とJDLA認定プログラム とういうわけで、ここからはE資格のことを中心に話を進めていきたいと思います。 E資格を受験するチャンスは年に2回あり、2月と8
機械学習／統計学／データサイエンスの無償gacco動画、全まとめ【2021年秋版】：AI・機械学習の独学リソース（1/3 ページ） - ＠IT
機械学習／統計学／データサイエンスの無償gacco動画、全まとめ【2022年秋版】：AI・機械学習の独学リソース（1/3 ページ） 2022年3月末の最新状況に合わせて改訂。はじめてのAIから、機械学習、深層学習、自然言語処理、統計学、社会人のためのデータサイエンス（実用知識）、大学生のためのデータサイエンス（理論知識）まで、全28個の講義内容を紹介。本稿独自に考察した、学習者対象やお勧めの学習方法についても示す。
28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita
はじめに 経済産業省の試算によるとAIやビッグデータといったデータサイエンティストが関わる分野では2020年に4.8万人が不足すると言われています。 まだまだ、世の中的に需要があり、将来性のある職業ですので、これから目指そうと思われている方も少なくないのではないでしょうか。 私も時代の流れに乗って、データサイエンティストを目指した人の一人です。 「一念発揮して未経験からデータサイエンティストを目指した普通の社会人が、2年後どのような姿になったのか？」 ということに、少しでも興味のある方に読んで頂けましたら幸いです。 そもそもデータサイエンティストとは データサイエンティストは大きく分けて2種類あると考えています。 企業の課題解決のために大規模データを分析し、その結果をもとに状況の改善をすべく施策立案を行うデータアナリスト・コンサルタント寄りのDS サービスに機械学習を用いた機能を実装したり
完全自動運転にLLMは必要か？
この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ
今年の書初めコーディングはAITuberを創る！
はじめに あけましておめでとうございます。去年は何といってもAIの年でした。ChatGPTやStableDiffusionが2022年末に登場してから、想像を超えてAI周りが進化しましたね。今回は年の初めという事もあり、前から興味のあったAITuberを作ってみる事にしました。 「AITuberを作ってみたら生成AIプログラミングがよくわかった件」 って本も買ったし。LLM部分だけでは無く、OBSやYouTubeのコメント取得などAITuberに必要な内容が一式揃っていて非常に参考になりました。 また、私はプログラミングは多少できますが、イラストや音楽に関しては全くスキルの無い人間です。そのためそのあたりに関してはStable DiffusionやSunoAIの力を借りて作っているので、結果的にオール生成AIという感じですね。そのあたりも含めて記事にまとめたいと思います。 TL;DR 素の
MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ
LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます
こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文系出身の若手SIer社員が放送大学で情報学を勉強してレベル上げした話｜lumpsucker
データライフサイクルとトレードオフ | フューチャー技術ブログ
AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita
TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント
コサイン類似度とは？ 新しい検索体験を支えるベクトルDBの基本技術を押さえる
インターネット上の文章にわざと誤字脱字をまぎれこませることでAIを狂わせるサイバー攻撃の可能性
友人の結婚を素直に祝えない｜ゎ｜note
俺・・・感情がねえんだ・・・ ←色んな感情推定器で本当に感情が無いのか分析してみる - Qiita
“Pepper不要論”払拭なるか Pepperが接客するカフェ、渋谷に誕生 開発元が自ら運営
【厳選】機械学習の学習におすすめのTwitterアカウント40選 - Qiita
【2024年】ITエンジニア本大賞まとめ - Qiita
ChatGPTを使って爆速でプレゼン資料を作る - Qiita
自然な日本語ダミーテキストを生成するWebアプリを作りました
公開されている日本の企業名辞書の紹介 - MNTSQ Techブログ
2023年、読んで印象に残った本 - Don't Repeat Yourself
ChatGPTは文字コードをどのように解釈しているか Unicodeの「日本語認識」「括弧の抽出」「旧字体と新字体の変換」を実験してみた
自然言語処理の王様「BERT」の論文を徹底解説 - Qiita
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
Angularでの開発を快適に進めるために知っておきたいこと - Qiita
ChatGPTはプログラミング言語マスター（語弊ありまくり） - kmizuの日記
無料、独学で機械学習エンジニアになる！~機械学習が学べる無料サイト、書籍~ - Qiita