Blog Writing for Developers
Blog Writing for Developers Published Jul 19, 2023 by in DevRel, Blogging at https://rmoff.net/2023/07/19/blog-writing-for-developers/ Writing is one of the most powerful forms of communication, and it’s useful in a multitude of roles and contexts. As a blog-writing, documentation-authoring, twitter-shitposting DevEx engineer I spend a lot of my time writing. Recently, someone paid me a very nice
LeetCode 150問を解いて起きた意外な変化
はじめに 年末に Twitter でこのツイートを見かけました。 もともとアルゴリズムの勉強に興味があり、一年ほど前に数ヶ月だけ AtCoder をやっていましたが、途中で挫折してしまった自分にとって、NeetCodeの勉強ロードマップは非常に魅力的に感じました。（転職意欲があったわけではないです） NeetCode のロードマップ そこで、このロードマップに従って LeetCode の問題を 150 問解くことを決意し、結果的におよそ1ヶ月半で全ての問題を解き切ることができました。 この過程で、様々なことを学ぶことができました。中には自分が予想していなかった学びも多くありましたので、同じくアルゴリズムに興味のあるエンジニアの方に役立てていただけるよう、記録として残しておきます。 ハードスキル 📗 データ構造への理解 頻出するデータ構造について、それぞれの長所/短所を理解し、主要な処理の
ID生成方法についてあれこれ
ID生成について聞かれることが多いので、独自の観点でまとめてみます。タイトルは適当です…。 DBはMySQL(InnoDB)を想定しています。あしからず。 ID生成を知りたいなら ID生成に関しては以下の記事がよくまとまっているので参考にしてみてください。値形式など詳しく書かれています。 ID生成大全 Facebook, Twitter, Instagram等がどうやってIDを生成しているのか まとめ ID生成方法 以下のID生成方法は、お手軽に採用しやすいもの順で列挙します。 DB採番/連番型 AUTO_INCREMENT DBのAUTO_INCREMENTで採番する方法。 Pros 数値型で扱える 普通は64ビットの整数型を採用することが多い 単調増加する連番ですので、ソート可能でかつインデックスの空間効率がよい 単調増加するので、キャパシティを予測しやすい 64ビットあればあまり気に
【LLM】Temperatureが大きいほど出力は多様！…なんで？ - Qiita
はじめに LLMでは、与えられたプロンプトからその次の単語の生成確率を求め、それを元にまた次の単語の生成確率を求めるといったステップを繰り返すことで、文章を生成（デコード）します。 しかし、品質の高い文章を生成するためには、ただただ確率の高い単語を繋げるだけでは不十分な場合も多々あり、様々なデコード手法が考えられてきました。 本記事ではこれらの背景をもとに、LLMにおける主なデコード手法についてまとめました。 またELYZA-7bを用いて実際に生成し、各手法の特徴について観察してみました。 なお本記事の作成にあたっては、主に以下のサイトを参考にいたしました。 （説明に用いた図も以下から引用しています） タイトルの内容が気になる方は一番最後の章までジャンプしてください。 Greedy Search (貪欲な探索) まずは最も単純なケースであるGreedy Searchについて紹介します。 G
How to generate text: using different decoding methods for language generation with Transformers
How to generate text: using different decoding methods for language generation with Transformers Note: Edited on July 2023 with up-to-date references and examples. Introduction In recent years, there has been an increasing interest in open-ended language generation thanks to the rise of large transformer-based language models trained on millions of webpages, including OpenAI's ChatGPT and Meta's L
テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p
テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p Transformer ベースの言語モデルが普及しているのは承知の通りだと思います。 中でも有名なのは BERT で、これは Transformer の Encoder のみを使う Autoencoding models と呼ばれるカテゴリのモデルです。入力の一部を隠してそれを復元するというタスクを大量に解かせることで事前学習を行うことになります。それゆえ、このタイプのモデルが最も向いているタスクは Token の分類（固有表現抽出等）や文章の分類など、入力の文章自体に興味がある場合です。 一方、Transformer の Decoder のみを使う Autoregressive models (GPT-2 など) や、 Encoder と Decoder
Introduction to Visual Question Answering: Datasets, Approaches and Evaluation
Historically, building a system that can answer natural language questions about any image has been considered a very ambitious goal. Imagine a system that, given the image below, could answer these questions: What is in the image?Are there any humans?What sport is being played?Who has the ball?How many players are in the image?Who are the teams?Is it raining? So, how many players are in the image
Hugging Face Courseで学ぶ自然言語処理とTransformer 【part7】
はじめに この記事ではHugging Face CourseのChapter 3、モデルのFine-tuningを行うためProcessing the dataの内容をベースにデータセットの準備についてまとめていきます。 一個前の記事はこちら コードの実行は今回もGoogle Colabで行う例になります。 Hugging Face Datasets Hugging FaceではTransformerモデルだけでなく、色々な自然言語処理のタスク向けの学習データセットも公開されています。 こちらからどのようなデータセットが公開されているか検索することができます。 データセットの利用も下記のようにdatasetsライブラリから簡単にできるようになっています。 今回はGLUE Benchmark[1]に含まれるもののうちMRPCデータセットを使用したモデルの学習について見ていきます。 datas
人に近づいたら作業ロボになってしまった｢アトラス｣
これはこれで凄いけどね。 パルクールが得意で見た目以上に身軽だった、Boston Dynamics（ボストン・ダイナミクス）社のヒューマノイド｢ATLAS（アトラス）｣君。 今年の4月に突然の引退…からの油圧式からフル・モデルチェンジで電動に転生し、世間を驚かせました。 前回はお披露目程度の動画が公開されましたが、運動能力については未知数です。 転生後のスキルは？ 今回新たな動画が公開されましたが、何をしているのでしょうか？ Video: Boston Dynamics/YouTube自律運転でエンジンカバーを右から左へ移し替えています。 人間のような軽作業ができるように位置情報のリストに従い、機械学習ヴィジョンで環境を把握し連続で仕事をこなすとのこと。また決められた動きでも遠隔操作でもなく、行動はオンライン上で自動生成され、環境の変化にも対応可能。 視覚と力学、センサーにより身体の位置関
Github Projectsとタスクリストでissue管理を試行錯誤しているPMの話
概要 私は普段、PMとして複数の開発案件のプロジェクトマネジメントをしています。 エンジニアなら実装に、デザイナーならUI作成に、そしてPMならそれらの管理に集中できるようタスクの作り方や管理方法を日々模索しているわけですが、調べてみても「具体的なタスクの作り方のベストプラクティス」があまり出回ってない印象です。 本記事では自分がどのようにタスク管理しているかを具体的に紹介してみようと思います。 前提 ソースコードはGithubで管理しています 実装タスクは Github issue と Projects機能 で管理しています Beta版のタスクリスト機能を使ってissue同士の紐付けを行なっています ウォーターフォールでもアジャイルでも使ってます Projects機能 Githubの標準機能で、issueをカンバンやリストで見やすく管理できる機能です。 カスタムフィールドを追加する、独自
How to get a job at Google — as a data scientist
If you are a regular at this blog, thanks for reading. We will continue to bring you posts from the range of data science activities at Google. This post is different. It is for those who are interested enough in our activities to consider joining us. We briefly highlight some of the things we look for in data scientists we hire at Google and give tips on ways to prepare. At Google we’re always lo
On Good Software Engineers
Hunting timeless insights into humans and software and helping others on the way. Timeless insights into humans, software, and leadership. Join hundreds of subscribers and learn how to live fully, feel accomplished and get your job done. Every second Tuesday. For free. Setting expectations for software engineers is tricky for all managers. Every company has different needs and a different structur
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building RAG-based LLM Applications for Production
Breaking down GPU VRAM consumption
Augmented Object Intelligence with XR-Objects
LLM搭載型ARシステムがもたらす物理世界との新しいインタラクション | モリカトロンAIラボ
Augmented object intelligence with XR-Objects
研究の進め方 ランダムネスとの付き合い方について
OpenCLIP使用のご報告と今後の方針 (2023/8/17)
How to Fine-Tune a Causal Language Model with Hugging Face | BlueLabel