Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日本語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基本的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー
Google検索は、その利便性や精度の高さから検索市場で圧倒的なシェアを占めている一方で、近年はSEO対策に特化した低質なサイトが検索結果の上位に出てしまう問題から「Google検索は死んでいる」と指摘されるなど、検索のやり方や検索ワード選びにも知識とリテラシーが要求されるサービスとなりつつあります。そんなGoogle検索がかかえる問題点や、Google検索を使う上でおさえておくべきポイントについて専門家がまとめました。 There is, in fact, a 'wrong' way to use Google. Here are 5 tips to set you on the right path https://theconversation.com/there-is-in-fact-a-wrong-way-to-use-google-here-are-5-tips-to-set-
海外ファンはホロライブをどのように楽しんでいるのか？ 実際に話を聞いてみた 英語圏のファンからの熱烈な支持を集めている女性VTuberグループ「ホロライブ」。チャット欄には数多くの英語コメントが寄せられ、TwitterやradditなどのSNSでも応援が盛り上がっています。一体、海外ファンは彼女たちのどのようなところに注目し、日々の配信を楽しんでいるのでしょうか？ 今回は、海外のホロライブファンであるSuspiciously_Russianさんと、TommyButtsさんの2名に、ホロライブにハマったきっかけや、海外での盛り上がりについてお話を聞きました。 「最初はAIだと思っていた」回答者・Suspiciously_Russianさんの場合 Suspiciously_Russianさん ロシア、モスクワ出身 1.ホロライブを発見し、彼女たちの配信を視聴するようになったきっかけは何でしょう
本書は2020年3月15日発行の最新の著書。セイン先生曰く、“英語には、シチュエーションにピッタリの「こういう時にはコレ！」という1行フレーズがあります。これを知っておけば、ニュアンスがしっかり伝わります。” この本ではいろいろな場面で使える、とっておきのフレーズを厳選して紹介。ほとんど中学で習った単語でできているフレーズなので覚えやすい。 本記事は紹介済みのフレーズを含んでいますが、私が日頃から耳にしていた、又、使っていた表現ばかりをいくつか拾い出しましたので皆さんとシェアしたいと思います。 「英会話 ネイティブの1行フレーズ 2500」本の紹介 Part 1 あいさつ、声をかける Part 3 気持ちを伝える Part 4 日常会話 Part 5 家で 【英語関連記事】 【TOEIC Part別オンライン無料問題集】 おわりに 「英会話 ネイティブの1行フレーズ 2500」本の紹介 デ
日本学術会議の時と同じく、数えきれないほどのデマが流れています。そのほぼ全てに、すでに数々のメディアによりファクトチェックがなされています。今回は、ネットに流れている量のほんの一部ではありますが、デマとファクトチェックを集めてみました。不正選挙を主張する人たちは「メディアのファクトチェックの方がデマだ！ ツイッターの噂話の方が正しいんだ！」と主張するでしょうが、記事を読み、どちらが信憑性があるか、ご自分の頭で考えてみてください。 ↓よろしければ、はてなブックマーク＆ツイートをお願いします。 Tweet 目次デマ１．投票率が100％を超えているデマ２：バイデンの票が急に増えたデマ３：不正疑惑のため州兵が導入された デマ４：死者が投票した！ 1900年1月1日生まれの人が大量に投票した！ デマ５：バイデンの票が急激に増えたのにトランプの票が増えなかった デマ６：トランプの票が山に運ばれて埋めら
はじめに 近年のAI画像生成は盗品の歴史である。danbooruという無断転載サイトから学習したNovelai。Novelaiのリークモデル。リークモデルを追加学習し、それを無断で転載したAnything。Anythingと、肖像権を無視して何万枚もの写真を無断で学習したinstagramモデルとのマージモデル(Orangemixシリーズ)。Orangemixを改造したabyss。どのモデルをとっても、それは盗品という負の要素が存在する。だから、近年のAI画像生成は盗品の歴史である。 AI絵師は、この事実を無視しつづけた。その理由はわからない。ただ、ある一つの推測を述べることはできる。「いいイラストが作れるから」という理由だ。NovelAIよりも、自分のパソコンで使えるリークモデルの方がアレンジが効いた。リークモデルよりも、anythingの方がいい絵が出た。anythingよりも、ora
つきなみGo GoにはなぜXという機能がないのか？ 〜テスト関数ごとの暗黙的な初期化処理の実現を考察する はじめに 筆者はGoだけではなく、Scalaなど他言語を扱った経験もあり、しばしばGoには他の言語にあるXという機能がなぜないのだろう？と考えることがあります。 たとえば、テスト関数ごとに暗黙的に呼ばれる初期化関数の定義があります。データベースに対するDrop・Create・Insertなどの処理をテストごとに実行したい場合に定義できると便利でしょう。同じ処理を都度書いているとテストケースが増えてきた時にメンテナンス性が下がってしまったり、初期化処理を追加し忘れてしまう恐れなどもあります。 しかし、Goにはこのようなテスト関数ごとに暗黙的に実行される初期化処理を定義できません。Goが他言語に劣っているようにもみえますが、本当にそうなのでしょうか？ 公式のFAQにもあるように、とある機能
2025-04 « 123456789101112131415161718192021222324252627282930 » ドナルド・J・トランプ大統領 全国への、最後の挨拶 ホワイトハウスにて 2021年1月20日 親愛なるアメリカ国民諸君 「われわれの国家を再建し、その魂を甦えらせ、そして国民への奉仕の心を、政府に取り戻させる」 われらすべての国民が、この壮大な事業を開始したのは、4年前のことになる。 すなわち我々は、すべてのアメリカ国民にとり、アメリカを再び偉大にする、その事業に着手したのである。 第45代アメリカ大統領としての任期を終える今、私は諸君の前にいて、我々がともに成し遂げたことを、実に誇りに思っている。 我々はここに来たときやるべきだった仕事、そしてそれ以上の成果をあげた。 今週、わが国には新しい政権が発足する。アメリカを安全で繁栄する国にするため、新政府の成功を祈る
各方面に配慮した桃次郎と桃子[かくほうめんにはいりょしたももじろうとももこ]（順不同）≪ふりがなつき≫【There’s English】
各方面に配慮した桃次郎と桃子[かくほうめんにはいりょしたももじろうとももこ]（順不同）≪ふりがなつき≫【There’s English】 昔々(むかしむかし)、あるところにおじいさんとおばあさん（アルファベット順(じゅん)）がおりました。『あるところ』というのは日本(にほん)によく似(に)た異世界(いせかい)であり、現実世界(げんじつせかい)とはいかなる関(かか)わりもありませんでした。おじいさんとおばあさんは仲良(なかよ)く暮(く)らしておりましたが、二人(ふたり)の間(あいだ)には子(こ)どもがいませんでした。 ただし、決(けっ)して子(こ)どもがいないから不幸(ふしあわ)せであったというわけではありませんし、勿論養子(もちろんようし)をもらうという選択肢(せんたくし)もあったのですが、お互(たが)いのライフスタイルを尊重(そんちょう)した結果(けっか)、十分(じゅうぶん)な話(はな)
![各方面に配慮した桃次郎と桃子[かくほうめんにはいりょしたももじろうとももこ]（順不同）≪ふりがなつき≫【There’s English】](https://cdn-ak-scissors.b.st-hatena.com/image/square/be6e25cd1f10c5b5e5c71164472294031f22719a/height=288;version=1;width=512/https%3A%2F%2Fsbo.syosetu.com%2Fn9759gx%2Ftwitter.png)
こんにちは。最近YouTubeのASMR就眠配信を聴きすぎて「配信が終了する空気」を睡眠中でも察知できるようになってしまい、結果終わり際に目が覚めるようになってしまった者です。 これは何のnote？20' 11/7(土)に Anything and Everything LT Meetup #2 @cluster https://cluster.mu/e/c0960e20-3e0c-4fec-aca7-3731c15eef8a というLT会に誘われまして標題の発表をやりました。 そこで扱った議論の詳述をします。 ※ 近日のうちに詳述メモしておくのが目的なので雑多です。恐れ入ります。気が向いたらバージョンアップします。 ※ 個人的な勝手考察になりますので一方向で言い過ぎ感があるかもしれませんが、議論のひとつの切り口という形でお楽しみいただければ幸いです。 ※ 引用は全て評論目的であり宣伝を意
『コロナで大変な時に、まぁた訳の分らんことしやがって。。。』と思ったこと。。。 - 異星人と交信した結果、撃沈。。。。。。。。。。。。。。。。。。
また、変なのが出てきましたね。 【ISIS-K】って何？？？ 良いことをする組織なら、 いくらでも、どんどん出来てくださいと思うけど、 人を暴力支配して殺す組織ならいらん。 『イランはいらん』とか、小学生の頃言ってたな。 【ISIS-K】は、タリバンと敵対関係にあるんやて。 全員、覆面みたいなのをしているけど、 変態仮面集団にしか見えない。 They are pervert. （彼らは変態だ） こんなことを言っていると知られたら、射殺されそう。。。 ぽくぽくぽくぽく ちーん。。。 あへ。。。。。。。。 ただ、あれだけ顔面覆っていたら、 コロナ感染対策は、ばっちり！！！ですね。 日本もあれくらいしたらええんかな？？？ 外ふらふら出歩いている輩には、 問答無用で、この覆面かぶせたいね。 後ろから、（シュっ！！！）とかぶせてやりたい。 バイデン大統領って、こんなんに痩せてたっけ？？？ ストレス痩
アマゾン川はブラジル・ペルー・ボリビア・コロンビアなどを流れる世界で2番目に長い川であり、流量は世界で最も多く、多様な魚類や固有種であるアマゾンカワイルカなど貴重な生態系が存在しています。ところが、アマゾン川の本流は全長6000kmを超えて複数の国にまたがっているにもかかわらず、1本も橋が架かっていないとのことで、科学系メディアのLive Scienceが「一体なぜアマゾン川には橋がないのか？」という疑問について解説しています。 Why are there no bridges over the Amazon River? | Live Science https://www.livescience.com/why-no-bridges-over-amazon-river 世界で最も長い河川であるナイル川にはエジプトの首都・カイロだけで9本の橋があるほか、アジア有数の河川である長江には過去
本記事は、データ推進室 Advent Calendar 2024 24日目の記事です はじめに こんにちは。HR領域でアナリティクスエンジニアのテックリードをしている山家雄介です。 アナリティクスエンジニアが担当する業務の一つに、データ利用者向けのいわゆるデータマートの設計・開発があります。これは、さまざまな仕様のデータソースを適切に組み合わせて、データ利用者の業務上の目的を達成することを助ける、平易に理解しやすく、ドキュメントも整備されたテーブル群を設計・開発し提供していく営みです。この業務を首尾よく進めていくには、dbtやDataformといったデータモデリングのツールの機能性を深く理解すると同時に、利用しているデータ分析基盤のSQLの仕様や機能性もよく理解しておく必要があります。 同じSQLという言語仕様の中でも、データマートの利用者によく利用される機能性と、それを開発するデータモデ
概要 はじめに Qlibの試用 動作条件 使用したrequirements.txt データの取得 予測の実施 出力 図示 ソースコード バックテストでのポートフォリオ分析 リスク分析、分析モデル おわりに 概要 本記事では、Qlibを使用して、機械学習パイプライン環境を構築する第一歩について述べる。 はじめに このブログの趣旨としては、当初は「戦略作成」→「戦略検証」→「戦略稼働」→「成果の評価」→「戦略へフィードバック」といったサイクルを管理できるような自動トレーディングシステムを作ることを考えていた。 最近、すこし株取引から離れていたのだが、最近になってまたやり始めようかなと思い、色々と現在の状況を調べはじめた。 その中で、MicrosoftのリポジトリにQlibというものがあるのを見つけた。これが2020年の8月から作られたもので、現在でもメンテされており、もしかするとこれがやりたい
AIの「story」(English Version)で英語多聴に挑戦！ 洋楽を使って楽しく英語学習ができれば最高ですね。 この記事では映画「ベイマックス」（Big Hero 6）の日本版でエンディング曲として使用されたAIの「story」(English Version)を題材に、英語多聴の仕方をご紹介したいと思います。 この記事を読んで頂いてから曲を聞いていただければ、聞き取れる、理解できる英語表現が多くなるかもしれません。 AIの「story」(English Version)で英語多聴に挑戦！ 練習の流れ 「story」 歌詞 歌詞を読んでからもう一度聞く 他の曲で多聴 「ベイマックス」（Big Hero 6）の視聴方法 最後に 練習の流れ 英語多聴の練習の流れをご説明します。 ①英語の曲を聴く ②歌詞を読む ③英語の曲を聴く 記事はこの流れに沿って構成されていますので、記事を読ん
【歌詞和訳】キアラ・セトルの「This Is Me」（映画「グレイテスト・ショーマン」主題歌）で英語多聴に挑戦！ - 塾の先生が英語で子育て
キアラ・セトルの「This Is Me」（映画「グレイテスト・ショーマン」主題歌）で英語多聴に挑戦！ 洋楽を使って楽しく英語学習ができれば最高ですね。 ブログとTwitterで交流させていただいておりますフィクーションさん（id:fic-tion）からリクエストを頂きました。 返信遅くなってすみません。 洋楽の好きな歌です💕 ☆Time To Say Goodbye／サラ・ブライトマン ☆This Is Me／キアラ・セトル ☆Dancing Queen／ABBA ☆ Bad Day／Daniel Powter ☆ I Want It That Way ／Backstreet Boys たくさん、すみません😅 意外と好きな歌があってビックリでした笑笑 — フィクーション☆( ｰ`дｰ´)ｷﾘｯ (@FicDiary) 2020年7月20日 この記事ではキアラ・セトル（Keala Set
【和訳あり】Peppa Pigの「The Tree House」で字幕なし英語動画に挑戦！ - 塾の先生が英語で子育て
Peppa Pigの「The Tree House」で字幕なし英語動画に挑戦！ 海外アニメを使って楽しく英語学習ができれば最高ですね。 「Peppa Pig」は日本で手軽に見られる英語アニメの中でも、もっとも簡単な番組のひとつです。 そして日本のアンパンマンのように、イギリスで親しまれているキャラクターです。 「Peppa Pig」については、こちらで詳しく解説しています。 www.jukupapa.com この記事では「Peppa Pig」の実際の動画を使って、英語多観の練習ができるように構成されています。 この記事に沿って英語多観をして頂ければ、聞き取れる、理解できる英語表現が多くなっていることを実感できるはずです。 Peppa Pigの「The Tree House」で字幕なし英語動画に挑戦！ 練習の流れ 第３７話「The Tree House」 動画の原稿、スクリプト（script
はじめに 今回はスペイン語は簡単？難しい！？という問いを考えていきます。私の考えでは、動詞の活用や代名詞などすこし複雑なところもありますが、比較的簡単に学習できる言語だと思います。私のスペイン語学習の経験も踏まえて、簡単なところ・難しいところを紹介していきます。スペイン語の難易度や特徴も丁寧に解説していきます。 スペイン語の学習方法はこちら↓↓ www.sunafuki.com 英語力がある方はYoutubeでスペイン語学習↓↓ www.sunafuki.com おすすめの外国語ランキングはこちら↓↓ www.sunafuki.com スペイン語の特徴 スペイン語の語派 言語話者数 話されている国 スペイン語の文法 屈折語の語形変化 文法の特徴 スペインの文化 スペイン語は難しい? 動詞の活用 人称代名詞 スペイン語は簡単? 発音 単語 スペイン語の難易度 スペイン語は学びやすい外国語 言
【書評】人生で大切なたったひとつのこと（Congratulations,by the way） ジョージ・ソーンダーズ 海竜社 - 京都のリーマンメモリーズ
人生で大切な「たったひとつのこと」とは何でしょう？ それは「やさしさ」です。 【1.本書の紹介】 【2.本書のポイント】 【3.本書の感想】 【4.関連書籍の紹介】 【1.本書の紹介】 著者のジョージ・ソーンダーズは米タイムズ誌の「世界で最も影響力のある100人」のひとりにも選ばれた、短編小説の名手です。 この本は、著者のジョージ・ソーンダーズが、シラキュース大学教養学部の卒業式で行ったスピーチが主な内容となっています。 卒業式後にWEBサイトに掲載されると、たちまち１００万回のアクセス数を超えるほど、世界中に反響を巻き起こしました。 著者が人生で、後悔していること。 それが本書のテーマです。 著者が40年以上前の出来事を今でも後悔しています。 卒業生に向けて、伝えたかったこと、それはどんな内容だったのでしょうか？ 【2.本書のポイント】 本当に悔やんでいるのはこういうことです。 （But
【和訳あり】Peppa Pigの「Chloé's Puppet Show」で字幕なし英語動画に挑戦！ - 塾の先生が英語で子育て
Peppa Pigの「Chloé's Puppet Show」で字幕なし英語動画に挑戦！ 海外アニメを使って楽しく英語学習ができれば最高ですね。 「Peppa Pig」は日本で手軽に見られる英語アニメの中でも、もっとも簡単な番組のひとつです。 そして日本のアンパンマンのように、イギリスで親しまれているキャラクターです。 「Peppa Pig」については、こちらで詳しく解説しています。 www.jukupapa.com この記事では「Peppa Pig」の実際の動画を使って、英語多観の練習ができるように構成されています。 この記事に沿って英語多観をして頂ければ、聞き取れる、理解できる英語表現が多くなっていることを実感できるはずです。 Peppa Pigの「Chloé's Puppet Show」で字幕なし英語動画に挑戦！ 練習の流れ 第４１話「Chloé's Puppet Show」 動画の
「楽」する前のTerraformバージョンアップ方針と運用整理（とポエム） - 東京ガス内製開発チーム Tech Blog
はじめに、はじめまして。リビング戦略部SREチームのあおしょん（本名：青木）と申します。 2024年4月1日から弊チームにジョインしたピチピチの新人*1です。 入社から約一ヶ月過ぎまして、現在も盛りだくさんの情報量と圧倒的当事者意識を持っている弊社の優秀なエンジニアたちに日々圧倒されながらも一刻も早く事業に貢献出来るように歩を進めています。 大きな貢献が出来ている、とは未だ胸を張って言えないのですが入社したてで業務知識が無くてもまずは小さい貢献からコツコツと始めてみよう、ということで弊チームにおけるTerraformバージョンアップの方針と運用について整理したのでご紹介いたします。 ご紹介の前に申し上げておきたいこととして、今回はバージョンアップの運用をこんなテッキーなことをしてクールに自動化してやったぜ～ワイルドだろ～という内容ではございません。あくまで現状はこうなっているからこういうこ
リヴァプールMF遠藤航に対するクロップ監督のコメントを日本メディアが誤訳 「求められていることを全く理解できていない」ではなく… :
リヴァプールMF遠藤航に対するクロップ監督のコメントを日本メディアが誤訳 「求められていることを全く理解できていない」ではなく… Twitter Facebook LINEでおくる B! Bookmark 更新通知を受ける 現地時間の27日、ニューカッスル戦で移籍後初スタメンを果たしたリヴァプールのMF遠藤航。 試合後にリヴァプールのクロップ監督がコメントした遠藤選手の批評について、サッカーサイトの「ゲキサカ」は内容に誤りがあったとして削除＆謝罪のリリースを出しました。 8月28日に配信した『「求められることを全く理解できていない」クロップ監督が初先発の遠藤航に厳しい評価』との記事は、内容に誤りがあったため削除いたしました。 事実と異なる内容を掲載し、関係者の皆様、読者の皆様にご迷惑をおかけしましたことをお詫びいたします。https://t.co/Cat6ypAT15 — ゲキサカ (@g
TerraformのVersion 0.15がGAになって(2021/04/15)からだいぶ経ってしまいましたが、Webinarを視聴したり、実際に0.15を触ったりして何が変わったのか色々調べたのでレポートします。 (すべての変更点を網羅しているわけではないので悪しからず。) 0.14、1.0との互換性 Terraform Version 0.15は１つ前の0.14、そして今後リリースされる Version1.0と互換性があります。これはVersion 0.14の紹介でも説明されていましたね。Version間の移行（多くの場合Versionアップだと思いますが）が容易になります。 Remote State Data SourceのVersion間互換 ~> 0.15.0 ~> 0.14.0 ~> 0.13.6 ~> 0.12.30 上記Versionに当てはまるTerraformは、互い
生TensorFlow七転八倒記(11)：TensorFlow周りの最近のアップデートについて - 渋谷駅前で働くデータサイエンティストのブログ
2年ぐらい前に必要があって生TensorFlowとTensorFlow-Hubによる様々なモデルやフレームワーク並びに事前学習済みモデルの実装を試していたのですが、TF2の浸透に伴いそれらの多くの仕様が変更になっており、中には回らなくなっていたコードもあったので、それらを調べるついでに最近のTF-Hubのアップデートも覗いてきました。ということで、自分向けの備忘録として簡単にまとめておきます。 TensorFlow-Hubの事前学習モデル Estimatorクラス 余談 TensorFlow-Hubの事前学習モデル まず試したのがUniversal Sentence Encoderの多言語版。リンク先を見れば分かるように、16言語（アラビア語・簡体字中国語・繁体字中国語・英語・フランス語・ドイツ語・イタリア語・日本語・韓国語・オランダ語・ポーランド語・ポルトガル語・スペイン語・タイ語・トル
【歌詞和訳】実写版「ライオン・キング」の「Hakuna Matata」でディクテーションに挑戦！ - 塾の先生が英語で子育て
実写版「ライオン・キング」の「Hakuna Matata」でディクテーションに挑戦！ ディズニーを使って楽しく英語学習ができれば最高ですね。 この記事では実写版「ライオン・キング」（The Lion King）の「Hakuna Matata」を使って、英語のリスニング練習としてディクテーションができるように記事が構成されています。 ディクテーションとは聞いた英文を文字に起こすことです。 ディクテーションをすると単語を聞き取ろうと耳を傾けるので、リスニングの集中力が大きく伸び、前置詞や冠詞、時制といった細かい点にも敏感になります。 そして、正確なリスニング力がつきます。 ディクテーションについては、こちらの記事で詳しく説明しています。 www.jukupapa.com この記事に沿って英語のリスニング練習をして頂ければ、聞き取れる、理解できる英語表現が多くなっていることを実感できるはずです。
Reflection Llama-3.1 70B とはHyperWrite の CEO Matt Shumer 氏の公開した Llama 3.1 ベースのオープンな大規模言語モデル。 I'm excited to announce Reflection 70B, the world’s top open-source model. Trained using Reflection-Tuning, a technique developed to enable LLMs to fix their own mistakes. 405B coming next week - we expect it to be the best model in the world. Built w/ @GlaiveAI. Read on ⬇️: pic.twitter.com/kZPW1plJuo — Mat
これは「キーボードアドベントカレンダー2020 #1」という企画の4日目の記事です。テーマに沿って12月1日から25日まで、持ち回りで記事を公開していきます。昨日の記事はたねやつ（@taneyats）さんの「ZBrushCoreでキーキャップのモデリング入門 - へちょあまの工房」でした。 キーボード #1 Advent Calendar 2020 - Adventar（https://adventar.org/calendars/5279） キーボード #2 Advent Calendar 2020 - Adventar（https://adventar.org/calendars/5307） キーボードを作ったら次はキーキャップを作りたくなってきた。 キーボードを作った記事 自作キーボードキット「Attack25」ビルドログ（https://ima.hatenablog.jp/entr
OpenAIが9月20日に発表した新画像生成AIのDALL-E 3がついに筆者のところにもやって来ました。 そこで、ChatGPTに統合されたDALL-E 3に何ができるのか、実際に試してみました。 １．DALL-E 3の特徴このDALL-E 3の主な特徴は以下の2点です。 複雑なプロンプトにも忠実で正確な画像を生成できる。 ChatGPTとの対話を踏まえて画像を生成することができる。 ChatGPTによると、Stable DiffusionとDALL-E 3の画像生成の仕組みの違いは以下の通りです。 ＞Stable DiffusionとDALL-E 3の画像生成の仕組みの違いを教えてください。特に、なぜプロンプトに対する忠実性に差が出るのかを教えてください。 ChatGPT 「Stable Diffusion」と「DALL·E 3」の間の具体的な差異については、私の最後のトレーニングデー
こんにちは、NTTドコモR&D戦略部の門間です。 この記事では、vLLMのコードを追いつつその中身の動きに迫りたいと思います。 最近、業務やプライベートでLLM関連のいろいろを触っていますが、 OSSのコードリーディングを通じてLLMの推論処理への理解を深めたいというモチベーションです。 🤖 vLLMって? 📚 前提知識 Attention Is All You Need Paged Attention Continuous Batching 📦 vLLMの開発用インストール (Pythonコード開発のみ) Wheelのインストール リポジトリのクローン 起動確認 Pythonコードの改変 デバッガを使ったOSSのコードリーディングのススメ 🧩 vLLMのソフトウェアアーキテクチャ オンライン推論 : FastAPIサーバの立ち上げとEngineClientの生成 1. Engin
X(旧Twitter)には、特定のユーザーのポストを自分のタイムラインに表示させず、同時に自分のプロフィールやポストを見せないようにする「ブロック」機能が実装されています。Xのオーナーであるイーロン・マスク氏はこのブロック機能を廃止したいという意志を示しており、「ブロックされたユーザーでも自分の公開ポストを見ることができるようにするつもりだ」とポストしたことが報じられています。 X will let people you’ve blocked see your posts - The Verge https://www.theverge.com/2024/9/23/24252438/x-blocked-users-view-public-posts Xでは、Twitterだった頃から「Xをより快適に活用する方法」として、ブロック機能がかかわりたくないアカウントとのやり取りを避けるのに効果的
この筆者が英語バイリンガルであることの根拠を述べる。ただし法言語学的な根拠はなく単なる自分の直感である。 観点は音韻と語・構文。 スタンザ（音韻）英語にはスタンザという韻律がある。文の末尾の韻が揃うとカッコイイというものだ。自分はあまり詳しくはない。 だがたとえばシェイクスピアならABAB CDCD EFEF GGという，四行連×3 + 二行連×1による形式のようなものがある。 漢詩の五言絶句や俳句あるいはラップのようなものだ。詳しい人はむしろ教えてほしい。 韻を踏むと麻雀で和了したときのように気持ちがいいし，文がシピッと引き締まり，正統性が出る。 元増田の文は「AAA BBB CC DD XY EE」というスタンザが含まれる。三行連×2 + 一行×2 + 二行連×3だろうか。 これでソネット（14行詩）と呼ばれるものになる。それを見てみよう。 XYは特にスタンザではない。 AAAブクマカ
gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします！ gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que
人間はもとより、ネコやミツバチにも「右利きと左利き」の違いがあることが分かっていますが、この違いがなぜ発生するのかは長年にわたり謎に包まれていました。2019年に発表された研究により、左利きに関係がある遺伝子の変異が4カ所特定されましたが、新たに発表されたより大規模な研究により、さらに41カ所の遺伝子が利き手の問題に複雑に関与していることが判明しました。 Genome-wide association study identifies 48 common genetic variants associated with handedness | Nature Human Behaviour https://www.nature.com/articles/s41562-020-00956-y Researchers get a better grip on left and right ha
【和訳あり】Peppa Pigの「Daddy Gets Fit」で字幕なし英語動画に挑戦！ - 塾の先生が英語で子育て
Peppa Pigの「Daddy Gets Fit」で字幕なし英語動画に挑戦！ 海外アニメを使って楽しく英語学習ができれば最高ですね。 「Peppa Pig」は日本で手軽に見られる英語アニメの中でも、もっとも簡単な番組のひとつです。 そして日本のアンパンマンのように、イギリスで親しまれているキャラクターです。 「Peppa Pig」については、こちらで詳しく解説しています。 www.jukupapa.com この記事では「Peppa Pig」の実際の動画を使って、英語多観の練習ができるように構成されています。 この記事に沿って英語多観をして頂ければ、聞き取れる、理解できる英語表現が多くなっていることを実感できるはずです。 Peppa Pigの「Daddy Gets Fit」で字幕なし英語動画に挑戦！ 練習の流れ 第４２話「Daddy Gets Fit」 動画の原稿、スクリプト（script
Peppa Pigの「Tidying Up」で字幕なし英語動画に挑戦！ 海外アニメを使って楽しく英語学習ができれば最高ですね。 「Peppa Pig」は日本で手軽に見られる英語アニメの中でも、もっとも簡単な番組のひとつです。 そして日本のアンパンマンのように、イギリスで親しまれているキャラクターです。 「Peppa Pig」については、こちらで詳しく解説しています。 www.jukupapa.com この記事では「Peppa Pig」の実際の動画を使って、英語多観の練習ができるように構成されています。 この記事に沿って英語多観をして頂ければ、聞き取れる、理解できる英語表現が多くなっていることを実感できるはずです。 Peppa Pigの「Tidying Up」で字幕なし英語動画に挑戦！ 練習の流れ 第４３話「Tidying Up」 動画の原稿、スクリプト（script） もう一度見る 「Pe
大統領選の投票用紙は追跡できるのか、世界の終りとインテリジェンス・インボーランド - ネットロアをめぐる冒険
マクルーハンの続きも書きたいんですが、今日は時流に乗ってアメリカ大統領選の話。まー、いろんな話がありすぎて、選び放題という感じなのですが、この話題。アノニマスポストなのは許してちょうだい。 篠原常一郎氏「C国で印刷した偽投票用紙がカナダ経由で大量にトラックで各地に運ばれていた。そのトラックは既に押さえられています」「実は本物の投票用紙にはGPSのチップが埋められていて、投棄された物はすぐに見つかります」 https://t.co/vHe0Du01J7 — アノニマス ポスト ニュースとネットの反応 (@anonymous_post2) 2020年11月6日 「投票用紙にはGPSのチップが埋められてい」るとのことで、バイデン氏が不正投票に関与した投票用紙はすぐに不正がばれてしまうだろう、というようなお話になっています。 なかなか、ネットロア的に面白い流れだと思ったので、このお話のあれこれを検
なんか最近、いろんな会社が「おらが村のLLMが凄いだ」と言ってるが、実際には100万トークン読めても出力が8Kまでだったり、もっとひどいと4Kだったりと、LLMの価値はパラメータ数では決まらず、むしろどのくらい長い文章を出してくれるのかということの方が大事だ。僕がLLMで本を書いたのはもう一年前だが、このときは4Kくらいしか出力してくれなくて往生したものである。 ところがなんということでしょう。ついに出ました。原稿を代わりに書いてくれそうな素敵なオープンソースLLMが。その名も「LongWriter」 Apacheライセンス、しかも訓練コード付き。つまりご家庭で自分好みにファインチューニングもできちゃう。しかもこの言語モデル、なんと8Bしかないんですよ奥さん。24GBしかVRAMのない星飛雄馬のようなご家庭のPCでも動いちゃうというワケですよ。なんという不都合な真実。いいのかおい。 AIち
自分でも気付かぬうちに、スティーヴ・アルビニは私の人生を変えていた。彼の特定の作品との出会いによって啓示を受け、人生の中にそれ以前と以後という明確な境界線が引かれたということでは全くない。それよりも彼の影響は、私の育った音楽世界の土壌に染み込んでそれを肥沃にしたものであり、そうとは知らない私が無意識に歩き回った風景そのものだったのだ。ようやく獲得し得た視野と意識によって振り返ってみると、私が通ってきた世界のすべてに彼の手が及んでいたことを思い知らされる。 世代的なことも関係している。1962年生まれのアルビニは、ちょうど1980年代にジェネレーションXが成人し始めた頃の音楽シーンで地位を確立し、彼の音楽とアティチュードはその世代の心に響く多くの特徴を体現していたのだ。 彼の作品は挑戦的で、パンクが退屈さに怒りをぶつける方法をさらに推し進めたものだった。彼自身の初期のビッグ・ブラックやそれ以
『スーパーマリオ64』にルイージ、開発中止となったポケモンMMO、「ニンテンドー・ギガリーク」と呼ばれる大規模なリークでお蔵入りとなった企画が判明
機密情報だった任天堂製ゲーム内のコードとドキュメントがインターネットに流出する、2つの大規模なリークがあった。通称、「ニンテンドー・ギガリーク」だ。任天堂の開発中止となったゲーム、試作段階のゲーム、ソースコード、開発ツール、社内で行われた連絡といったさまざまな情報が流出した。これは、今までに起こったビデオゲーム業界の情報流出の中で最大規模のものとなるだろう。 先週末にかけて、大量の流出したファイルが人々の手に渡り、観察され、これらのファイルが持つ意味が調べられていき、新事実が続々と判明していった。我々はこれらの情報を整理し、現時点でギガリークから判明している情報をこの記事で解説していく。 「ニンテンドー・ギガリーク」とは？ ギガリークは、主に4Chanの2つの投稿から始まった複数回にわたる情報流出のことだ。この2つの投稿には、任天堂社内のプロジェクト由来の数ギガバイトものファイルやドキュメ
プライバシー重視のブラウザ｢Brave｣、もはや存在意義を投げ捨てた？2020.06.11 21:0060,968 Shoshana Wodinsky - Gizmodo US ［原文］ （ Rina Fukazu ） CEOのコメントが（色々な意味で）印象的。 ユーザーのプライバシー最優先を掲げていたブラウザ｢Brave｣。それが今では｢言っていることとやっていることが違うじゃないか｣というような指摘が飛び交っています。いったい何が起きていて、今後どうなるのか、米GizmodoのShoshana Wodinskyが説明しています。 ｢アフィリエイトURLに自動で切り替わる｣Decryptによると、特定の暗号通貨サイトからユーザーの追跡や収益のすくい上げに使用できるアフィリエイトURLにリダイレクトされると報告されています。 あるツイッターの投稿で明かされたところによると、暗号通貨交換サイ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google検索で「上手にググる」ための5つのポイントをソフトウェア工学の専門家が解説
海外ファンはホロライブをどのように楽しんでいるのか？ 実際に話を聞いてみた
セイン先生の「英会話 ネイティブの１行フレーズ 2500」本の紹介 - Ippo-san’s diary
トランプ応援団のデマとファクトチェックを集めてみた : 脱「愛国カルト」のススメ
NAIリークの歴史｜NAILEAKPROBLEM
GoにはなぜXという機能がないのか？ 〜テスト関数ごとの暗黙的な初期化処理の実現を考察する | gihyo.jp
Donald Trump 日本語訳 退任演説全文
バーチャルキャラクター進化論(V0.12 前編)｜タマオキジュン
なぜ長さ6000kmを超えるアマゾン川には1本も橋が架かっていないのか？
データモデリングでよく利用するBigQuery SQLのクエリパターン
Qlibを使った機械学習パイプライン環境の構築 投資の取引戦略最適化と機械学習モデル作成の省力化を目指して - 株のシステムトレードをしよう - 1から始める株自動取引システムの作り方
【歌詞和訳】AIの「story」(English Version)で英語多聴に挑戦！ - 塾の先生が英語で子育て
スペイン語は簡単？難しい！？ 難易度や特徴を丁寧に解説 - ポリグロットライフ | 言語まなび∞ラボ
Terraform 0.15の変更点を調べた | DevelopersIO
Reflection Llama-3.1 70B を試す｜ぬこぬこ
なるべく百均の材料でキーキャップ作りを始めてみた - ただいま村
DALL-E 3 with ChatGPTの特徴と面白い使い方｜IT navi
📖 vLLMのコードを読んでみよう - ENGINEERING BLOG ドコモ開発者ブログ
X(旧Twitter)でブロックした相手が自分の公開ポストを見られるようになるかも
この筆者が英語バイリンガルであることの根拠を述べる。ただし法言語学的..
170万人の遺伝子の分析で「左利き」に関する41の遺伝子が新たに特定される
【和訳あり】Peppa Pigの「Tidying Up」で字幕なし英語動画に挑戦！ - 塾の先生が英語で子育て
こいつを待ってた!3万字以上自動的に書いてくれるオープンLLMが登場!三回回せば本一冊分に!
スティーヴ・アルビニが密かに私の世界を変えた理由 | ele-king
プライバシー重視のブラウザ｢Brave｣、もはや存在意義を投げ捨てた？