2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。
データ基盤の負債を生まない技術と技術以外の話
2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。
UUIDとULIDを理解していない方は見た方がいい記事
Auto increment（自動採番）型を採用したくない場合 Auto Incrementは、データベースにおいて自動的に一意の識別子を生成するメカニズムです。通常、数値型の列が対象となり、新しいレコードが挿入されるたびにその列の値が自動的にインクリメントされます。典型的なIDですかね。 ここでは一意性の確保の話や、データ移行やバックアップのデメリットには言及せず、セキュリティとプライバシーの懸念にフォーカスして考えます。 予測可能性 Auto Increment型のIDは連番であるため、次に生成されるIDが容易に予測可能です。これにより、攻撃者がシステムの内部構造を推測し、不正アクセスを試みるリスクが高まります。 情報漏洩のリスク 連番のIDはデータベースの挿入順序を反映しているため、公開されることで企業の活動パターンやデータ生成の頻度が漏洩する可能性があります。 例） 競合他社は、公
無料で使える最高のAIノート『NotebookLM』使い方と活用事例｜AI-Bridge Lab こば
こんにちは！最近、ChatGPTと話しすぎてAI風の口調がうつってきたAI-Bridge Labのこばです！👋 今回の記事はGoogleのサービス『NotebookLM』(ノートブックLM)について 1.NotebookLMの概要 2.使い方 3.具体例として過去のnote記事を全部読ませた結果どうなったか この3点を分かりやすくご紹介します！ 先に結論だけお伝えするとかなり実用性が高くオススメのツールです！ そしてこの記事を読んで頂ければご自身での活用法が想像できるようになると思いますので、ぜひ最後まで読んで頂けますと幸いです！ 1.NotebookLMの概要公式サイト：https://notebooklm.google.com/ NotebookLMは、Googleが提供する生成AIサービスで、ユーザーのメモ書きやアップロードした資料を基に情報を整理し、質問に答えることができる革新的
ハーバード大学で150年以上教えられる作文術「オレオ公式」とは？...順番に当てはめるだけで論理的な文章に
＜書くことが苦手な人でも「オレオ公式」を知ることで、誰でも論理的な文章がすぐに書けるようになる＞ ハーバード大学で受け継がれているライティングメソッドから生まれた「オレオ公式」。 書くことが苦手な人でも「オレオ公式」を知れば、論理的かつ説得力のある「伝わる文章」の達人になれる。 『作文宿題が30分で書ける! 秘密のハーバード作文』（CCCメディアハウス）の「第1章 ハーバード大生みたいに考える」より一部抜粋。 作文上手になるためのセンターピンをねらえ！ 以前『ニューヨーク・タイムズ』の記者が書いた『習慣の力』（チャールズ・デュヒッグ著、講談社）という本が、世界中で話題になりました。人間の習慣の秘密について著者の考えをまとめた本です。 この本の中で著者は、「ボウリングのセンターピンを1本倒すだけでほかのピンも次々と倒れていくように、まず、その人が変えたいと思うもっとも大きな習慣をひとつ変える
GPT-4に日本語特化モデル OpenAI Japan始動会見で発表
米OpenAIは4月15日、大規模言語モデル「GPT-4」について、日本語に最適化したカスタムモデルを発表した。日本語のテキストを記述する能力が向上しており、「GPT-4 Turbo」より最大3倍高速とうたっている。今後数カ月以内にAPIをリリースするという。 関連記事 OpenAI、“怠けにくい”「GPT-4 Turbo」プレビューリリースや値下げを発表 OpenAIは、11月に発表した「GPT-4 Turbo」のプレビュー版をリリースすると発表した。「GPT-4」が怠け者になってきたという苦情を受け、怠けにくくしたという。公式版は数カ月中にリリースする計画だ。 マイクロソフト提供の“社内GPT基盤”もGPT-4 Turboなどに対応 米Microsoftが、大規模言語モデル「GPT-4」などのAPIをクラウドサービス「Microsoft Azure」経由で使える「Azure OpenA
登大遊氏が憂う、日本のクラウド、セキュリティ、人材不足、“けしからん”文系的支配
登大遊氏が憂う、日本のクラウド、セキュリティ、人材不足、“けしからん”文系的支配：ITmedia Security Week 2023 冬 2023年11月29日、アイティメディアが主催するセミナー「ITmedia Security Week 2023 冬」の「実践・クラウドセキュリティ」ゾーンで、情報処理推進機構（IPA）サイバー技術研究室 登大遊氏が「コンピュータ技術とサイバーセキュリティにおける日本の課題、人材育成法および将来展望」と題して講演した。日本における「ハッカー」と呼ぶべき登氏が初めてアイティメディアのセミナーに登壇し、独特の語り口から日本におけるエンジニアリングの“脆弱性”に斬り込んだ。本稿では、講演内容を要約する。
Suno AI の作り方 (技術者の観点から) · あらゆる現実のはなし
日本音響学会 学生・若手フォーラム Advent Calendar 2023 24日目 Suno AI とは、歌詞と曲のスタイル（と曲名）を指定するだけで、自動で歌詞入りの楽曲を作成してくれる生成 AI サービスです。 Suno AI 最近ではこのほかにも様々な音楽生成AIが発表されていますが、 Suno AI が特にバズっている要因はおそらく歌詞入力という他サービスではあまり無い UI と、 ボーカルが付加されることにより生成楽曲の面白さが格段に上がる点が大きいのではないでしょうか。 Suno AI 自体の使い方や詳細は多くのブログで紹介されているため特に取り上げる必要はないかと思いますが、 本記事では技術者の観点から Suno AI のようなシステムをどのようにすれば作れるか具体的に解説します。 個人的には Suno AI について、以下のような所見を持っています。 Suno AI は
認証と署名の整理をしましょう（またかよ） - Qiita
はじめに 去年の「Digital Identity技術勉強会 #iddanceAdvent Calendar 2022」でも「認証と署名は何が違う？ ～マイナンバーカードを例に～」として認証と署名の話をしました。実は今年も必要に迫られて認証と署名の整理をしてきてある程度まとまったかな…と言うことで今年も再び書かせてください！また署名業界では新たに電子シール（eシールとも呼ばれる非自然人/組織の電子証明書によるデジタル署名）の検討が進んでいます。なので署名も電子署名と電子シールに分けて整理をしてみます。年末の忙しい時期ですが楽しんでご笑読ください。認証と署名の整理についてはこれで最後にしたい…なぁw デジタルアイデンティティ さてまず認証と署名を比較するとはどういうことかを整理しましょう。認証…と言うよりも技術全体を示すのであれば最近はデジタルアイデンティティ（Digital Identit
ChatGPTの効果的なプロンプト手法における「基本のキ」を理論とテンプレート両方で紹介 | AIDB
★AIDB会員限定Discordを開設いたしました！ 会員登録／ログインの上、マイページをご覧ください。 --- ChatGPTなどのLLMは、自然言語を理解し、人間のように対話する能力を持っており、多くの場面でその能力を発揮しています。しかし、これらのモデルが最大限のパフォーマンスを発揮するためには、適切なプロンプト（指示テキスト）を使用することが不可欠です。 本記事では、ChatGPTをはじめとするLLMの効果的なプロンプト手法に焦点を当てた論文をもとに、「基本のキ」を紹介します。モデルに、より正確かつ効果的な回答を引き出すための原則と、現時点での主要なプロンプトエンジニアリングの知見を整理しました。 参照論文情報 ・タイトル：Unleashing the potential of prompt engineering in Large Language Models: a compr
画像生成AI「DALL·E 3」の性能が凄まじい。これを無料で使わせるマイクロソフトは本気で競合をつぶしに来ている (1/3)
10月1日頃、OpenAIの新しい画像生成AI「DALL·E 3（ダリ３）」が徐々に使えるようになり、その性能の高さから話題になっています。まずサプライズで使えるようになったのがマイクロソフトのBingチャット。日本語で「猫の画像を作ってください」などと入れるだけでかわいい猫の画像が出てくると。これが無料で使えるのは衝撃的です。マイクロソフトが巨大資本で他の会社をつぶしに来たなという感じですね。どう考えても、今のところはサーバーコストが果てしなくかかる赤字サービスなのは間違いないので……。 「ラーメンを食べる女の子」が描ける！ なにより衝撃的だったのは、「アニメ風の少女と猫が遊んでいる姿を作ってください」というリクエストに対し、一発で完璧な正解を出してきたことです。Stable Diffusionだと苦手とされていた指も適切に描写されています。もうひとつの着目点はオブジェクト間の関係性です
GPTのモデル構造を可視化した｜shi3z
GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(
「わかったのにできない」を「わかった！ できた！」へと変える、効果的な3つの方法。 - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
テキストを読んだり動画を見たりして「わかった」はずなのに、いざやろうとするとなぜか「できない……」。一生懸命理解したはずのことがテストや仕事に活かせず、お困りではありませんか？ 「わかる」と「できる」のあいだには、なにか見えない壁があるように感じている方も多いのではないでしょうか。 そこで今回は、わかったのにできないという現象が起こる原因を深掘りし、覚えた知識を自在に扱えるようになるコツをご紹介します。 「わかったのにできない」のはなぜか 「わかった！ できた！」へと変える方法1. インプットとアウトプットの比率を「3：7」にする 「わかった！ できた！」へと変える方法2. 適切なタイミングで復習する 「わかった！ できた！」へと変える方法3. 人に教えるように説明する 「わかったのにできない」のはなぜか わかったのにできない――こういったことが生じるのは、「わかる」と「できる」は異なる
技術調査の結果を表にまとめる際のコツについて考えてみた | DevelopersIO
テンプレートの特に重要な点の補足 上の表の「目的」にパーツに込めた設計意図は記載しましたが、特に重要な点を掘り下げてご紹介します。 おすすめ欄はできる限り書く 表を作る人が「自分はどれをおすすめするか」について印をつけることで、より自分ごととして調査できるようになります。 私もよく表を作ったはいいものの、いまいち深掘りできていないなと悩むことがあります。そのようなときに、「結局自分はどれがおすすめなんだっけ？」と印をつけることで、「この案をちゃんと説明するためにはこの観点や確認事項が漏れているな」と気づき、調査をもう一段階深掘りできることがよくあります。 もしチーム内での利用以外であえて自分のおすすめ案をアピールしなくても良い場合は、表を完成させてからカラムを抜くとよいかもしれません。 観点はカラム内で足して100%になるように心がける 調査対象に抜け漏れがないように分類は足して100%に
Suicaの新改札システムはようやっとキタ感が強いよねって話とか何ができるようになるのかとか耐障害性の話。 - O-Lab +Ossan Laboratory+
あー、やっとアーキテクチャ（システムの構造、の意）が完全に変わるんだ。っていう感想。 私が交通系ICカード開発の仕事に関わってたのがもう20年近く前で（正確には15〜6年前）その頃から今日まで全くアーキテクチャの基本構造が変わってなかったんですよ。 www.watch.impress.co.jp www.itmedia.co.jp 20年変わらないってのも、なかなかすごいよね。ある意味、完成された構造だったわけですけども。 とはいえ通信速度が向上したら、ネットワークの信頼性が向上したら、いずれこの形になるのは想定されてました。 逆に言うと20年経ってようやく「新しい形式に移行できるぜ！」ってなったわけで、検証もこの間に重ねられてきてたって事だと思います。 思いつきで移行なんかしないですよ、鉄道会社の方々って。 だって障害発生したらニュースになるんだものｗ 私は過去に下記のようなブログとかも
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
安定して成果を出せるエンジニアへの近道 - yigarashiのブログ
ソフトウェアエンジニアとして安定した成果を出したいと思っている人は多いでしょう。妥当な方針を危なげなく定め、素早く的確に実装し、滞りなく仕事を片付けていきたいものです。しかし、いつでもそのように成果を出せるようになるのは簡単ではありません。言語、ミドルウェア、クラウド、アーキテクチャと、身につけるべき知識が無限に並んでおり、それら全てに習熟する日は永遠に来ないとすら思えてきます。 にもかかわらず、この記事を読むみなさんの同僚には、安定して成果を出せるエンジニアが相当数いるだろうとも思います。これは一体どういうトリックなのでしょう。彼ら彼女らは全てを勉強しているのでしょうか。もちろんそれに近い研鑽を積んでいる人もいるでしょうが、多くの人はそこまでしていないと予想します。少なくとも僕はそこまでやっていませんが、技術面でもそこそこバリューを出して、テックリードを1年勤め上げました。この記事では、
象印の加湿器が最高で当面これしか使いたくないという話 - たごもりすメモ
ちょっとTwitterに書いたら食い付いてくる人が多かったので、ではアピールしとこうと思った。 象印の加湿器、とにかく手入れが簡単でこれ以外の加湿器はもう二度と買う気がないというくらい最高— tagomoris (@tagomoris) 2023年1月7日 TL;DR 衛生面などを考えると加熱式加湿器*1を使いたい 加熱式加湿器は加熱部に残留物が結晶化して固まるので手入れがめちゃ面倒 象印のやつは電熱ポットと同じなので、たまにクエン酸ぶちこむだけで超ラク、最高です 加湿器運用の手間を減らしたい人にとにかくお勧めです 自分が使ってるのはこれ。今年大きいのを買い足した。旧モデルの小さい方とあわせて2台とも使ってます。 EE-DC35・50 | 加湿器 | 生活家電 ｜ 商品情報 ｜ 象印マホービン 加湿器を加熱式のに替えるとき、某社従来型*2と象印の(2020年モデル)と2台買ったんだけど、手
受身気質な私がリーダーという役割で実践したこと 4選
皆さんこんにちは！ 最近、猫様をお迎えし最高な毎日を過ごしていております、塩対応のしおりん（@jamgodtree）です。 はじめに 私はログラスのエンジニアチームにて、2022年8月からリーダーを半年経験してきました。 この記事では、チームパフォーマンスの最大化に向けて行動してきたこと・失敗談について書いていきます。 タイトルにもあるように、私は受身気質であり、先頭を走っていくタイプのリーダーではありません。 その上で、以下のような悩みがある方に読んでもらえると幸いです。 リーダーになる前に何をやったらいいのかわからない人 リーダーになりたてでどうしようか同じように悩んでいる人 また、ログラスに興味がある方も是非参考にしてみてください。 ログラスにおけるリーダーとは? ログラスにおいてリーダーは 「役割」 として定義されています。 「上司」と「部下」ではなく、フラットな関係性を指している
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Excelのセル内で「,」や「/」で区切られたデータを「列」や「行」に分割するテク【残業を減らす！Officeテクニック】
ヤマハ | SEQTRAK
