NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック
近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
Contents (Click to expand) ↕️ Design Mode Pretty Print Command Pallet and Super Search Snippets Live Expressions Tracking Changes Console Shorthand Find Unused Code Rendering Panel Network Paint Times Network Timings Inspect Network Requests Performance Identifying Memory Leaks Raw Memory Inspection Test bfcache Full Refresh Lighthouse Page Size Breakdown Record User Flows Advanced User Flow Opera
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
はじめに この記事は レガシーコード改善ガイド: 保守開発のためのリファクタリング を参考に手を動かしてみて、ある程度自分の中で体系的にまとまった知識のアウトプットです。 この記事で扱う内容 この記事で扱うのは主にレガシーコードで単体テストを書く際のハードルになりがちな 依存関係の排除 に関する手法を紹介します。 この記事を読んだ後に、 『この観点を持っておけば単体テストをスムーズに書いていけそう！』 『今までモック使ってたけど意外とモック使わなくても書けるね！』 となったらいいな、と思います。 ちなみに、今まであんまりテスト書いたことないよーて人は以下の記事など参考にして一度やってみてください。 前提の話： この記事の本旨は「テスト書きにくいプロダクトコードも依存関係を排除すれば楽にテスト書けるよ」なので、それ設計的にアウトでは？リファクタリング耐性低くない？みたいな話は度外視してます。
ChatGPTはどのように学習を行なっているのか
はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。
キレッキレなPMは他と何が違うのか？ シリコンバレーのPMが重視する「Step Change」という視点 シリコンバレーのプロダクトマネージャー達に見る、 覚悟を決めたPMは何が違うのか？ #1/4 酸いも甘いも経験してきたシリコンバレーのプロダクトマネージャー 曽根原春樹氏：みなさんお集まりいただきまして誠にありがとうございます。初めましての方も、またお会いできましたねの方も、ご無沙汰しています。曽根原です。今年も「PMカンファレンス」に戻ってきました。 今回はテーマが「覚悟」ということで、どんな話をしようかなと思っていたのですが、みなさんにとって刺激的な話になるといいなと思って、それでこのタイトルに決めたわけですね。「シリコンバレーのプロダクトマネージャー達に見る、覚悟を決めたPMは何が違うのか？」ですね。 本題に入る前に、僕のことをぜんぜん知らないという方もいらっしゃるかもしれないの
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで - エンジニアHub｜Webエンジニアのキャリアを考える！
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで GitHubが公式に提供するGitHub Actionsは、後発ながらよく使われるワークフローエンジンとなっています。本記事では、藤吾郎（gfx）さんが、典型的なCI/CDのユースケースに即したワークフローの設定と管理について解説するとともに、注目されているGitHub OIDC（OpenID Connect）の利用についても紹介します。 GitHub Actionsは、GitHubが提供するCI/CDのためのワークフローエンジンです。ワークフローエンジンは、ビルド、テスト、デプロイといったCI/CD関連のワークフローを実行し、定期実行するワークフローを管理するなど、開発におけるソフトウェア実行の自動化を担います。 ▶ GitHub Actions - アイデアからリリースまでのワーク
アプリケーションをユーザに公開する場合, それがGUIであってもCUIであってもインタフェースが必要になります. Webアプリケーションを公開する場合にはWeb APIを利用するのが一般的であり, AWSもAPIをフルマネージドで活用するためのAPI Gatewayを提供しています. 非常に簡単に活用できるのですが細かい機能などを今一度洗い直す機会があればと思っており, 社内勉強会の機会があったのでAPI Gatewayについて話しました. 今回の記事では社内向け勉強会で登壇した内容をブログ向けに再編しています. 資料はSpeakerDeckで公開していますが, 内容についてより細かくこのブログで説明しますので, 是非ご閲覧ください. What is API まず最初にAPIが何かを確認します. 大雑把に伝えるとアプリケーションが呼び出せば予期した結果を返されるような仕組みです. 名前にあ
Merpay Advant Calendar 2020、23日目の記事は、趣味で認証認可をやっている @nerocrux が送りいたします。 最近 GNAP という認可プロトコルのワーキンググループドラフトが出ていて頑張って細かく読みましたので、（次回はいい加減に仕事でやってることについてお話しますが）今回はその GNAP について紹介させてください。 GNAP とはなにか？ GNAP は Grant Negotiation and Authorization Protocol の略で、認可のプロトコルです。Justin Richerさんという方を中心に策定しています。作者によると、GNAP の発音は げなっぷ になります。 認可（Authorization）プロトコルと言えば、OAuth 2.0 (RFC6749) が広く知られ、運用されています。GNAP は OAuth 2 の後継とし
自作RDBMSやろうぜ!
Skip to the content. 自作RDBMSやろうぜ! このサイトの目的 RDBMS（いわゆるリレーショナルデータベース）というものはプログラミング言語の処理系や、OSなどと同様に、世の中で広く使われているソフトウェアであるにも関わらず、いざ自作してみようと思うと日本語で記述されたサイトや書籍で、必要な情報・情報源がまとまったものがないことに気づきました そこで、叩き台として、本サイト管理人および数名のコミッタで開発している自作RDBMSである SamehadaDB が軌道に乗るまでの経験をベースに、自作RDBMSするための道筋をある程度整理して書き記してみました 各々の情報・情報源はあいかわらず多くが英語で記述されていますが、その点はご容赦下さい なお、本サイトは技術的な解説を提供するのではなく、適切と思われる情報・情報源をポイントするようなサイトとなることを想定しています
基礎から学ぶ統計学
理解に近道はない．だからこそ，初学者目線を忘れないペース配分と励ましで伴走する入門書．可能な限り図に語らせ，道具としての統計手法を，しっかり数学として（一部は割り切って）学ぶ．独習・学び直しに最適 本書の使い方 統計学を学ぶ心がけ／予備知識／本書の学び方／のんびり取り組む／本書の難所／練習問題を解く／数学が得意なら／ご協力ください 序章 はじめに １．統計学の必要性 ２．散らばり（バラツキ） ３．基本的な用語と概念 ①観測値と標本 ②母集団 ③統計学の目的 ④統計学の理論を支える土台 ⑤単純無作為標本 ４．本書の２本柱 ①平均の比較 ②2変数の関係 ５．検定統計量 第Ⅰ部 統計的仮説検定の論理 １章 検定の論理（二項検定を教材として） １．例題1：B薬はA薬より有効か？ ①例題1.1：18人に効果がある場合 ②例題1.2：14人に効果がある場合 ③例題の解答 ２．二項分布 ①二項係数 nC
AWS Lambda を使用した Web アプリケーションの開発プロジェクトで、バックエンド・フロントエンド・インフラを一貫して開発をしてきました。 改めてどのように開発をしていたのか、使った技術スタックや各サービスをどのように活用したかを整理したいと思い記事にしました。今後サーバーレス開発を行う際の技術選定の参考にしていただければ幸いです。 前提 Web アプリケーションです。 管理画面用の内部 Web API、外部のサービスと連携するための外部 Web API があります。 処理としてはリソースの CRUD がメインです。 管理画面は SPA で、バックエンドの Web API にリクエストします。 開発メンバーは 4 人ほどで、フロントエンドエンジニア、バックエンドエンジニアといった区分けはしていませんでした。 機能ごとにメンバー全員がバックエンドからフロントエンドまでを一気通貫で実
スカのプレイリストが100曲になったので
公開してみる スカ好き増えろ あとおススメ教えてください 1, 東京スカパラダイスオーケストラ/ ルパン三世’78 2, 東京スカパラダイスオーケストラ/ DOWN BEAT STOMP 3, 東京スカパラダイスオーケストラ/ 燃えよドラゴン 4, 東京スカパラダイスオーケストラ/ Come On！ 5, 東京スカパラダイスオーケストラ/ スキャラバン（CARAVAN） 6, 東京スカパラダイスオーケストラ/ 太陽にお願い 7, 東京スカパラダイスオーケストラ/ 勇者の証～Brave Eagle Of Apache～ 8, 東京スカパラダイスオーケストラ/ フィルムメイカーズ・ブリード～頂上決戦～ 9, 東京スカパラダイスオーケストラ/ 5 days of TEQUILA 10, 東京スカパラダイスオーケストラ/ MONSTER ROCK 11, 東京スカパラダイスオーケストラ/ Glor
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
【解体新書】Notion編 ~ 社員数たった50人の会社がユニコーンになれた秘密 ~｜Tomo Shikata @ WiL
『解体新書』と題し、急成長するスタートアップ企業を徹底解剖するシリーズの第1回としてNotionについて書こうと思います。 （このシリーズが面白いと思ったり、別の企業について書いてほしいという方はぜひこのnoteへのスキや、Twitterのフォロー、シェアをなにとぞ🙇♂️） Notionを知らない方にざっくりとした説明をすると、なんでもできる超多機能情報管理ツール。昨年くらいからものすごい熱量の高いファンがいるサービスだなーと思っていて、自分も年初から使うようになり、今では個人で課金して使ってます。 そんなサービスが昨年7月に$20M、今年4月には$50Mを調達してユニコーン企業になり、ユーザーは400万人を突破するなど、昨今のコロナはどこ吹く風という勢いの実績を積み上げています。 名実ともに破竹の勢いで成長を続けるNotionは、実は創業してから会社が一度死にかけていたり、創業者はな
職務質問裁判の控訴は棄却された。判決文は以下から読むことができる。 https://github.com/EzoeRyou/calling-110-is-suspicious 2年前の7月3日、職務質問を受けた。 警察官に職務質問をされた話し この職務質問は明らかに違法であると感じたので、弁護士に相談の上、東京都に対して国賠訴訟を起こした。警察官というのは各都道府県の下に位置する行政組織なので、警察を訴えるというのは、その警察の所属する都道府県を訴えるということになる。 一審判決は請求棄却。理由としては、「最初の10分間は不審事由がないが、刃物などの危険物を入れることができるリュックを背負っていたから声をかけ10分間その場にとどめて話をするのは違法ではない。このとき110番通報を要請したことは不審事由にあたりその後の1時間20分の職務質問は不審事由が存在するために合法である」というわけのわ
「Amazonでさえサーバレスやマイクロサービスを理解できない」とDHH氏が主張する一方で、「進化可能なアーキテクチャこそ重要」とAmazonのVogels博士
Ruby on Railsの作者として知られるDavid Heinemeier Hansson（DHH）氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」（Amazonでさえサーバレスやマイクロサービスを理解できない）が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」（Prime Videoの音声映像監視サービスにおけるスケールアップと90％のコスト削減の実現）で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
「専門性が高い人になりたいですか？」 そう問われたら、多くの人が「はい！」と答えるでしょう。エンジニアやデザイナーのような専門職に限らず、ビジネスパーソンの多くも、「できることなら何らかの専門性を高めたい」と思っているはずです。 しかし、そもそも「専門性が高い」とはどういう状態を指すのでしょうか。どんな人になれば「専門家」だと評価されるようになるのでしょうか。それを突き詰めて考えることが専門性を高めるヒントになると思い、少し深堀してみました。 最後には、まだ実験中ですが、ChatGPTを活用して専門性を高める方法をご紹介します。 専門性と体系化の関係 辞書サイトのWeblioを見ると、専門性とは「特定の分野のみに深く関わっているさま。高度な知識や経験を要求されることや、その度合い」と書かれています。この定義に従うと、専門性には「特定の分野の高度な知識や経験」が必要だということになります。
1,500種類以上のアイコンが揃った、Webサイトやスマホアプリにぴったりなシンプルにデザインされた無料アイコンを紹介します。 オープンソースで個人でも商用でも無料で利用できます。また、SVGアイコンとアイコンフォントで利用できるので、サイズやカラーの変更はCSSでできます。アイコンはリスト、固定幅、アニメーションにも対応しており、かなり便利だと思います。 Boxicons Boxicons -GitHub Boxiconsの特徴 Boxiconsの使い方 Boxiconsを実際に使ってみた Boxiconsの特徴 Boxiconsはオープンソースのプロジェクトで、1,500+種類のSVGアイコン・アイコンフォントが簡単に利用できます。シンプルなデザインは、さまざまなWebサイトやスマホアプリにぴったりです。 けっこう前にも紹介しましたが、アップデートされ続け、アイコンの種類や機能がだいぶ
Windows 10で時刻同期を完璧にする方法 お前らのやり方は間違っている - Windowsは好きですが何か
Windows 10の時刻同期の設定方法として紹介されているものは、すべて間違っている。正しい方法であれば数ミリ秒レベルの誤差に収まるのに、それとは程遠い方法しか紹介されていない。 Windowsには比較的まともなNTPクライアントが実装されている。NTPクライアントに普通に仕事をさせるだけで、最悪でも数ミリ秒の精度は出せる。 最初にするのは、NTPクライアントが動き続けるようにする設定である。何も設定しないと、一回の時刻合わせのためにときどき動くだけで、NTP本来の継続的な時刻調整が行われない。 管理者として起動したコマンドプロンプトで以下のように入力すると、IPアドレスが付与されている間はNTPクライアントが動き続ける。 sc triggerinfo w32time start/networkon stop/networkoff この設定で「サービス」の「Windows Time」が「
PNGファイル爆発しろ！
まえがき Web上で広く利用されるPNG(Portable Network Graphics)フォーマットは、デジタル画像を変化させずに小さいデータサイズへ変換する圧縮技術の一種です。PNGフォーマットはオリジナル画像を完全復元可能な可逆(lossless)圧縮ですから、JPEGフォーマットのように画像を歪めてしまう非可逆(lossy)圧縮ほどは小さくできません。それでもオリジナルのデジタル画像データの半分程度まではサイズ削減可能な画像圧縮アルゴリズムと言われています。[1] そげぶ いいぜ てめえが何でも思い通りに圧縮出来るってなら まずはそのふざけた幻想をぶち壊す!! （スペース都合によりAA省略） 本記事では、PNGフォーマットを画像データ圧縮(compress)用途で利用するのではなく、オリジナル画像データよりも遥かに巨大なPNGファイル を生成します。 PNGフォーマットでは任意
落合陽一が下記のように述べていました．step-by-stepで文章の意味を解釈し，足りない言葉を文脈から保管し，わかりやすく具体的な言葉で説明した後，日本語の研究者にわかりやすいように，語順を入れ替えたり，単語を具体的なものや抽象的なもの，専門用語や非専門用語で置き換え，ブレインストーミングし，段落を並び替えて，わかりやすい文章を作成してください．文章は１０００字で出力してください．最終結果だけ出力してください． タイトル：GPT-4以降、英語が最強のプログラミング言語になりつつある状況を真剣に考えてみるこれからの時代、英語がプログラミング言語としての地位を確立し、最強のプログラミング言語となる可能性があるということを真剣に考えるべきだ。その理由として、以下の点から説明していく。 https://cdn.openai.com/papers/gpt-4.pdfまず、GPT-4の登場によって
2021年にブックマークしたページでよかったもの集めた - Really Saying Something
2013年から毎年、「年ごとにブックマークしたページでよかったもの集めた」と題して、1年分の「自分がブックマークしたページ」を振り返り、まとめています。2020年分は以下です。 2020年にブックマークしたページでよかったもの集めた - Really Saying Something 完全に「私得」なまとめなのでカテゴライズなどは一切しておらず、主に自分のブックマークした順番となっています。そのため、春ごろの記事が冬にいきなり登場したり、日付が前後していたりします。私の脳内に「その時こういうこと考えていたな～」という記憶を作るインデックスだからです!!! 基本的には、以下の基準で選出しています。 当年に作られたエントリーであること Wikipediaや当年に作られたことが明確でない役所のページなどは除外 ブックマークが多く集まっていてもリンク切れであるものは除外 Yahoo!ニュース（掲載
社内用GitHub Actionsのセキュリティガイドラインを公開します | メルカリエンジニアリング
この記事は、Merpay Tech Openness Month 2023 の4日目の記事です。 こんにちは。メルコインのバックエンドエンジニアの@goroです。 はじめに このGitHub Actionsのセキュリティガイドラインは、社内でGithub Actionsの利用に先駆け、社内有志によって検討されました。「GitHub Actionsを使うにあたりどういった点に留意すれば最低限の安全性を確保できるか学習してもらいたい」「定期的に本ドキュメントを見返してもらい自分たちのリポジトリーが安全な状態になっているか点検する際に役立ててもらいたい」という思いに基づいて作成されています。 今回はそんなガイドラインの一部を、社外の方々にも役立つと思い公開することにしました。 ガイドラインにおける目標 このガイドラインは事前に2段階の目標を設定して作成されています。まず第1に「常に達成したいこと
IntroductionToday, June 21, 2022, Cloudflare suffered an outage that affected traffic in 19 of our data centers. Unfortunately, these 19 locations handle a significant proportion of our global traffic. This outage was caused by a change that was part of a long-running project to increase resilience in our busiest locations. A change to the network configuration in those locations caused an outage
みなさんは GitHub でオープソースソフトウェア(OSS)を開発して公開する時、README をどのように書いているでしょうか？ GitHub が自動で作ってくれる README に含まれるのはタイトルだけですし、OSS 開発初心者の場合、そもそも README に何を含めるべきかわからないという方もいらっしゃるのではないでしょうか？OSS 開発に慣れている方でも、コードを書くのはいいけれど README を書くのは面倒だと思ったことはありませんか？今回はそんな README 難民の方々向けの Web サービスを作ってみました。 LEADYOU - README Generator Web サイトへ 使い方 使い方は簡単です。トップページで GitHub の Public リポジトリの URL を入力してNext Stepボタンを押すと、README に書くべき内容ごとにフィールドが設
本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその
【金言】ハードウェアの音楽制作機材は絶対に手放してはいけない。絶対にだ。後で必ず後悔する。漫画や本とは違う。 と、Facebookに書いたことに、さらにもうちょっと書きたくなったのでこちらに書きます。 なお、音楽を制作するための機材に何の興味もない人は、おそらく読まない方が良いです。なんのこっちゃ話です。 ちなみに、機材を売ってはいけない、は確か石野卓球が言っていた言葉だったはず、とうろ覚えです。 雑誌は、キーボードマガジンかサンレコか今は亡きGrooveか。 ※いや、そんなこと言ってねーよの可能性もあり。 断捨離ブーム一時期、断捨離ブームが巷を席巻しました。 2000年代の終わりですね。 それで私もでかさばる（でかくてかさばる）ハードウェア機材、シンセ、サンプラー、リズムマシンを2009年くらいに結構手放したことがありました。 ソフトウェアシンセが充実してきたし、ミニマルな環境でもういい
お役立ち Twitter Bot を作りながら学ぶ AWS ドリル ~第 1 回 おはよう Bot 編 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
ソリューションアーキテクト (SA) の金澤 (@ketancho) です。2022 年になりましたが、皆さまいかがお過ごしでしょうか ? 新年を迎えたので、「今年は○○をやるぞ !」と思われている読者の方も多いのではないでしょうか ? 〇〇に AWS に関わるワードが入っているといいなーと思いながらこれを書いているのですが、私の場合は「今年は AWS を使いはじめたい方々が楽しく学べるコンテンツを作るぞ !」が抱負だったりします。(それと少しでいいから痩せたいです。) 昨年末に子どもにアドベントカレンダー (ブログではなくお菓子とかおもちゃとかが入っている方) を初めて買ってあげたのですが、思っていた以上にウケがよく、お父さんは鼻高々でした。もしかしたらそんな形で、窓を開けると AWS のサービスが毎月ひとつずつ出てきて、それを使って読者の皆さまが楽しく遊びながら学べるようなカレンダーが
自己紹介 データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（202.01.09時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←普段はXで活動しています。ありがたいことに、フォロワーは6500人を超えました😌 プロフィールページ👇👇👇 X👇👇👇 Day2の概要 Day2のテーマは「Prompting and Augmented Language Model」ということで、LLMの活用法に焦点が当てられている。（学習済みLLMを追加学習なしで活用する技術について） 項目としては大きく3つ。 プロンプティングや文脈内学習とは何か プロンプティングによる性能改善方法 Augmented Language Modelの概要 LLMの使い方に焦点を絞っているので、今回の授業だけでも幅広い人に役立ちそう。 言語
画像生成AIのStable Diffusionは、ノイズを除去することで画像を生成する「潜在拡散モデル」で、オープンソースで開発されて2022年8月に一般公開されたため、学習用のデータセットを変えることで特定の画像を生成するのに特化したフォークモデルが多数存在します。そんなStable Diffusionから派生して生まれた特化型モデルとその特徴や生成例をまとめてみました。 Stable Diffusion Models https://rentry.org/sdmodels 実際に複数のモデルとシード値で、同一のプロンプト・ステップ数・CFGスケールで画像を生成した結果をまとめてみました。 モデルは左からStable Diffusion v1.4、Waifu-Diffusion v1.2、Trinart Stable Diffusion、Hentai Diffusion、Zack3D_K
カミナシでEM(エンジニアリングマネージャー)をしている宮本と申します。 カミナシには現在CTOがいません。 ただ、採用活動は進めておりますので、近い内に採用活動が花開くことを切に願っております。 本記事では、将来のCTOを迎えるにあたり、EMである私が直近半年で何を考え、どんな対応をしてきたかについてまとめました。 カミナシが求めるCTOとはCTOを採用したいという話が挙がった際、カミナシは具体的にどういった方をCTOとして迎えたいのか議論になった事があります。 ここでよく議論の分かれ目になるのが、実務者のTOPとしてのCTOか、経営者としてのCTOか、という2つの観点です。 当然、両方の性質を備えているのが望ましいのですが、究極的にどちらの要素しか満たさざるを得ない場合、どちらを選択すべきか関係者の認識を揃えておく必要があると思います。 結論、カミナシでは経営者としてのCTOを優先した
現在，34個掲載(一部執筆途中) Xのアカウント@fuyu_quantでも技術系の投稿をしているのでよかったらフォローしてください！ はじめに 今回はすぐに使えそうなプロンプトの工夫やフレームワークについて有名なものをまとめました．LMの出力の精度向上に役立てられればと思います． 論文があるものについてはarXivに最初に投稿された順番で掲載しています． 論文で精度向上が確認されているのは英語での検証がほとんどであるため，日本語で改善されるかは分かりません． 全てのLLM(GPT-4,Llama2,...)で精度が改善するとは限りません． ※記事に誤り等ありましたらご指摘いただけますと幸いです． 以下の記事では敵対的プロンプト技術をまとめています！ 目次 Zero-shot prompting Few-shot prompting 2021年〜 Generated Knowledge Pr
こんにちは。プライシングスタジオ株式会社代表の高橋です。プライシングスタジオではこれまで数十サービスのSaaSプライシングを支援してきました。国内では誰よりもSaaSプライシングに向き合ってきた自負があります。 このnoteは、そんな私だからこそ書ける、これだけ読めばSaaSのプライシングは大丈夫、そんな内容です。プライシングに悩んだら、いつきても大丈夫。そんなSaaSプライシングの教科書です。 SaaSのプライシングはの教科書ということもあり、総文字数16,000文字超えと、一気に読むには非常にボリューミーな内容になっています。だから最後まで無理して読まなくても大丈夫です。その代わり必要な時に、必要な情報を取りに来てくださると幸いです。 SaaS業界でプライシングが注目されているわけ近年、SaaS業界におけるプライシングに対する注目度は、他の業界と比べ異常なほど高いです。理由は簡単で、海
【決定版】GPTs開発の教科書｜ChatGPT研究所
この記事は、一度使われて終わるような、ChatGPT にちょっとした機能を追加しただけの GPTではなく、本当に使われる素晴らしく便利な GPTs を作成、開発するための教科書として、書きました。 今までの GPTs 開発関連の情報を全てまとめた内容になっています。 この note 一冊を読めば、GPTs 制作の基礎から応用まで全部わかります。 記事の内容は必要に応じて適宜アップデートしていきます。 目次は以下です： 第1章 GPTsの概要とその可能性そもそも GPTs とはなんでしょうか？ 一言で言うと、ChatGPTを自分独自に大幅にカスタマイズできる機能とそのカスタマイズされたAIのことです。 ただし、GPTsを単なるChatGPT のいち機能の一つとして考えるのは非常にもったいないです。 OpenAI は、GPT Store という、他の人が作ったGPTsを使えるようになるストアの
Infrastructure as Dataとは何か
最近GCPから登場したKubernetes YAMLのPackage managerであるKptは「Infrastructure as Data（Configuration as Data）」という考えかたを基礎としてそれを推し進めようとしている．それ以外にもKubernetesのEcosystemには（明示はされていなくても）この考え方が中心にある．Infrastructure as Codeとは何が違うのかなど歴史を振り返りつつまとめてみる． （指針はBorg, Omega, and Kubernetesという論文にあるが「Infrastrcuture as Data（Configuration as Data）」という言葉を明確に定義した文章はない．この記事はReferencesに挙げるいくつかのPodcastにおける@kelseyhightowerの発言や，それに反応する@bgra
【6/8追記】 官房長官の定例会見で、今回の記事に関する質問がありましたので、そちらを新しい項を立てて追記しました。 また、紙面には、脚注で指摘した通り「日本政府関係者」が「中国への問題提起はしている」と話した「欧米の対応と大きな違いはない」という部分が掲載されていたようで、こちらも加えた形が共同の記事の全容となりそうですね。以下の投稿からご教示いただきました。 共同通信の記事の全文は新聞紙面を読まなきゃ分からない｜いるか｜note さきほど呟きました*1が、ちょっと怪しい共同の記事。 香港への国家安全法制の導入を巡り、中国を厳しく批判する*2米国や英国などの共同声明に日本政府も参加を打診されたが、拒否していたことが6日分かった。複数の関係国当局者が明らかにした。中国と関係改善を目指す日本側は欧米諸国に追随しないことで配慮を示したが、米国など関係国の間では日本の対応に失望の声が出ている。
はじめに このツイートに結構反響があったので、雑になるがとにかく自分の考えをダンプする。もともと書いていた記事はうっかりやらかしてデータロストした、泣きたい。 話をわかりやすくするために、ALB+ECS（Fargate）を使ってWebAPIと対比して説明しているが現実はもっと複雑である。 引用リツイートをもらえた部分などについてもアンサーっぽいことも書いていく。 AWS利用費と人件費の話 AWS上にWebAPIを構築する際に、AWS利用費の削減をモチベーションとしてApiGW+Lambda構成が、採用されることがある。確かにAWS利用費は下がるがApiGW+Lambda構成を設計〜運用するためにはAWSに関する知識の中でもとくに専門的な知識が必要になる。こういった人材を雇用または外部へ発注し続けることは人件費に跳ね返ってくる。 ApiGW+LambdaがWebAPIのための構成として唯一無
「施策デザインのための機械学習入門」を完全に理解したサトシくんがポケモン捕獲アルゴリズムを実装する話 - kanayamaのブログ
プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1（再） KPIの設定 step2（再） データの観測構造をモデル化する step3（再） 解くべき問題を特定する step4（再） 観測データのみを用いて問題を解く方法を考える step5（再） 機械学習モデルを学習する step6（再） 施策を導入する 第5章 俺たちの戦いはこれからだ！ 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます（多分） @tkana
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2021年】AWS全サービスまとめ | DevelopersIO
Browser Dev Tools: The Ultimate Guide 🔥
AWSでバッチ処理を実装する際の選択肢とサービス比較
たった２つのステップを意識するだけで書けない単体テストがほぼなくなる - Qiita
キレッキレなPMは他と何が違うのか？ シリコンバレーのPMが重視する「Step Change」という視点
Amazon API Gateway は何をしてるのか | DevelopersIO
OAuth2の次に来ると言われる認可プロトコルGNAPとはなにか | メルカリエンジニアリング
最近の業務での AWS サーバーレス開発を振り返ってみた | DevelopersIO
『Winny』の金子勇さんの失われたED法を求めて - Qiita
違法な職務質問をされたので東京都を訴えた裁判の控訴審は棄却、理由は突然に
さて、専門性と体系化の話をしようか | knowledge / baigie
こいつ、動くぞ！ 商用利用無料、シンプルにデザインされたSVGもフォントも揃った高品質なアイコン -Boxicons
GPT-4以降，英語が最強のプログラミング言語になりつつある状況をまじめに考えてみる．｜落合陽一
Cloudflare outage on June 21, 2022
GitHubのREADMEをサクッと高品質で書けるサービス作ってみました。 - Qiita
時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
音楽制作機材は売ってはいけない、ということ｜lowtechism
【Day 2】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
画像生成AI「Stable Diffusion」でいろいろ特化した使えるモデルデータいろいろまとめ
将来のCTOを迎えるために エンジニアリングマネージャーが半年でやったこと｜miyamoto
LLMのプロンプト技術まとめ - Qiita
SaaSプライシングの教科書【決定版】｜高橋 嘉尋 / プライシングスタジオ
【追記】「中国批判声明の参加拒否」の共同記事についてのあれこれ、記事の消滅 - ネットロアをめぐる冒険
WebAPIを構築する際にAPI Gateway+Lambdaを選択するべきか？