AWS Summit Tokyoに参加しました (データシステム観点編) - TVer Tech Blog
データシステムとバックエンドを担当している黒瀬です。 4/20(木)と4/21(金)に開催されたAWS Summit Tokyoに参加してきましたので、取材した内容をレポートいたします！ Welcome to AWS Summit Tokyo AWS Summit Tokyoについて AWS Japanが開催する年次のカンファレンスで、今年は4年ぶりにリアル開催となりました。 事前登録者数は35,000超えとかなりの盛り上がりっぷりで、会場の幕張メッセも各ホールが来場者でとても賑わっていました。 参加目的 今回私はAWSのデータ系サービス・ソリューション・事例を中心とした情報、および今後の弊社のデータ管理のヒントを見つけるために参加しました。 見聞録 当日はいろんなセッションやブースを見て回ったのですが、ここではその中でも特に印象に残ったものをピックアップしてご紹介いたします。 基調講演会
SVMを使った類似 embeddings 検索 - kNN ではない類似検索の選択肢 - A Day in the Life
LangChain v0.0.141 に SVM Retriever という実装が入った。これは embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの？と追っかけてみたら、知らない知識で面白かったのでメモ記事に。 kNN vs SVM この実装の元となった、knn_vs_svm.ipynbというnotebookがあって、冒頭を機械翻訳すると以下となる。 よくあるワークフローは、あるデータを埋め込みに基づいてインデックス化し、新しいクエリの埋め込みがあれば、k-Nearest Neighbor検索で最も類似した例を検索することです。例えば、大規模な論文コレクションをその抄録に基づいて埋め込み、興味のある新しい論文を与えると、その論文に最も類似した論文を検索することが想像できます。 私の経験では
僕の個人開発を成功に導いてくれた本たち
A must read for anyone building a web app. Getting Real is packed with keep-it-simple insights, contrarian points of… この本は僕が個人開発者として進むべき方向を照らしてくれました。今でも繰り返しメモを読み返しています。かつての僕はアントレプレナーシップやスタートアップ文化に強く影響されていて、「スティーブ・ジョブズみたいにビッグになるぞ！」とか「facebookみたいな世界を席巻するサービスを作らなきゃ！」と息巻いていました。イタイ。同書は世界を獲ってビッグになることだけが成功の道ではなく、他にもソフトウェア開発で人生を謳歌できる方法がある事を教えてくれました。これはSaaSビジネスの立ち上げを、より少なく、本当に重要な事にだけ取り組む事で成功に導く方法について解説した本で
図書館で感じた絶望と奇跡の一冊｜からちゃん|島旅農園「ほとり」
「あぁ、ここにある本の大半は読まずに死んでいくんやな」 本に囲まれたくて本に囲まれるのが好きという人は少なくないだろう。 今や郊外には大型書店が出店し、またこんな田舎にブックカフェ？なんてことも増えてきた。 スマホにパソコンとデジタル化が進んだとはいっても、手に取れる本は私たちの心を掴んで離さない。 私もまた本に囲まれたいと願う人間の1人である。 もし神様に「何か一つだけを選んで、あとは全て捨てなさい」と言われれば、きっと気に入っている本を選ぶと思う。 そのくらいに自分にとって本は人生の中でかけがえのないものなのだ。 大学図書館という異空間でも、私はそのような本に囲まれる空間で絶望の淵に立たされたこともある。 それは図書館、もっと言えば、大学図書館だ。 大学院時代にほぼ毎日目にした数えきれない本の山。それらは私にこのような恐怖を植え付けた。 「あぁ、ここにある本の大半は読まずに死んでいくん
馴染みのレストランのようにアプリを運営する。長期的な成長のためにユーザーさんと関係を構築する意味。｜深川泰斗 | TimeTree代表取締役
はじめにTimeTree代表取締役の深川です。 このnoteは会社としての情報発信というよりも1個人としてTimeTreeという会社をやりながらこれまで悩んできたこと、反省したこと、気づいたことという観点で書いていきます。 前回はサービスをグロースさせるために「ユーザーの創造性」をどう信じてリソースとするかについて書きました。 今回も同じくサービス運営、グロースの話です。TimeTreeでは創業当初から社内で「馴染みのレストランのようなサービス開発運営をしよう」というコンセプトを掲げてきました。なぜこのコンセプトで運営するのか、何が良いのか？について書こうと思います。 正直言って、このコンセプトを採用したからといって短期的に直接数字に影響を与えるわけではありません。ただ、長期的に確実な成長を目指すためには、大きな役割を果たしてきたと感じています。 この記事の概要は以下のとおりですレストラン
Lookerから、dbtと相性のよいLightdashに移行してみた話
CI/CDがあたりまえの今の時代にAPIテスティングツールに求められていること / CI/CD Test Night #7
美大卒じゃないデザイナーがデッサン教室に通うと｜mashida
2022年7月からデッサン教室に通いはじめた。理由はちゃんと絵の勉強をしたいという気持ちがあったのと、イラストを描く仕事で画力不足をしばしば感じていたからだ。このnoteではデッサン教室に通って学んだことを描いていく。 通っているデッサン教室とある美術予備校の一般・社会人向けのコースに通っている。 これは毎週日曜日の午前中に2.5時間デッサンするコースなので、社会人でも無理なく通える（ありがたい！）。 通いやすさ以外にこのデッサン教室を選んだのは少人数制（3~4人）で美大受験生を指導している先生が教えてくれるからだ。 （部屋は別だが）受験生がデッサンをしている環境なので、いい意味で緊張感があるのもポイントが高かった。 デッサン教室に通うにあたって揃えたアイテムたちデッサンの流れ大きく3つのステップに分けられる。 デッサンの流れ1, 構図を取るモチーフ（デッサンする対象）のレイアウトを決めな
【合格体験記】滋賀大学大学院 データサイエンス研究科に合格しました。｜Think / Lumin
こんにちは。Thinkです。 この度、令和5年度4月期入学の滋賀大学大学院 データサイエンス学研究科に合格し、入学を決定しました。 滋賀大学 大学院 データサイエンス研究科、無事合格しました💮 新しいキャリアの幕開けが決定しました！まだ院試は続きますがまずは一段落です！ VRC学園での宣言を無事達成できてよかった😊 pic.twitter.com/UkXbAOm38d — バーチャル探究学者 Lumin (@Lumin_VR) June 17, 2022 なお、入試方式は早期特別入試で、5月出願、6月入試という、かなり早い時期に行われた入試でした。 滋賀大学 大学院 データサイエンス研究科（以後DS研究科）自体、設立されてまだ数年のかなり歴史の浅い大学院とのこともあり、受験に関する情報が全く無かったため、備忘録も含め、本noteに記載します。 ※本noteはThinkが個人的に感じたこ
BigQueryで非構造化データを扱ってみませんか？
AWS と Google Cloud で構築したデータ基盤の開発・運用に携わっているデータエンジニアです。5 年くらい携わっていて、この業務がきっかけで Google Cloud が好きになりました。 最近 Google Cloud のブログ企画であるこちらを見つけて挑戦したくなりました。GW ってこともあり、Google Cloud 関連の記事を投稿していこうと思います。 アウトプットの機会も少なくなっていたので、ここいらで気張ってインプット/アウトプットのサイクルを回していきます。 Overview BigQuery の非構造化データを扱いに関する検証記事 近年、メタ空間で取得されたデータ（音声データや画像データ etc）、いわゆる非構造化データを DB 上で扱っていきたいというニーズが高まっています しかし、表データないため、そのものを構造化データ的に扱うことはできません そこで、非
技術書籍執筆のコツ8選｜Takuya Tejima
先日、共著執筆させていただきました拙著「Next.js実践本」こと「TypeScriptとReact/Next.jsでつくる実践Webアプリケーション開発」が出版されました！そして、、技術評論社さんからも想像を上回る売れ行きということで、早いペースで第2刷が決まり現在書店で紙版の在庫に入りました。 実はこの本は書き初めから出版まで一年半かかってしまいました。その経験を通じて理解した技術書執筆のポイントをこの記事ではまとめてみます。 [宣伝] Next実践本の売りは「教科書ではなく実践」冒頭だけ少しこの本の宣伝です。個人的なこの書籍の売りは「教科書ではなく実践」という点です。個々の技術要素を学べる本は他にもあると思いますが、本書では開発の時に考えなくてはならない、開発の思考プロセスに力を入れています。なぜ、このアーキテクチャを取るのか、どのようにコンポーネントを分割するのか、どのように開発す
dbtのプロジェクトを評価してくれるWhetstoneを使ってみた
はじめに Whetstoneはdbt プロジェクトのメタデータとアーティファクトを分析して、プロジェクトの構造、テスト、ドキュメント、および実行の特性を強化する推奨事項を作成するサービスです。 (機械翻訳....) 特徴 グラフ構造、実行、テスト、および文書化のための推奨事項の生成 dbt プロジェクトのグラフ ビューと、結果ごとのサブグラフの視覚化 グラフの複雑さとテスト カバレッジ レポート 複数のプロジェクトを持つアカウントのサポート 出会い Analytics and the craft of software engineeringで、dbtコミュニティーが手掛けるプロダクトの一つにWhetstoneが紹介されていました。(dbt-osmosisも紹介されていますね) Alexander Butler’s dbt-osmosis automates the headache of
フード3Dプリンタを少し詳しく紹介｜緒方 胤浩
『フードデザイン』の緒方です。 今回は、書籍内でも登場するフード3Dプリンタについて書いてみます。 どんなマシンがあるのか？いくつか事例を紹介していきます。 フード3Dプリンタとは？その前に、フード3Dプリンタとは何か？ですが、 名前の通り、食品を印刷することができる3Dプリンタです。 コンピュータで作成した3Dデータをもとに、3Dプリンタが１層ずつ材料を積み上げて食品を成形します。材料をペースト状にして専用のカートリッジ（カプセル、シリンジなどとも呼ばれる）に入れ、マシンにセットします。あとはスイッチを押して、印刷完了を待ちます。印刷できたら、加熱が必要な食材の場合は焼く、蒸すなどの後調理をして、完成です！ 印刷方法少し技術的な話になりますが、カートリッジに充填した材料を少しずつ押し出す機構にも種類があります。今あるマシンの多くは注射器の要領で材料を押し出す機構を用いて、少しずつ材料を出
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
企業危機管理の弁護士は、何をやっているのか（弁護士浅見隆行の場合）｜弁護士浅見隆行｜note