BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0
この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現したいこと SaaSデータの処理方法 SQLサンプル1: 純粋な配列だけのケース SQLサンプル2: 配列内にハッシュマップがあるケース SQLサンプル3: 配列宣言ナシでカンマ区切りのハッシュマップが突如始まるケース SQLサンプル4: 配列とハッシュが入り乱れるケース SQLサンプル5: JSONの中に親子構造があるケース SQLサンプル6: Objectを定義したくなるケース 最強のJSONパースの関数は作れるか jsonデータの処理をどこで行うか 最後に
今すぐアイデアを形にするたった1つの方法 アイデアを最速で実現するAWSの使い方 低コストでスケール可能なサービスを作る方法 2019年3月27日、AWS Startup Day 2019 Tokyoが開催されました。スタートアップ企業や数年以内の起業を検討している人を対象に、テクノロジーの最新情報を共有する本イベント。AWSで活躍するエンジニアや各分野の第一人が集い、生きた知識を共有します。プレゼンテーション「今すぐアイデアを形にするたった1つの方法」に登壇したのは、アマゾン ウェブ サービス ジャパン株式会社マネージャーでシニアソリューションアーキテクトの西谷圭介氏。時間や資金、人材など、さまざまなリソースが不足するスタートアップに向けて、AWSを用いた効率的な開発手法をデモを交えて解説します。 今すぐアイデアを形にするたった1つの方法 西谷圭介氏：みなさん、こんにちは。「今す
GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ
この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか？便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは？ GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した
[速報] PrometheusとGrafanaをマネージドで動かすAWSの新サービスが発表されました！（プレビュー） #reinvent | DevelopersIO
開催中のAWS re:Invent 2020、ヴァーナーのキーノート中に、Amazon Managed Service for Prometheus（AMP）とAmazon Managed Service for Grafana（AMG）の二つが発表されました！ Amazon Managed Service for Prometheus | Fully Managed Prometheus | Amazon Web Services Amazon Managed Service for Grafana | Fully Managed Grafana Data Visualization | Amazon Web Services Our new partnership with AWS gives Grafana users more options | Grafana Labs それぞれ
![[速報] PrometheusとGrafanaをマネージドで動かすAWSの新サービスが発表されました！（プレビュー） #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
Brendan FalkI am excited to announce that, as of today, Fig is generally available to the public for download. With our public launch, I'd like to share a little more about Fig's mission: who we are, what we're doing, and what's to come. The terminal has barely changed since the 1970s and yet is still used every day by tens of millions of developers. Our bet is that the terminal isn't going away a
Denoに触れてみる ~ 導入から かんたんなアプリケーションまで ~ - 虎の穴開発室ブログ
こんにちは、皆さん雨の季節をいかがお過ごしでしょうか？ ラボのおっくんです。 最近、「天気の子」の BD が届いたんですが、雨で思い出す作品の枠が更新してしまいましたね。 ちなみに前は「言葉の庭」でした。 さて、去る 2020 年 5 月 13 日に「deno 1.0」が公開されました。 deno.land 今回は、「deno」を導入から簡単なアプリケーションを作るところまで触る中で、気が付いたことなどをレポートしたいと思います。 実行環境 OS:macOS : Catalina 10.15.4 deno を導入 インストール方法は、Denoやdenoland / deno_installに記載があります。 (github の名前が Deno Land なのが、なんだか楽しそうです。) deno.land github.com これらの記載がある中で、今回は以下のコマンドで導入しました。
AWSの推進する内製化のあり方について、内製化に向けたステップや人材育成について話す、「エンジニア育成とパートナー活用の両軸で進める内製化促進」。ここでアマゾンウェブサービスジャパン株式会社の相澤氏が登壇。AWSから見た企業の内製化と、エンジニア育成について紹介します。 自己紹介とアジェンダ 相澤恵奏氏（以下、相澤）：アマゾンウェブサービスジャパンでパートナーアライアンス統括本部テクニカルイネーブルメント部のリードをしている相澤と言います。 始めのセッションでは、今AWSから企業の内製化がどういうふうに見えているか。お客さま、パートナーさまからどういう声を頂いているかを15分ほどで説明します。よろしくお願いします。 私の部署では、国内のAWSコンサルティングパートナーの内、約300社に対して技術的なサポートをしています。もう1つ特徴的なのが、エンジニアのイネーブルメントもやっています。パー
これは、はてなアドベントカレンダーの25日目の記事です。昨日は id:nabeop による Hatena Developer Blog 編集部の活動の紹介 でした。 こんにちは。CTO の id:motemen です。CTO としては、はてなにおけるエンジニア組織全体を見ています。この機会に、はてなの技術組織が現在どのようであるか、について概観を書いてみます。 はてなのプロダクトたち はじめにこの話の前提として、はてなの事業やこれまでの組織について軽く触れておきます。 会社情報ページにあるように、はてなは「コンテンツプラットフォーム」「コンテンツマーケティング」「テクノロジーソリューション」という3つの分野でサービスを展開しています。それぞれ、 はてなブログやはてなブックマーク はてなブログMedia GigaViewerやカクヨム、Mackerel が代表的なプロダクトです。これらを70
はじめに 「Goの正規表現は遅い」 そんなふうによく言われていました。（最近はあまり聞かなくなりましたが） たとえば、↓の記事ではPythonの正規表現と比較して1.5倍くらい遅いという結果になっています： この話には「Goの正規表現は最悪時間が短くなるように安定したアルゴリズムを採用しているから」という回答があります： ↑の記事の比較では、GoがPerlに対して約10倍以上高速という結果が出ているので、「Goの正規表現は遅くない！はい、論破ー！」というわけですね。 なんでこうなるのかも↑の記事で説明されているとおりですが、Perl（などのバックトラック型エンジン）が入力長に対して指数関数的に実行時間が伸びていくのに対し、Goの正規表現エンジンは入力長に対して線形時間で実行時間が伸びていくアルゴリズムを採用しているため、入力が長くなると急激にGoのほうが有利になるからです： 一方で、入力が
「塗辺くん」ふいに、真兎が言った。「もしかしてだけど、カードは――」 「「こことは別の場所にある？」」 絵空も声をそろえ、まったく同じ質問をした。 青崎有吾「フォールーム・ポーカー」 store.steampowered.com インターネットは今日も平和 インターネットは行き場のない叫びの行き場であり、神なきひとびとのための教会であり、どんなにみじめな嘆きもここではゆるされる。 わたしはその夜、Reddit を覗きに行っていた。Reddit とはアメリカ最大の掲示板サイトで、いまどき掲示板なんて流行らないだろうと日本ではおもわれそうだが、なかなかな盛況ぶりを見せていて、2020年代に入ってもゲームストップ株をめぐる大騒動の震源地になったり*1、株式市場では本年度最大規模のIPOが見込まれていたりする*2。 魂が死んでいるときに寄るぶんには、よい場所だ。 そして、こんなスレが視界に飛び込ん
Speculation in JavaScriptCore
This post is all about speculative compilation, or just speculation for short, in the context of the JavaScriptCore virtual machine. Speculative compilation is ideal for making dynamic languages, or any language with enough dynamic features, run faster. In this post, we will look at speculation for JavaScript. Historically, this technique or closely related variants has been applied successfully t
概要 この度、このようなゲームを作りました。基本的には迷路のゲームです。(サイトのリンク) 本記事ではこのゲームの製作過程を掲載すると共に、様々な分野の方に対しきっと有益になるだろうという情報をまとめてあります。楽しんで頂けたら幸いです。 Step0 前提 まず用語を整理します。 Blender : 3DCG制作ソフト。Pythonによって操作が可能になっています。 Python : 言わずと知れた有名プログラミング言語。 Unity : ゲーム制作ソフト。スタート画面の表示やゲームオーバーの判定などをしてくれます。言語はC#です。 大まかな流れとしては、 Step1. Blenderで3Dオブジェクトを作成 Step2. Pythonでそれを迷路に組み立てる Step3. Unityでゲームとして完成させる という風になっています。 コードに関しては、読みやすさも考え記事中においては一部
LMQL Playgroundでクエリを試すLMQLには動作を簡単に検証できるPlaygroundが用意されています。ローカルでPlaygroundを起動することもできます。 まずはGetting Startedで紹介されている以下のクエリを実行します。 argmax "Hello[WHO]" from "openai/text-ada-001" where len(WHO) < 10「Run」ボタンをクリックするとOpenAIのAPI KEYを求められるので、入力します。 実行するとModel Responseの枠に結果が表示されます。 LMQLの基本構造LMQLは記法的にはSQLと似ていて、以下のような構造を持っています。 デコーダ節（Decoder Clause）： テキスト生成に使用するデコード・アルゴリズムを指定します。LMQLでは様々なデコード・アルゴリズムを選択することができ
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
Peter Jay Salzman, Michael Burian, Ori Pomerantz, Bob Mottram, Jim Huang 1 Introduction 1.1 Authorship 1.2 Acknowledgements 1.3 What Is A Kernel Module? 1.4 Kernel module package 1.5 What Modules are in my Kernel? 1.6 Is there a need to download and compile the kernel? 1.7 Before We Begin 2 Headers 3 Examples 4 Hello World 4.1 The Simplest Module 4.2 Hello and Goodbye 4.3 The __init and __exit Mac
RustのWasm周りのクレートまとめと、Trunkを使ってRustで書いたWasmをブラウザ上で簡単に実行する
wasm-packを使うことで、ビルドしてwasm-bindgen-cliでさらに変換処理を行い、npmで配布可能なパッケージにするという多段階必要なビルド手順をまとめることが可能です。 またnewコマンドのようなテンプレートから生成する機能などもあり、より手軽にWasmの実行を行えます。 後述のTrunkとの違いは、wasm-packはwebpackなどのJavaScript側で使われるバンドラーなどと合わせて使うことが想定されていることです。 webpackと合わせて使わない場合には今回のテーマであり後述するTrunkを利用したほうがより簡単にWasmの実行を行えます。 wasm-opt GitHub binaryenというリポジトリでwasm-optというツール含むいくつかのツールが作られています。 wasm-optはその名の通りWasmの最適化をしてくれるツールです。 与えるオプシ
クックパッドでの機械学習基盤のお話です。 https://machine-learning-pitch.connpass.com/event/154343/ にて登壇。質問とそれに対する答えを追記しました。
さくらインターネット田中氏のサーバ運用経験 新野淳一氏（以下、新野）：本日モデレーターをさせていただきますPublickeyの新野と申します。 今日はCloud Native Talk Night 第4回、本当はリアルでやる予定だったんですが、今日はオンラインで、アイティメディアの会議室からお送りしております。 私が司会で、田中さん、藤原さん、青山さんの3名と一緒に、だいたい60分ぐらいディスカッションをして、そのあとみなさんからの質問を受けて答えていこうと思います。 というわけで、さっそくパネリストを紹介していきたいと思います。僕の横にいらっしゃるのがさくらインターネットの田中さんです。よろしくお願いします。 田中邦裕氏（以下、田中）：よろしくお願いします。 新野：さくらインターネット社長の田中さんは知っている人がたくさんいると思うんですけど、今日のテーマは「運用」ということで、簡単に今
30分で理解するセイバーメトリクスの教科書 - 野球を統計的に楽しもう - Lean Baseball
このブログをはじめた当初に「大好きな野球のデータ分析をもっと知ってほしい」というモチベーションでこんな記事を書きました. shinyorke.hatenablog.com 執筆・公開した5年前（2014年）と比べ, 野球に限らず, スポーツ界隈全体で公開データが増えた. 例えばこれとか（スポーツ以外も含む）. 野球に限らず, 様々な技術革新により, 扱うデータの種類・量が爆発的に増加（例：Baseball Savant）. データサイエンス・機械学習といったキャリアを歩む・志望して学習をする方が増え, 「そうだスポーツでやってみよう」という流れも盛ん. と（大変好意的な意味で*1）目まぐるしく状況が変わってきているのでここで改めて, セイバーメトリクス（含むスポーツの統計学）とは何か？ かんたんなセイバーメトリクスとむずかしいセイバーメトリクス 何をどう学べばよいのか？のヒントなど を最新
サーバレス時代のマルチテナンシーを考える ~ Thinking about multi-tenancy in the serverless era ~ #cm_showcase | DevelopersIO
サーバレス時代のマルチテナンシーを考える ~ Thinking about multi-tenancy in the serverless era ~ #cm_showcase 京セラのロボティクスチームがマルチテナンシーをどのように考え取り組んできたか、またその過程でクラスメソッドがどのように支援してきたかをご紹介します こんにちはおんづか(@onzuka_muscle)です。 本記事ではMAD事業部として1年以上前から支援をさせていただいている京セラ様のセッションをレポートします！ セッション概要 サーバレス時代のマルチテナンシーを考える ~ Thinking about multi-tenancy in the serverless era ~ 昨今、DX 言葉に代表されるように、ビジネスをデジタライズし、サービサーとしてソフトウェアを提供するニーズが高まっています。 しかし、サービ
検索アルゴリズム改善における機械学習の活用 〜MLOpsについて〜 - ぐるなびをちょっと良くするエンジニアブログ
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
こんにちは、Web チームの井手です。今日は私たち Web チームが作っている SSR フレームワーク(以下 FW)にについて紹介します。 記事を書くモチベーション 私たちのメインプロダクトである日経電子版においては k2 という自作 SSR 基盤を 2020 年から運用しています。SSR FW といえば多くの方が Next.js を想起すると思いますが、私たちは自作しています。一方で最近は Next.js の進化が凄まじく、自作 SSR 勢としても意識せざるを得なくなっています。もしかしたら「あぁ Next.js で作っておけばよかった」と思う時が来るかもしれません。特に k2 を保守する際には Next.js では実現できない機能を実現するために様々な手法や工夫を編み出していましたが、Next.js の進化に伴ってその必要性はだんだん減ってきているのを実感しています。そのためいつか N
2018年10月にDMM.com CTOに就任し、今月でちょうど1年となりました。自身の振り返りも兼ねて、当初どのように考えており、この1年どんなことに取り組んできたか、1年が経った今振り返ってどう感じるのか、そもそもなぜDMMで戦うのか、DMMの仲間たちや将来仲間になるかもしれない方向けに書いてみようと思います。 ちなみに前回まではmediumを使っていたのですが、今回からnoteになります。強い理由があるわけではないですがしばらく使って比較してみます。 就任当初のアクション昨年10月に就任してから初期のアクションはこちらの記事を読むのが一番良いかなと思っています。 記事からの引用ですが、 ・ヒアリング：組織改革にあたってはまず現状把握のため、一つの課題に対して複数視点からの意見を取り入れるべくヒアリングを徹底する。 ・パッケージング：取り組む施策は一つのパッケージとして誰もが理解しやす
大谷翔平、ドジャースと10年総額1014億円で契約合意 メジャー史上最高額、本人発表 大谷翔平 2023.12.10 Twitter Facebook LINEにおくる Bookmark エンゼルスから自身初めてFAに、オフの目玉と注目されていた エンゼルスからFAとなっていた大谷翔平投手が9日（日本時間10日）、ドジャースと合意したと発表した。10年総額7億ドル（約1014億円）の超大型契約で、メジャー史上最高額で北米プロスポーツ最高額となる。自身のインスタグラムで投稿するとともに、代理人のネズ・バレロ氏も発表した。 前例のない二刀流・大谷のFA争奪戦がついに決着した。大谷を射止めたのは、花巻東高時代から縁のあるドジャースだった。2013年から11年連続でポストシーズンに進出している強豪チーム。JD・マルティネス外野手がFAとなり、右肘手術のリハビリとなる来季は打者一本での活躍が期待され
SREのたっち(@TatchNicolas)です。 JX通信社では、月に一度「WinSession」というリリースした機能や検証したリリースについて開発チーム全体へ発表する機会を設けています。今回は自分が前回社内に紹介した「パパッと便利APIを作って5分でお手軽＆セキュアにデプロイする」方法について書きます。 TL; DR; Istio/cert-manager/Auth0を使って、任意のコンテナを認証つきで5分でデプロイできる仕組みを作った 設定はアプリケーションごとに独立し、中央集権的なリポジトリに依存しない*1 きっかけ プロダクト間で共通のAPIを認証付きでパパッと作りたいこと、よくありますよね？ でも、アプリケーションに毎回認証のための仕組みを組み込むのは骨が折れます。アプリケーションはあくまで、アプリケーションの関心ごとに集中させたい。すると、サイドカーコンテナを使って責務を分
タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
アーキテクチャレビューはじめました
FiNCの篠塚(@shinofumijp)です。4月からCTOを拝任しました。 本記事では1月から行ってきた「アーキテクチャレビュー」という取り組みについて紹介します。 FiNCではマイクロサービスを6年前から採用しており、順調にサービスも成長したおかげで、現在では稼働しているマイクロサービス数は50を超えるほどになりました。 マイクロサービスの採用により、限られた範囲での開発においては速度を落とさずスケールすることが可能という恩恵を得られましたが、一方でサービス数の増加は安定性、メンテナンス性をはじめとした様々な問題も生みました。その1つにアーキテクチャ全容の理解が困難になるという問題があります。例えば「ユーザが食事を投稿した際に食事アドバイスのプッシュ通知を送る」という機能1つをとっても、アドバイス管理サービスが食事投稿のイベントを検知するためにイベントを購読し、同サービスがアカウント
西川善司の3DGE：NVIDIAが投入する20 TFLOPS級の新GPU「A100」とはいったいどのようなGPUなのか？
西川善司の3DGE：NVIDIAが投入する20 TFLOPS級の新GPU「A100」とはいったいどのようなGPUなのか？ ライター：西川善司 カリフォルニア州の自宅で撮影したビデオで基調講演を行ったJensen Huang氏 去る2020年5月14日，NVIDIAは，同社CEOのJensen Huang氏によるオンライン基調講演で，新しい「Ampere」アーキテクチャ採用の新GPU「A100」を発表した。 Ampereとは，電流量の単位である「アンペア」の語源となったフランスの物理学者アンドレ＝マリ・アンペール（André-Marie Ampère）にちなんだ開発コードネームだ。NVIDIAは近年，新しいGPUアーキテクチャの開発コードネームに，歴史に名を残した科学者の名を採用している。GeForce RTX 20シリーズの「Turing」や，その前世代の「Volta」も同様だ。 SXM4
上記のうちRingBuffer0,1,2,3の実装をしました。 RingBuffer0,1は特に実装の違いはありません。 RingBuffer2はマルチスレッド化のためProducerとConsumerの構造体を追加しています。 RingBuffer3はアライン調整のために_paddingフィールドを追加しました。 MultiThreadはもとのコードはcpuset(0,1)決め打ちだったので、それに合わせたものとcore idが違う(0,2)も実施しました。 実行結果 リファレンス(AMD Ryzen 7735HS) リファレンスとなるkumagiさんのコードをg++ -O2でビルドしました。 RingBuffer0_single: 1000000000 ops in 939 ms 1064962.726 ops/ms RingBuffer1_single: 1000000000 ops
TypeScriptで関数型プログラミングしたい勢に推したいPipeline operatorの良さ - タオルケット体操
前置き Rubyで一瞬だけ湧いて出てきて消えたPipeline風演算子については忘れてください。あれはメソッド呼び出しの演算子であって今回取り上げるPipeline operatorとは似て非なるものです。 JavaScripterでも、Ramda.jsやRxJSを普段から使っている人には既知の内容だと思うのでこの記事は読まなくて大丈夫です。 ちなみに僕のステータスは関数型にわか勢なので認識に間違いがあったらなんらかの訂正もらえるとうれしいです。 Pipeline operatorとは 古くはML系の言語で定義されてF#やElixirの流行で一般に有名になった演算子こと |> です。 f a を a |> f と書けるようになります。 詳しくはこちらで: https://mametter.hatenablog.com/entry/2019/06/15/192311 覚えた方がいい理由 Ty
普通に書いたdiffは、関心がさまざまなところに散らばっていたたり、書きかけだったりで、意味のまとまりがないもので、それを整形して、説明を書いたものがPull Requestであり、コードレビューは、そのまとまりごとに、他人から見て理解可能であるという承認する行為、という理解をしていた。 なので、レビューを通すことは、動くことに賭けて、以後、動かなかったら責任を取る、みたいなイメージはあまり持っていなかった。 レビュワーの責任をどこまでと規定するか考えて、責任が大きい順に並べていくと レビューを通した以上、以後は私の責任です、という態度 職人魂を感じる 見たところよさそうに思いました、という態度 通りすがり風情を感じる まったくの無責任なので、工数最小化のために何が来てもapproveする、という態度 やっつけ仕事 かるぱさんのチームでは1になっているのかな(追記)こうなっている、というこ
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 AWS Well-Architected Framework 読んでますか？(挨拶) このベストプラクティス集はアーキテクチャの評価、設計時の参照先、費用対効果と信頼性が高いシステム構築にとても役立つドキュメントです。 基本となる6本の柱に加えて、特定領域にフォーカスしたレンズが用意されています。 そして、アメリカ時間の2022年10月21日に新しいレンズ Container Build Lens が追加されました。 ドキュメントを読み込んでうえで自分なりの解釈を加えて要約します。 AWS Well-Architected 6つの柱を知りたい サマリーの前に基本的な6つの柱を知りたいという方は以下のリンクを参照ください。 AWS Well-Architec
AI ラボの nagomiso です。最近趣味という趣味が「飲酒」と「VTuber*1 の配信を見ること」だけになっていて危機感を覚えています。 唐突ですが freee 会計の「自動で経理*2」には登録された明細の内容から勘定科目などを推測する機能が備わっていることをご存知でしょうか？ 例えば以下の画像のように「freee 独自の基準により推測」と表示されたら何らかの推測処理が裏側で走っています。 「自動で経理」で推測された勘定科目の例 皆さんご想像の通りこの推測の一部には機械学習を用いた推論エンジンが使用されています。推論エンジン自体は数年前から導入されているので話題としての新鮮味は薄いですが freee の機械学習に関する話題は割と門外不出状態だったので今回はこの推論エンジンについてざっくりとご紹介しようと思います。 推論エンジンの Ops 周り 「自動で経理」で使われている推論エンジ
ML design: 機械学習を確かならしめる「メタ」な枠組み - 渋谷駅前で働くデータサイエンティストのブログ
(By Gufosowa - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=82298768) ここ最近、事あるごとに僕が色々な人たちに提案している概念として"ML design"というものがあります。これは元々"ML Ops"（DevOpsと同じように機械学習のシステム基盤などを包含する考え方）に対して「機械学習モデリングを運用する上で注意すべき点って多いよね」ということで、その注意点をまとめたものを一つの体系として扱えないかという趣旨で僕が勝手に言い出したものです。 言い方を変えると、統計分析に適したデータを集めるための実験計画法(experimental design)があるのと同じように、機械学習に適したデータの集め方やその交差検証などのやり方についてもまとめた計画法(design)が
こんにちは！Google Cloudでオブザーバビリティを担当しているものです！Cloud Runでマルチコンテナーサポートがパブリックプレビューになりましたね！これはCloud Runでサイドカーを走らせられるということです！というわけで今日は1ユースケースとしてOpenTelemetry CollectorをCloud Runのサイドカーとして走らせてみようと思います。 TL;DR Cloud Runのマルチコンテナーサポートを使うと、アプリケーション側はOTLP送信の実装だけして、OpenTelemetry Collectorをサイドカーとして走らせて、テレメトリーをCloud Opsや外部のオブザーバビリティツールに送ることが可能になります。 構成 Kubernetesで使っているようなポッド内のサイドカーの構成をCloud Runでもできますよ、というだけなので、それをわかってる
こんにちは。取締役兼ACS事業部の責任者の上林です。 前回の記事「なぜDevOpsの発展にプラットフォームエンジニアリングが必要になるのか？」から間が開いてしまいました。前回お約束した通り、プラットフォームエンジニアリングに関して、海外での動向について少しお話をさせて頂ければと思います。掲題の「DevOpsは死んだ？」や「Googleは私たちに嘘をついた」など、過激なことが言われている側面も取り上げます。 まずは世界の動向ということで、少し私なりの解釈でプラットフォームエンジニアリングに関連するここ数年の歴史を見ていきたいと思います。見解についてはあくまでの個人の見解ですのでご了承ください。なお、プラットフォームという言葉で見てしまうと2011年にIDCさんが第三のプラットフォームを提唱したなど話が膨らんでしまう側面がありますので、ここではプラットフォームエンジニアリングに閉じて記載させて
弱小SIerの中心で、愛を叫ぶ - Qiita
プログラミングやIT技術の知識を披露しあうのがQiitaの醍醐味ってのは知ってるんだ。 だから、こんな売れない、煮ても焼いても食えないブログ記事みたいなのを書くのは決まりが悪いんだけど、ここらでどうしても言っとかないといけないなって、そう思ったんだよ。 少女には向かない職業 ブラック企業なんてものがまるで戦後の闇市みたいな存在だったころ、ぼくはこの業界に入った。知っている人はよく知ってて、知らない人は存在すら思いつかないような会社だけど、あの頃にしてはホワイトで、一次受けもできるとこだったわけ。 とは言え、年に一人はJR東日本や高層建築の”お世話”になっていたし、課に一人はお薬とカフェインがトモダチってやつがいたんだけどね。ぼくは今のところ彼らの”お世話”にはなっていないけど、お薬とは三年来のトモダチだ。 聡明なきみのことだから、とにかく、そういう環境ってことはわかってもらえたと思う。 ワ
RからPythonへのお引越しでわかること - Jupyterと世界の野球から理解する - Lean Baseball
サムネイルがまんま結論の一部です&タイトルでビビッと来たアナタ（+野球好き）が対象読者です. ちょっとやりたいことがあって, やりたいこと⚾のサンプルがたまたまRだった このあと自分で分析したりなにか作るんやったらPythonでやりたい せや！RからPythonに移植しちゃえば良いンゴ ってことで, 粛々とRからPythonに移植した時に気がついた事をサラッと書きたいと思います. 最初に断っておくと, RよりPythonが優秀（またはその逆）だから書き換える！って意味ではありません！ どっちが優秀だの, 好みは何だのといった所は（必要と思った箇所を除き）触れないのでご了承ください.*1 というわけで, 変に力んだりマウントを取ること無く, ごゆるりとおくつろぎながら読んでもらえると幸いです. TL;DR 数式を意識しながら読んだり, 統計的にいい感じにしたい時はRの方がしっくりくる. 一方
サイボウズOfficeのフロントエンド刷新（DOGOプロジェクト) をやってます！ - Cybozu Inside Out | サイボウズエンジニアのブログ
DOGOプロジェクトのマスコット こんにちは。サイボウズOffice開発チームの西谷です。 昨年より、私たちは”DOGO”と銘打ち、サイボウズOfficeのフロントエンド部分をNext.js App Routerを用いて刷新しています。 本ブログではこの刷新プロジェクトの概要やこれまでの取り組みについてご紹介します。 プロジェクト発足の背景 刷新の方針 刷新後のサイボウズOfficeを支える技術 アプリケーションフレームワーク モニタリング テスト インフラ CI・CD これまでの取り組み Next.js側で画面のルーティングを制御する リリースパイプラインの構築 全画面共通部分の実装 今後の取り組み メンバー募集しています！ プロジェクト発足の背景 サイボウズOfficeはこれまで、パッケージソフトウェアとしていくつものバージョンを重ね、クラウドサービスへ転身し、時代に合わせて様々な形に
「Intel Core i3 10100」をレビュー。Ryzen 3 3300Xに惨敗だが1万円で買える10100Fには期待 : 自作とゲームと趣味の日々
2020年10月23日12:00 （注：商品価格は執筆当時のものです。販売ページリンクにはアフィリエイトを含みます） 「Intel Core i3 10100」をレビュー。Ryzen 3 3300Xに惨敗だが1万円で買える10100Fには期待 wisteriear コメント(7) タグ ：#Intel_Core-S_10Gen#CPU_レビュー#レビュー#Intel_Core-S_10Gen_レビュー スポンサードリンク Intel第10世代Comet Lake-Sシリーズから、1万円台で購入できる4コア8スレッドのエントリーモデル「Intel Core i3 10100」をレビューします。 さらに前世代上位モデルのCore i5 9400や前世代同クラスのCore i3 9100、同コアスレッド数かつ同価格帯の競合モデルRyzen 3 3300Xと比較して、クリエイティブタスクやPCゲー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アイデアを最速で実現するAWSの使い方 低コストでスケール可能なサービスを作る方法
🎉 Launching Fig
内製化のポイントはビジネスとITの密な連携 AWSが推進する、塩漬けにしないためのBizDevOps
はてなの技術組織2021 - Hatena Developer Blog
Goの正規表現が遅いって言う人がいたから、（速い）正規表現エンジンを作ったよ
プレイヤーの破滅を目的とするゲームについて―『Balatro』の感想 - 名馬であれば馬のうち
BlenderとPythonとUnityを用いて、巨大な立体迷路を作成する。 - Qiita
LMQL(Language Model Query Language)概観｜mah_lab / 西見 公宏
The Linux Kernel Module Programming Guide
クックパッドでの機械学習開発フロー/ml-ops-in-cookpad
クラウドネイティブ時代にOpsの役割はどう変わる？ これからのインフラエンジニアに求められるスキル
日経電子版での自作 SSR フレームワーク基盤について — HACK The Nikkei
DMM CTO就任から1年、未来にむけて｜Matsumoto Yuki
大谷翔平、ドジャースと10年総額1014億円で契約合意 メジャー史上最高額、本人発表
IstioとAuth0でJWT認証付きAPIを5分でデプロイする - JX通信社エンジニアブログ
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
徐々に高度になるリングバッファの話、をRustで試した - Qiita
承認ではなくて、よさそう、と思って暮らしている - hitode909の日記
AWS Well-Architected コンテナビルドレンズを要約してみた | DevelopersIO
「自動で経理」の推論エンジンってどんなやつ？ - freee Developers Hub
Cloud RunでOpenTelemetry Collectorをサイドカーとして動かす
「DevOpsは死んだ？」はメーカーのポジショントークか？ - APC 技術ブログ