拒否ポリシーでBigQueryのテーブル削除を無効にする
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回ご紹介するリリースは、2023年8月7日にサポートするようになった、拒否ポリシーを介してのアクセス拒否機能です
ラテン語をはじめたら英語が使えるようになった話｜氷壁にアイスアックス
ラテン語学習をはじめたら、なぜか英語がめちゃくちゃ使えるようになってきました。 英語の学習法としては意味が分からなさすぎる。けれど有用性はあると確信しているので、英語を向上させている中で停滞を感じている人のちょっとした気晴らしにでもなれば幸いです。 ラテン語を学び始めて半年弱が経つのですが、先日たまたま英語を話す機会があり、自分でもびっくりするくらい英語が口をついて出てくるようになっていました。 読み書きは使っているけれどしゃべりになると急激に英語レベルの落ちる、典型的な日本人。日常でそんなにしゃべる機会のないまま過ごしていたのに気づいたら向上していたという点がポイントです。 もちろんこの期間、特に英会話に通ったりもしていないです。 最初にまとめるとなぜラテン語学習が英語の上達につながるのか？を自分なりに考えてみた結果、以下のような構造だと推測しています。 ・知らない単語がなんとなくわかる
3年の旅路を経て、University of London で Computer Science を学ぶ - Velocity
"a long journey, abstract, light of hope, delightful, a small walking person" 思い返すと、長い旅路は2019年から始まった。 tmkk.hatenablog.com 「コンピュータサイエンスを学びたい」 – そう思ってから3年もの月日が経った。 Coursera や UoPeople という手段を知ってから、色々なことがあった。Coursera でいくつかコースを取ってみたり、UoPeople に仮入学したものの英語力不足で最終試験に落ちたり。 UoPeopleの入学を見送ってCourseraで勉強することにした - Velocity 満を持してUoPeopleに入学しようと思ったら、英語力が足りなかった話 - Velocity それでも、コンピュータサイエンスを体系的に学びたいという欲望が消えることは無かった。
ライブコーディングで GitHub Copilot を使うべきかどうか - TechとPoemeの間
TL; DR 場合による "How to" を教えるライブコーディングの場合は、切ったほうが良い 設計議論を中心に行うライブコーディングの場合は、使うと良いことがある 文脈 最近の仕事の中で、プログラミングを学んでいる人々の前で、オーディエンスのスキルアップを目的としたライブコーディングを実施したり、ライブコーディングセッションのアレンジをしたりファシリテーションをしたりしている。少々性格の異なるライブコーディングを数パターン行うなかで、「ライブコーディングで GitHub Copilot を有効にするべきかどうか」という問いに答えるに当たって一つの指針が見えてきたので書き残しておく。 How to を教えるライブコーディングでは Copilot を切る 自分が担当したライブコーディングは、特定のテスティングフレームワークの使い方やテスト駆動開発の講義だったのだけど、このような「特定のツー
私とAWSの15年 あるいはThe Bezos Mandateの話 - NRIネットコムBlog
こんにちは佐々木です。 本日よりNRIネットコムのメンバーによるイベント、「APN AWS Top Engineers/APN Ambassadors Week」を開催します！！！一番手を担当することになったので、昔を振り返りながらAWSについて考えてみます。 最初のAWSはいつだったのか？ 振り返るうえで、まずAWSは始まりはいつだったのかを探ってみましょう。最初のAWSを探ろうとすると、もはや考古学の領域になりそうですが、一般的には2004年のSQSを持って（今の）AWSの始まりとしているようです。この記事を書くにあたって裏を取ろうと思って『最初のAWS』でググると、過去に自分が寄稿した記事が出てきました。本当に、ありがとうございます。 dev.classmethod.jp ただ、AWSの名前で一般的に認知されだしたのは、S3やEC2が登場した2006年です。私がAWSに出会ったのも2
Amazon CodeCatalystが “Issueへのタスクの追加のサポート” を開始しました | DevelopersIO
NTT東日本の中村です。 みんな大好きCodeCatalystですが、Issueにサブタスクを追加できるようになりました。 CodeCatalystの概要 CodeCatalystは、クラウドベースの統合開発環境であり、ソースリポジトリ、Issue管理、クラウドIDE、CI/CDプロセスなどの開発に必要なサービスを一つの認証で簡単に利用できる、開発者向けのサービスです。 Amazon Qとも統合されており、Issueを読み取ってAIがコード群を生成する機能開発等も備わっています。 最初はPull-Requestが日本語に対応していなかったりと荒削りでしたが、徐々に機能が追加されている印象です。 "Issueへのタスクの追加" とは ずばり、課題管理のサブタスク（子課題）を示します。 CodeCatalystはIssueという一つの概念しか無かったのですが、そこにサブタスクの概念が加わったと
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！ - Qiita
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！AWSragbedrockCohereCommand-R+ GW真っ只中の4/30、Amazon BedrockにCohere Command RとCommand R+がやってきました！！🎊🎊🎊 Command R+はただのテキスト生成の枠を超えたAPIになっています！（と勝手に解釈しています！！） いろいろ特徴がありそうですが、まずは、RAGをやってみました。 なにがすごいの？ Command R+のInvoke ModelのBodyが特徴的で、 documentを渡す専用項目があります 。
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
BigQueryでGROUP BY ALLがプレビューになりました | DevelopersIO
Google Cloudデータエンジニアのはんざわです 2024年2月26日にGROUP BYに関して大きく2つのアップデートがありました。 リリースノート： February 27, 2024 1つ目は、以前に紹介したGROUP BY GROUPING SETSなどの3つの関数が正式にGAになったアップデートです。 2つ目は、今回紹介するGROUP BY ALLが新たにプレビューとして追加されたアップデートになります。 さっそくGROUP BY ALLを簡単に紹介し、実際に触ってみたいと思います そもそも GROUP BY ALL とは 簡単に説明するとSELECT句から集計関数などを除く全てのカラムでグループ化してくれます。 今まで GROUP BY col1, col2, ...や GROUP BY 1, 2, ... のような形で個別に指定する必要がありましたが、そのような手間が省
Rで論文を書く実践的なテクニック集 (tinytable編)
2022年に書いたRで論文を書く実践的なテクニック集のテーブル編をtinytable版で書き直したものです. Quartoで書かれた英語版もありますので, そちらも参考にしてください. kableExtra, gt から tinytable の時代へ 近年, Rで表を作成するためのパッケージとして kableExtra と gt が人気を集めてきました. 私は kableExtra を使って論文（\LaTeX）で表を作成し, gt を使ってスライド (revealjs) で表を作成しており, 以前行ったRワークショップやZennでの解説記事でもkableExtraを念頭においておりました. しかし, 2024年4月現在, tinytableが従来のパッケージと比べ軽くて使いやすく, 今後のスタンダードになっていくと確信しており, 以前書いた記事を更新する必要があると考えました. この記事で
[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
The Web Conference 2020 Report -多目的最適化における確率的ラベル集約-
kcp: Kubernetes APIs Are All You Need #techfeed_live / TechFeed Experts Night 28th
BigQuery DataFrames と Vertex AI Pipelines による機械学習パイプライン構築
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery DataFrames と Vertex AI Pipelines による機械学習パイプライン構築方法について、ご紹介いたします。 この記事はこんな人にオススメ 機械学習パイプラインにおける実行基盤を検討さ
これでわかるB-treeアルゴリズム / B-tree algorithm
・二分探索木 (binary search tree) ・AVL tree ・B-tree ・B+ tree について順を追いながら説明。 流れを細かく書いたので、わかりやすいと思います。
Rustを勉強したら低レベルが理解出来る！！！わけねえだろ
おれはOSを書く仕事をしたこともあるし、今までの仕事はほとんどがいわゆるシステムソフトウェアだった。しかし多くの人はウェブアプリケーションとかそういうところからキャリアをスタートさせるみたいで、そういう人の中でちょっと意識の高い人は「自分はアプリのことしかわからないから低レベルのことを勉強しなきゃならないな」となる人がいて、例えば伊藤直也さんなんかはがんばってLinuxカーネルの勉強をしていたようである。というかそういう有名人に触発されて、低レベルもやらなきゃなみたいな風潮があるといってもよい。そもそも「低レベルとはなんぞや」みたいなところがおれの中にはあるが、OSがどう動いてるかとか、コンパイラは何をしているのかとかは、基本なのでざっくりとでも知っておくべきだとは思う。 ただ、そこからどう捻れたのかわからないが、「Rustは低レベルに入門する最後のチャンスだ！」「Rustを勉強すれば低レ
QiitaのGNNタグ付けレコメンドにテキスト情報を追加してみる - Qiita
前身となった記事 2つを掛け合わせたような記事です． タグ同士のリンク情報に加えて，記事内容をベクトル化したものを加えることで，さらに良い推論結果が出せるのではないかということで実践してみることにしました．Heterogeneous Graphをカスタムデータに使ってみたいという方におすすめです． 以下の流れで実装を進めていきます． データセットの用意 テキストデータをベクトル化 グラフデータを用意する 学習 評価 実装のnotebookはgithubに挙げてますので，記載していない細かい部分が気になる方はそちらを参照してください．(あまり精査してませんが) https://github.com/taguch1s/qiita-tag-recommend/tree/main いろいろ細かい部分はスルーしてとりあえず実装までこぎつけた感じなので，気になる部分がありましたらご教授いただけますと幸
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
夏のトップカンファレンス論文読み会 / InnovationMeetup20170918csn_cvpr2k17
Apache Beam Python SDK でパイプラインのテストコードを書く - public note