夏のブログリレー企画 この記事は『blessing software 夏のブログリレー企画』の2日目の記事です。 昨日はKanonさん@samurai_se の「Kotlinのプロパティ初期化処理、きちんと使い分けできてますか？」が公開されました。 明日はGANGANさん@gangan_nikki の「ESLintモジュールを用いてNuxt3 + ESLint設定を行う」についての記事です！お楽しみに！ はじめに Google Cloud(GCP)はGoogleが作ったクラウドサーバです。 Google Cloudでホームページは簡単に公開できます。 サーバレスで構築するのも簡単です。 しかし、「basic認証のようなPWで閲覧者を制限する & Webファイルはストレージに置く」というのは意外と難しい。 求める要件は以下 ・ID/PWで閲覧者を制限する ・好きな時にID/PW制限を解除して

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ

今回は pandas で DataFrame#groupby() したときに得られるオブジェクト DataFrameGroupBy が持つメソッド agg() について。 これまであんまり使ってこなかったけど、関数が渡せることを知って色々と便利に使えそうだなと感じた。 ちょっと前置きが長くなるので知っているところに関しては飛ばしながら読むと良いかも。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.4 BuildVersion: 17E199 $ python -V Python 3.6.5 下準備 ひとまず pandas` をインストールしておく。 $ pip install pandas $ pip list --format=columns | grep pandas pandas 0.22.0 Py

このエントリは2024/01/242024/05/27現在の情報に基づいています。将来の機能追加や変更に伴い、記載内容からの乖離が発生する可能性があります。 Azure API Management (以下、APIM) のバックエンドで、負荷分散できるようにバックエンドプールを構成できるようになった。2024/01/24現在Public Previewで、v2でも利用できる。 バックエンドは以下のドキュメントに記載がある。 API Management のバックエンド / Backends in API Management https://learn.microsoft.com/azure/api-management/backends バックエンドプール バックエンドで親子関係を作る。親子関係を構成するバックエンドは以下のように設定する。Poolの下にPoolを配置できないので注意。

2023/07/31現在の情報に基づいています。将来の機能追加・変更に伴い、記載内容からの乖離が発生する可能性があります。 問い合わせ 最近Azure OpenAI Service (以下、AOAI) にご執心のいつもの人から、以下のような問い合わせが届いた。 現在AOAIを使って社内システムを構築中である。東日本リージョンが使えるようになったことは承知しているのだが、AOAIからの応答が500や429だった場合に、再試行したり、別のAOAIインスタンスにフォールバックするような仕組みを検討している。どのレイヤーで構成するのがよいか？ 確かにAOAIを負荷分散する件は以下のエントリで記述したが、HTTPステータスに応じてフォールバック（というか別インスタンスに転送）する、という問い合わせははじめて受けた。 どうやら下図のようなことを実現したいらしい。 背景 現在のシステムアーキテクチャの主

「ビルトインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認ください。 使った環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Ubuntu Jupyter notebook（一部マジックコマンドなども利用しています） ※Windowsの場合、マルチプロセスなどで直接Jupyter上で動いてくれない（.pyファイルを経由すると動く）などのケースがあります。 参考 : Jupyter notebook never finishes processing using multiprocessing (Python 3) 並行

オブジェクト指向カンファレンス2024 クソコード動画『カプセル化 Mk-II』 https://twitter.com/MinoDriven/status/1771763728234537310 下記セッションで用いたスライドです https://fortee.jp/oocon-202…

さて、みんな大好きSpotifyですが、開発者向けにAPIが開放されておりいろいろなデータを取得できます。 これでちょっと遊んでみましょう。 以下すべて2024年3月時点での情報です。 Spotifyに存在する遊佐未森のスタジオアルバムSpotifyに存在する遊佐未森のスタジオアルバムは以下の14作品でした。 『水色』『roka』『ECHO』『庭』『small is beautiful』『honoka』『Bougainvillea』と『檸檬』が来てないみたいですね。 2024年7月時点で『roka』と『檸檬』以外のスタジオアルバムはSpotifyで聴けるようになりました。 よく聞かれている曲Top10Spotifyでよく聞かれている遊佐未森の楽曲Topは以下の順。 うーん、やっぱり「地図をください」がトップか。一般的な認知はそこで止まってるんだなあ。 2位以下は初期の名曲が並んでいて「まあ

あらまし ブラウザでコード譜を書くためのMarkdownベースのJavascriptライブラリ fumen の紹介です。 Github : https://github.com/hbjpn/fumen/ ドキュメント : https://hbjpn.github.io/fumen/ プレイグラウンド : https://fumenbook.com/ Wordpress Plugin: https://wordpress.org/plugins/fumen/ ずいぶん前(2013年〜)から公開していましたが、以前のバージョンは速度が遅かったり描画の純軟性にかける問題があったので、根本的な作り直しを行いました。また、fumenをコアにしたコード譜作成WEBサービスfumenbookも作りました。 モチベーション 譜面を作るツールは多くあるのですが、音符等まで含めた綺麗な譜面を作ることを主眼にお

内容、３行、マトメタ Colaboratory、ベンリ。 Bigqueryカラ、データトッテ分析。ノゾム。 3ツ、ヤリカタカイタ。ツカエ。 ということで、ColaboratoryからBigqueryにアクセスする方法を説明してみます。 主要な３つのパターンを記載します。 ColaboratoryのMagic Command 公式のBigQueryのクライアントAPI pandas経由のAPI もちろん、GCPのアカウントおよびBigqueryへのアクセスが許可されたユーザーアカウントが必要ですが、そこらへんは公式リファレンスをご覧ください。 Colaboratoryって何？状態であれば、下記の記事が詳しくまとめてくれてます。 【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory 0.前準備 ColaboratoryはGoogleアカウントさえあれば使えますが、GC

google colaboratoryは、github、gistなどと連動させることができ、colaboratory上で作成したファイルを気軽にこれらの外部のサイトで保存し、公開することができる。 まずは、colaboratoryの画面のファイルメニューから「GitHubにコピーを保存」を選択する。 初めての場合は、githubの認証があるが、認証が完了すると以下のような画面が表示されるので、保存先のレポジトリを選択する。 今回は、hhachiyaに作ったcolaboratoryレポジトリに保存してみたところ、以下のような拡張子が「ipynb」のjupyter notebookのファイルが保存された。 github.com 保存と言っても、githubなので、ちゃんとcommitされているので、以下のように更新履歴を管理できる。 さらに、githubに保存したファイルは、colaborat

はじめに Google Adwords APIは2020年を目処に廃止されるとの予定でしたが、 Google Ads APIの正式ローンチが大幅に遅れているらしく今年中に廃止されることはないらしいです。 https://developer.feedforce.jp/entry/2019/05/15/131054 Google Ads APIドキュメントもまだ未公開で閲覧できないため、 Google Adwords APIでコンバージョンデータをGoogleAdsにインポートする方法を試してみました。 全体の流れ 公式ドキュメント(広告のクリックを経由したコンバージョンのデータを Google 広告にインポートする)に記載されている内容をまとめると大きく3つ。 広告のURLに追加されるGCLID（Google クリック ID）付与の設定 コンバージョンアクションの設定 GoogleAdsへコ

Databricksのコアコンポーネントシリーズは一旦これで終了です。 Databricksにおける並列処理エンジンはApache Spark、ストレージフォーマットはDelta Lakeです。それではもう一つのコアコンポーネントであるMLflowは何に活用されるのでしょうか？本書ではMLflowとは何か、そのメリットは何かを説明します。 かつては、Jupyter notebookで機械学習モデルを構築し、モデルをExcelで管理していた身からすると、MLflowの無い生活には戻れません。 背景 過去数年を通じて機械学習モデルは様々なユースケースで活用されています。そして、大規模言語モデルの出現も起爆剤となっています。 しかし、機械学習の営みで重要なのは機械学習モデルだけではありません。 出典: https://papers.nips.cc/paper/2015/file/86df7dcf

PyTorch 1.11(torchtext 0.12)より自然言語処理で活用していたtorchtextのFieldやTabularDatasetなど便利な機能がなくなりました。PyTorch 1.10(torchtext 0.11)まではlegacyに移動されいましたが利用することは可能でした。しかし、PyTorch 1.11(torchtext 0.12)で完全に削除されてしまいました。 詳細については、以下に記載されています。 https://github.com/pytorch/text/releases/tag/v0.9.0-rc5 また、移行方法については以下に説明があります。 https://github.com/pytorch/text/blob/master/examples/legacy_tutorial/migration_tutorial.ipynb PyTorch

「よし、修正完了！」 「作業ブランチにpushしてプルリク作成するかー」 「git push っと」 「あ、やべ、今mainブランチだわ。。pushちゃった。。」 こんなことってありませんか？ 自分が進めているプロジェクトでは、基本的にプルリクエストが承認されなければmainブランチにマージできない運用となっています。 しかし、GitHubの設定によっては上記のようなミスが起こりうるので、あらためて設定を整理してみました。 プルリクエスト作成時に特定の人物をレビュアーに指定する GitHubのcode ownersという機能を使い、プルリクエスト時にチームメンバーなどをレビュアーに指定できます。 リポジトリに.github/CODEOWNERSというファイルを作成し、レビュアーに指定したいアカウント名を指定します。 .github/CODEOWNERS # @hoge, @fuga, @f

そんな機能いります？いや、そういわれると。。。セルのコピーでも、初めから＝B1を全範囲に入れとけばいいと言われたりもしますし。。。 でもまあ、それだと、一つが消えたりすることってあるじゃないですか。 ARRAYFORMULAの機能は体系立てて理解できてないです。 でも、メリットとしては、「一つのセルに入力するだけで展開できる」というところだと思います。 すごく必要ではないんですけど、ようやく希望通りのイメージできたので公開させていただいています。バグがありましたらご指摘くださいませ。 どんな時に必要なのか？経理の伝票インポートには使えると思います？経理業務で、会計ソフトに伝票をインポートするとき、弥生会計・freee会計などでは、同じ数字や日付などを複数行に入力しないといけないケースがあります。 こんな時に、一つのセルの入力で、特定の範囲に展開したいなという用途の想定でした。 段階を追って

イベントについて CA DATA NIGHTは、サイバーエージェントが主催するデータサイエンスに特化した技術者向けの勉強会です。機械学習、統計学、自然言語処理、コンピュータビジョン、情報推薦、検索、経済学など様々な専門分野のエンジニアやデータサイエンティストから技術・取り組みなどを紹介いたします。 第3回のテーマは「ビジネスインパクトを引き出すデータサイエンス」です。 事業を成長させるために日々奮闘しているデータサイエンティストが、市場分析・マネタイズ・製品開発など、さまざまなビジネスプロセスにどのように組み込まれているかの具体例を紹介します。データ駆動型の意思決定が企業の競争力をいかに高めるか、地道な実践と多角的なアプローチ方法によって考え出した事業成長の鍵を握るためのデータ活用について、3つの事業のケーススタディとともにご紹介します。イベントの最後には懇親会を準備しています。お楽しみに