はてなブックマーク

Find credentials all over the place. Contribute to trufflesecurity/trufflehog development by creating an account on GitHub. GitHubで試してみる GitLabなどにも対応していますが、今回はGitHubで試してみます。 リポジトリの用意 空のリポジトリを作成し、2つのファイルをcommitします。 1つ目はcredential.jsonです。 GCPサービスアカウントと同じ構造です。（もちろん、本物ではありません。） // credential.json { "type": "service_account", "project_id": "project_id", "private_key_id": "abc123", "private_key": "-----

こんにちは。新米分析官のA.K.です！ 今回は、Looker StudioでBigQuery上にあるシャーディングテーブルを読み込んだ時のエラーとその対処方法についてご紹介します。 エラーの紹介 Bigquery側でサンプル用のテーブルを用意しました。テーブルはサフィックスに「YYYYMMDD」形式で日付を持っているデータです。中には適当な値を入れています。 作成に使用したクエリ例は以下の通りです。 create or replace table {dataset}.demo_{yyyymmdd} ( create_datetime DATETIME, category STRING, price INT64 ); insert into {dataset}.demo_{yyyymmdd} (create_datetime, category, price) VALUES ('2023-0

数理最適化案件とAI/機械学習案件とのアナロジー　「やってみなければわからない」中で僕たちDSはどうするか本記事では表題に関して、脳筋系ゆるふわVTuberこと入社2年目DSの岡部がお送りいたします。（DS=データサイエンティスト） 発... ◆【理論・実践】（2021年時点で）オススメの参考書 最大のアップデートはこちらの2冊です。参考書は時代の流れに合わせていいものが出てくるものですね。もちろん過去の参考書にもいいものはたくさんありますが、日進月歩の分野である以上、新しいものに軍配が上がりやすい構図はあると思います。 しっかり学ぶ数理最適化　モデルからアルゴリズムまで Pythonではじめる数理最適化： ケーススタディでモデリングのスキルを身につけよう 以下それぞれの所感です 【理論】「最適化分野全般を知るための『最適解』」とも言われている教科書 僕が最適化にハマっていた当時は様々な本

こんにちは！突然ですが、皆さんは下のような二種類の時系列データを判別できるような特徴量を抜き出したいときに何を考えますか？そしてどうやって特徴量を抽出しますか？ 私はパッと見て次の手法を使えば特性が取り出せると思いました。 ピークの数 → k近傍法 ノイズの大きさ → 分散統計量 時系列方向で周期成分の大きさ → Wavelet変換 しかし、当然これだけでは十分な数の特性を網羅できていないでしょうし、適切な特性を抜き出すためにパラメータチューニングを行う必要があります（例えば、Wavelet変換であれば適切な基底関数を選ぶ必要があります）。 このように時系列データの特徴量エンジニアリングは調べることが無限にあり、どの特徴量を算出するかを考えているだけで日が暮れてしまいます。また、抜き出す特徴量が決まったとしてもモノによっては計算が複雑で実装に時間がかかってしまう場合もあります。 そんなとき

この記事の中で、（無理矢理）重回帰分析を用いて最もスイーツ需要過多な駅を割り出したわけですが、この記事を読んで下さった方から「重回帰分析をExcelでやる方法を知りたい！」というリクエストを複数頂いたので、今更ながらその方法を解説したいと思います。 はじめに Excelで統計解析処理を行うためにはまず「分析ツール」というアドインを有効にする必要があります。 まずはExcelを開いて「ファイル」→「オプション」→「アドイン」を選択してください。 そして｢アクティブなアプリケーションアドイン」に分析ツールがない場合は、「管理」で「Excelアドイン」を選択肢し、「設定」をクリックします。 すると次のような画面になるので、「分析ツール」にチェックをいれ「OK」をクリックすると、｢データ」メニューに「データ分析ツール」というアイコンが表示されるようになります。 これでデータ分析の準備は完了です！

＜1＞エスノグラフィとはなにか 「エスノグラフィ」とは、デザイン思考と呼ばれるイノベーションを起こす方法や考え方の文脈で行われるユーザー観察の手法の一つです。 エスノグラフィは英語で表記するとEthnography。Ethno（民族）＋Graphy（記述）で日本語では「民族誌」と呼ばれます。 エスノグラフィは元々、文化人類学や社会人類学の中で、あるコミュニティにフィールドワークとして入り込み、その中での行動様式を記述し、価値観を見出していく手法として使われていました。 それを社会デザインやビジネス、マーケティングなどの課題解決に応用し、目に見える形の事例が紹介されたことから、近年、メソッドだけではなく関連企業の事例などが注目されています。 身近な事例を挙げると、コピー機の「緑色のスタートボタン」はエスノグラフィのアプローチから生まれたものです。 プロダクト開発にいち早くエスノグラフィのアプ