課題 Lokiとはなにか？ ログ転送の仕組み ログ可視化の仕組み 使ってみてわかってきたこと Grafanaでログをササっとみられるのは楽 『indexを作らない』の意味 ログから作成するメトリクスと統計情報 nginx-module-vts GrafanaのSlackが温かい 現在のLoki環境 VMの情報 コンテナの構成 負荷状況 今後 こんにちは！インフラユニットの小林です。 今回はログ監視ツール『Loki』の導入事例を紹介をします。 課題 これまでもログ可視化集約ツールを使っていたのですが、メモリ使用量の多さや気が付いたら落ちていたりして、VMのランニングコストや運用負荷が課題とされていました。 またUIが非常にリッチなツールだったんですが、我々のやる事と言えば『ApacheやNginxのログからステータスコードやリクエストタイムを可視化』したり、『アプリケーションでエラーが起きた
データサイエンスのための統計学入門 第2版
データサイエンスにおいて重要な統計学と機械学習に関する52の基本概念と関連用語について、簡潔な説明とその知識の背景となる最低限の数式、グラフ、RとPythonのコードを提示し、多面的なアプローチにより、深い理解を促します。データの分類、分析、モデル化、予測という一連のデータサイエンスのプロセスにおいて統計学の必要な項目と不必要な項目を明確にし、統計学の基本と実践的なデータサイエンス技法を効率よく学ぶことができます。データサイエンス分野における昨今のPython人気を反映し、第1版ではRのみの対応だったコードが、今回の改訂でPythonにも対応。コードはすべてGitHubからダウンロード可能です。 日本語版まえがき 訳者まえがき まえがき 1章 探索的データ分析 1.1 構造化データの諸要素 1.1.1 さらに学ぶために 1.2 テーブルデータ 1.2.1 データフレームとインデックス付け
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 はじめに こんにちは。SREの二橋です。最近の楽しみは、キャンプと釣りの動画を見ながら、お家で妄想を膨らませることです。 この度、TypetalkのEC2のインスタンスをインテルプロセッサを搭載したM5系からARMベースのAWS Graviton2を搭載したM6g系に完全移行しました。そこで、Graviton2の概要から移行しようと思った理由、作業内容、移行の効果などをお伝えしたいと思います。 AWS Graviton2とは？ Graviton2はAWSがArm Neoverse コアをベースに独自開発したプロセッサです。2020年夏にAmazon EC2で一般用途向け(M6gとM6gd)、コンピューティング最適化(C6gとC6gd)、メモリ最適化(R6
BOOTHで販売されている、VRChat向けを想定した3Dモデルの市場概況について結果を考察を述べていきます。なお、以下の解析はすべて2021年12月12日 時点に行った解析を元にしています。 アバター販売本数 現在、2,692 体のアバターモデルが販売されています。 これはサブカテゴリが「3Dキャラクター」となっている販売商品の数です。ちなみに、昔はアバターも衣装も「3Dモデル」という一本のカテゴリに混在していて検索が大変でした。現在は、サブカテゴリが出来たおかげでこのあたりがだいぶ検索しやすくなっています。 ただし、厳密には集計漏れがあります。サブカテゴリ設定前に販売開始をして、登録をし直していない商品は「その他」のサブカテゴリになっているからです。 アバター販売価格 すべての販売アバターの価格をヒストグラムにしました（図1.）。十万円以上の商品は極めて少ないことから（販売避けのダミー
【 FX情報】トレンド転換のサイン『ダイバージェンス』を各通貨で確認？ダイバージェンスとは……？ - ローソク足研究所
（更新2020/01/31） どーも！ 家出てすぐ道に出たら『っ！！人が倒れてる！？』と思ったらゴミ袋でした。 はい！ 今日は1週間丸々サボった外国為替市場を見ていくよ！！ 最近は仮想通貨の話しばっかりしていたね。 すまんすまん(//∇//) （だって儲かるんだもん） あ、最近思ったのがこの記事を読んでくれる方がまだトレードしたことない人の訪問が多いので、この記事読んで少しでも『資産運用』に興味を持ってくれたらと思いますo(･x･)/ 『資産運用』って響きはなんかリスク少なさそうだよね。『投資』ってなるとリスクがもれなくついてきそうなので『資産運用』という言葉を使ってみましたヾ(๑╹◡╹)ﾉ" 実際に株や外国為替取引することは『投資』なのですが、『資産運用』という言葉選びで行うだけでも『資金管理』が上手になると個人的に思っています_(┐「ε:)_ まーこの記事読んでチャート分析に興味持った
「つよいエンジニア」になるためのオープンソースの使い方をはじめ、OSSへの貢献を推奨している企業のエンジニア文化や、コミッター視点からみたOSSの未来について話す「TECH HILLS～まつもとゆきひろ氏と考える つよいエンジニアになるためのオープンソースの使い方～」。ここでキャディ株式会社の河合氏が登壇。機械学習OSSの現状と未来について話します。 自己紹介 河合俊典氏：「機械学習OSSの変遷と未来」と題して発表します。「ばんくし」として活動しています。今、キャディという小さい製造業向けのITベンチャーで機械学習とかデータサイエンスをやるチームを立ち上げて、そこでリーダーをやっています。 前職はM3という医療ITの会社ですが、そこのフェローをやらせてもらっています。私は“ギルド”と呼んでいますが、趣味でそういった開発が好きな人で集まって開発をするチームを組んでいて、そこの主宰もやっていま
データサイエンティストが開発したプログラミング不要の分析ツールnehanでSalesforce 商談データの勝率を予測してみた - CData Software Blog
はじめに CData Japan技術ディレクターの桑島です。本記事では、nehanにSalesforce Sales Cloudの商談データを取り込み、各商談の勝率を予測する方法をご紹介します。 本記事の構成は以下の通りです。 はじめに nehan とは 前提 手順 CData Sync 概要 CData Sync製品のインストール ライセンスのアクティベーション Salesforce へのコネクションを作成 PostgreSQL へのコネクションを作成 ジョブの作成 ジョブの実行 PostgreSQLに同期した商談（Opportunity）データを確認 nehan 概要 SQLビルダーを利用したデータソースの作成 予測モデルを作成 モデルで予測値を算出 まとめ nehan とは nehanは、データサイエンティストが開発したプログラミング不要の分析ツールです。データの前処理から予測モデル
最近、VTuberのスーパーチャット（投げ銭）額がどんどん伸びています。 例えばにじさんじは2019年に5億円以上のスーパーチャットを投げられたそうです。ホロライブの湊あくあは2019年だけで推定3400万円投げられています。面白いことに男性ライバーでも数千万円投げられている人も居ます。 あーVTuber儲かっていいなー！俺もVTuberなるかなーー！！！ と思ってる人に、この記事で冷水を浴びせていこうと思いますが・・・ いや、どうなんでしょう？ひょっとしたら本当に儲かってるのかも？ 参考 https://virtual-youtuber.userlocal.jp/ https://playboard.co/en/youtube-ranking/most-superchated-all-channels-in-japan-yearly 注意フェルミ推定がかなり多いので、話半分にお願いします
はじめに この記事では、Linuxカーネルに実装されているパケットフィルタであるeBPFを使ったトレーシングツール、具体的にはDTrace, SystemTap, bpftrace,bcc-toolsなどについて紹介させていただきます。この記事の目標を以下に示します。 DTraceやSystemTapを簡単に説明し、eBPFを用いたトレーシングのうれしいところをお伝えします。 bpftraceやbcc-toolsといったツールの簡単な使い方を紹介し、細かいツールを調べる上での足がかりになるようにします。 公式の資料がかなり充実していることをお伝えします。この記事で使っている画像はそこから使わせていただいています。 eBPF概説 eBPFは、Linuxカーネル3.15からBPF(Berkeley Packet Filter)の拡張仕様として導入されました。BPFはこれまでにもパケットフィルタ
お詫びと訂正 タイトルにて「ワンセグチューナー」と表記しておりますが、正しくは「ワンセグチューナーの技術を応用したSDR受信機」となります。お詫びして訂正いたします。 本題 さて、茶番はこのあたりにして(今回は使わなかったと言うだけで、本物の「ワンセグチューナー」でもフルセグを受信できるはずなので、あながちタイトが誤っているというわけではないのですが、茶番をやりたいための茶番でした)。 今回はデジタル変調の復調を学習することを目的としているので、それ以外の部分(例えば受信機のハードウェアや、リードソロモン誤り訂正のような情報理論的分野)には触れません。また、限定受信を目的としたスクランブルの解除や映像の復号にも一切触れません。一方で、海外の人が作ったGNU Radioのソースコードをコピペして「受信したよ！」と言っても学習という意味では全く意味がありませんから、ISDB-Tの復調に関しては
はじめに UKIです。 Kaggleで開催されたJPX Tokyo Stock Exchange Predictionのサブミッションが終了しました。本コンペの結果が出るのは3ヶ月後ですが、記憶が鮮明なうちにコンペを終えた感想をまとめておきたいと思います。 コンペ仕様 ざっくり要約すると、 日本株2000銘柄の中から、 毎日200銘柄ロング、200銘柄ショートし、 3カ月間の日次損益のシャープを競う 運ゲーになりがちなファイナンスコンペですが、以下の点で問題設定に工夫が凝らされていると感じました。 買い入れ銘柄数を大きくすることで異常値の影響を軽減する 例えば買い入れ銘柄が少ない場合、運よくSTOP高銘柄を引き当てたプレイヤーは大きなアドバンテージを得ることになります。買い入れ銘柄を大きくすることで異常値の影響を軽減し、予測性能の実力を可能なかぎり測れるよう配慮されています。 評価指標がシ
結局、統計モデリングとは何なのか - Qiita
先日、つれづれなるままに 時系列分析の勉強法の記事『統計初心者が時系列分析を学ぶための勉強法』 を書き殴ってみたところ、反響の大きさに驚きました。 正直、時系列分析なんてかなりニッチな分野だ（3人ぐらいしか読まないだろう）と思ってたからです。 ステイホームしているみなさんが、暇だから時系列分析を使ってFXで一儲けしようとでも考えているんでしょうか。 時系列分析のトピックである、状態空間モデルも統計モデリングの一種なわけですが、本日は、「統計モデリングとは何なのか」について、あらためて考えてみたいと思います。 統計モデリングといえば、みんな大好き緑本『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』です。 緑本はたしかに素晴らしい本ですが、緑本を読んだだけでは、「何が統計モデリングで、何が統計モデリングではないのか」「統計学における
北海道の部屋の方が東京よりもちょっと暑い
北海道在住の大学生。演劇サークルに所属していますが、やったことがあるのは音響担当・舞台装置担当・当日宣伝担当で、一度も演技をしたことがありません。好物はパステルのなめらかプリン。 前の記事：なんでも勝手にマリトッツォ 北海道の家がアツい(気温的に) 最近は北海道自体の気温もじゅうぶん暑いのだが、コンスタントに暑いのは家の中だ。 エアコンなどの空調機器の備付けがない家が多く、うっかりすると外気温と同じかそれ以上の室温になってしまう。休みの日に昼間に目が覚めると、部屋がサウナみたいでびっくりする。 32.2℃を示す札幌駅前の温度計 使い込んだ目ざまし時計の写真で失礼しますが、これが室温。外気温とほぼほぼ同じになっている 僕が通っている大学は北海道外からの進学者が多いのが特徴なのだが、やはり本州勢でも夏はバテている。本州と遜色なく、いや、それ以上に家が暑くなるのだろう。 北海道の家 V.S. 東
気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 大まかには次のような流れになっています。 年最大日降水量のヒストグラムを作成する 分布関数を当てはめる 分布関数の当てはまり具合を確認する 当てはめた分布関数から確率降水量を算出する 今回は、上記3. をとばして、4.の「当てはめた分布関数から確率降水量を算出する」を実際にやってみましょう！ 再現年と確率降水量 気象庁の解説ページにもあるように、再現年 $T$ は $$ T = \frac{1}{1 – F(x; \theta)} $$ で与えられます。ここで、$F(x; \theta)$ は確
この記事では、2020年に発表された論文や記事のうち、特に興味深かったものを合計85紹介します。下記12のトピックに分けて紹介していますが、あくまで便宜上の分類です。私の個人的な2020年総括は以下の通りです。 --------------------- 個人的2020年総まとめと所感 --------------------- 2020年はTransformerが大躍進しました。自然言語処理では大規模なTransformerモデルであるGPT-3が高い精度を多くのタスクで叩き出しています。大量のデータと大量のパラメータを使って画像分類でも最高精度であったBig Transferを超えるものが出てきています。 差別的要素や著作権の問題のないフラクタル画像データセットはAIの倫理がさらに重視されるであろう今後は、非常に重要なものになってくるかもしれません。ImageNetにアクセスでき
はじめに ある乱数生成器が N 個のセットのなかからランダムに一つを返すとき、その返り値をそれよりも小さな範囲に収まるようにしてから利用したい、という要件にたまに出会います。例えば、[0, 2^32) の範囲内の乱数を生成する乱数生成器を利用できる環境で、サイコロの目をランダムに計算するには、何らかの方法を使って [0, 6) の範囲の乱数に収める必要があります。このような getrandom(2) や /dev/urandom を使った乱数生成器の例以外にも、例えば Int64 のユーザー属性値を入力にしてユーザーを 10 種類に均等に分類したいという類の要件を過去にレビューしたこともあります。 ある値域をより小さい値域にマップするために、よく利用されるのは剰余（モジュロ）演算です。乱数生成器の例でいえば、その返り値を X とすると、 X % 6 を計算すれば結果は [0, 6) に収ま
ZOZOTOWN検索における精度評価手法の運用で見えた課題とその改善アプローチ - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。検索基盤部では、ZOZOTOWNのおすすめ順検索の品質向上を目指し、機械学習モデル等を活用しフィルタリングやリランキングによる検索結果の並び順の改善に取り組んでいます。 ZOZOTOWN検索の並び順の精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com 検索基盤部では新しい改善や機能を導入する前にA/Bテストを行い効果を評価しています。A/Bテストの事前評価として、オフラインの定量評価と定性評価を実施しています。これらの評価によりA/Bテストの実施判断をしています。 おすすめ順検索のフィルタリング処理の効果検証として導入したオフライン定量評価の方法については以下の記事をご参照ください。 techblog.zozo.com 以前の記事で紹介したオフライン評価を日々運用する中で、幾つか課題点が見つかりました。本記事では、そ
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． 機械学習入門講座第33回です．(講座全体の説明と目次はこちら) 追記) 機械学習超入門本番編ではLightGBMについてさらに詳しく解説をしています．勾配ブースティング決定木アルゴリズムのスクラッチ実装もするので，さらに理解を深めたい方は是非受講ください:) 前回の記事で決定木の勾配ブースティングアルゴリズムであるXGBoostを紹介しましたが，今回は同じ決定木の勾配ブースティングの別のアルゴリズムであるLightGBMについて解説します． LightGBMはXGBoostが発表されてから2~3年後に発表され，今やXGBoostよりも高速で高精度なアルゴリズムとして認識され，XGBoostに代わる最強のアルゴリズムの一つとなっています． XGBoostと同じ決定木の勾配ブースティングをベースにしているの
Pythonでネットワーク構造のデータを扱いたい(networkxを扱う) - あれもPython,これもPython
データ分析の仕事をしていると、基本的な表形式のデータ以外では表現しにくい現実事象が存在します。要素と関係性で表現されるネットワークもその一つです。 個人的にはこの形式のデータは、示唆までたどり着きにくいため、ビジネス的な分析とは言いにくいな、とは思います。ただし、探索的にデータを理解したり、プロダクトの機能として使えることは多い分野だと思っているため、タイトルはあえて「データを扱う」にしました。 ネットワーク分析とは networkxはグラフ(ネットワーク)に関するデータの保持/操作をしやすくするパッケージです。 なお、情報がきちんとまとまっているのは以下の書籍です。(クリックするとAmazonにとびます) （感染症のモデルであるSIRモデルや、Word2Vecとの組み合わせなど、応用も多く非常に面白かったです。 ネットワークは繋がりを持つ要素(=ノード)と、その繋がり(=エッジ)で表現さ
良いグラフと悪いグラフの違いとは？
棒グラフ、円グラフ、ヒストグラム等、データを視覚的に示すためのグラフにはさまざまな種類があります。どのデータをどのグラフで示せばいいのかについて、ジョージア大学応用遺伝子技術センター博士研究員のチェンシン・リー氏が解説しました。 GitHub - cxli233/FriendsDontLetFriends: Friends don't let friends make certain types of data visualization - What are they and why are they bad. https://github.com/cxli233/FriendsDontLetFriends ◆1：棒グラフ データの平均、分散、分布を示すときに棒グラフ(左)を用いると、データの分布がわからなくなります。これを避けるために箱ひげ図や散布図を用いるのが良いとのこと。 ◆2：サ
『仕事の説明書』はこれから仕事で独り立ちしたい若い人たちにこそ読んで欲しい「仕事というゲームの攻略本」 - 渋谷駅前で働くデータサイエンティストのブログ
以前SQL黒魔術本をご恵贈いただいた旧友の田宮さんから、ちょっと異色な本をご恵贈いただきました。その名も『仕事の説明書』。副題に「あたなは今どんなゲームをしているのか？」とあるように、世の中の仕事をある種の「ゲーム」とみなして、これをどう攻略していくか？と説く意欲作です。元々彼とは前々職時代にアナリストとして一緒に働いたこともあるのですが、本書の中にもデータを分析していかにアクションに繋げるかという話題がふんだんに含まれています。 仕事の説明書〜あなたは今どんなゲームをしているのか〜 作者: 田宮直人,西山悠太朗,パブリック・ブレイン出版社/メーカー: 土日出版発売日: 2019/07/08メディア: 単行本この商品を含むブログを見る 実は、こちらの一冊に関してはまだゲラの段階で田宮さんから「こんな本を出してみようと思っている」という相談を直に受けたことがあり、そのご縁で今回ご恵贈いただい
可愛かったのでアイキャッチ画像にしました ちょっと画像検索が必要になることがあり、良い機会なので復習しようということになりました。 過去にはこんなのをやってみたりしました。 www.nogawanogawa.com 今回は改めて、主にこちらの資料を参考に画像検索に関して復習してみました。 docs.google.com 今回はこちらを参考にアプリを作ってみたのでそのメモです。 画像検索 TBIRとCBIR CBIRの実現方法 画像検索として使用する特徴量 RGB Histgram Average Hash Perceptual Hash SIFT SURF NN Embedding 類似度の評価方式 Bag of keypoints Earth Mover's Distance SVM ハミング距離 コサイン類似度 要するに 作ってみる 対象画像 画面まわり 検索周り pHash - ハミ
話題の評点分布についての自分用まとめです。 特に統計的な議論においては各々想定している状況が違っているようなので整理してみました。 筆者は統計というよりは確率の人間なので、ベイズだとかには触らずに確率変数の演算ばかり使います。 大数の法則が使えるような状況 店 の真の評点 が宇宙のどこかに存在していて、レビュワー の 店 に対する評点 は平均 を持つ独立同分布な確率変数と考えます。 店 の評点 は 件のレビューが付いていたときに と書けます*1が、これはレビュワーが増えていくと に収束することが知られています。 確率変数である を仮に に置き換えて考えれば、もはや評点分布は何ら確率的な性質を持ちません。 宇宙のどこかに存在している の値は3.6が多いかもしれませんし3.8が多いかもしれませんし、そうでないかもしれません。 レビュワー数は実際には有限なので収束せず幾らかは確率的なところがある
オジサン、iPad Proでの写真編集が楽しすぎてM2 iPad Proに買い替えたくなる - 漂うマークアップエンジニア
オジサンの趣味は写真撮影で、複数のミラーレスカメラを所有している。 撮影データは基本RAWで撮影し、Adobe Lightroomで現像を行なっているが、ある時iPad Proで現像してみたところ、非常に楽しくてすっかり病みつきになってしまった。 今回はそんなオジサンのiPad ProでのRAW現像体験をお伝えするとともに、さらに良い現像体験を味わうべく、新型M2 iPad Proを買うかどうか悶絶する様を記しておきたい💦 iPad ProでのRAW現像の何が楽しいかというと、タッチパネルを使った操作にある。 オジサンの使っている、現像アプリがAdobe Lightroom CCである。 Lightroomがクラシックとクラウド対応のCCがあり、iOS対応しているのはCCの方である。 www.adobe.com 露出補正のパラメーターやヒストグラムをApple Pencilや指で調整する
2023年1月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 1月は49本のピックアップになりました。最近はデフォルトのパラメーターが変わるアップデートがチラホラあって、よりAWS利用者が安全に利用できるようになっている感じがしますね。 ちなみにAWSの最新情報をキャッチアップする
ネイティブツールと外部ツールに基づいた Amazon RDS PostgreSQL のクエリの最適化とチューニング | Amazon Web Services
Amazon Web Services ブログ ネイティブツールと外部ツールに基づいた Amazon RDS PostgreSQL のクエリの最適化とチューニング PostgreSQL は最も人気のあるオープンソースのリレーショナルデータベースシステムの 1 つです。30年以上の開発作業の成果である PostgreSQL は、多数の複雑なデータワークロードを処理できる、信頼性が高く堅牢なデータベースであることが証明されています。Oracle などの商用データベースから移行する場合、PostgreSQL はオープンソースデータベースの主要な選択肢と見なされています。 AWS は、PostgreSQL データベースのデプロイを、コスト効率の良い方法でクラウドに簡単にセットアップ、管理、およびスケールできるサービスを提供しています。これらのサービスは、Amazon RDS for Postgre
中学や高校で学んだ数学を題材にして、Pythonによる数学×プログラミングを学んでみよう。数学の教科書に載っている定理や公式だけに限らず、興味深い数式の例やAI／機械学習の基本となる例を取り上げながら、数学的な考え方を背景としてプログラミングを学べる連載。 第1回 中学・高校数学で学ぶ、数学×Pythonプログラミングの第一歩（2021/07/05） 1. 問題解決の方法を学ぶための最強のツールとは 2. 文法からアルゴリズムへ ・コラム 良いアルゴリズムと数学の知識 3. 数学×Pythonを学ぶことの相乗作用 4. 前提知識と目標 5. Pythonプログラミングの準備と便利なライブラリ 第2回 中学数学だけでフェルマーの小定理をプログラミングしてみよう（2021/07/26） 目標： フェルマーの小定理をプログラミングしてみる 1. サンプルプログラム（演算子の利用） ・【まとめ】演
データアナリスト／データサイエンティストのためのカジュアルな勉強会「Data Gateway Talk」。「GBDTアルゴリズム」というテーマで登壇した工学院大学情報学部コンピュータ科学科のYasshieeee氏は、勾配ブースティングの基本、そしてアルゴリズム「XGBoost」「LightBGM」「CatBoost」の違いについて説明しました。 趣味はWebプロ・ゲーム・マインクラフト Yasshieeee氏：場違い感がすごいですが、一応、僕は大学生です。LTには若干慣れている予感はするんですけど、大学生なりのクオリティなのでご了承ください。 題名には「XGBoostについて」と書いたんですが、そもそも最初からXGBoostのすごく深いところまでいくのは、ちょっと初心者向けではないかなと思って……。今回は、XGBoostであるGradient Boost Decision Treeのア
Raspberry Pi Advent Calendar 2019の21日目です。 なんとなく機械学習を触ってみたい方、 画像処理に機械学習を取り入れてみたい方、 ラズパイ4を買ってみたけど特にすることがない方向けに記事を書きます。 画像処理に初めて機械学習を使った時に「dlib」というライブラリを使ったのですが、 これが中身を理解しなくても使いやすかったのでご紹介させていただきます。 概要 ラズパイにwebカメラをつなげ、取得した画像データから任意の物体の位置を検出します。 物体の位置は物体の形状（エッジ）を学習することで検出します。 形状認識で用いられる特徴量にはHOG・SIFT・SURFなどがあるのですが、 dlibではHOG特徴量を用いています。 特徴 HOG(Histograms of Oriented Gradients)…輪郭がはっきりと映っている画像に有効 SIFT…ぼやけ
ノードエディタ形式の画像処理ツール「Image-Processing-Node-Editor」 - Qiita
はじめに 趣味でノードエディタ形式の画像処理ツール「Image-Processing-Node-Editor」を作りました。 その紹介の記事です。中身にOpenCVガッツリ使っているからアドカレOKですよね。。。👀？ ガッツリ使っているという意味では、GUI部分の DearPyGui のほうがガッツリ使っているかもしれませんが🤔 「Image-Processing-Node-Editor」とは 以下のように、ノードを接続していくことで、処理結果を可視化しながら画像処理が行えるツールです。 以下のような特徴があります。 主要な処理は全てPython ※ライブラリ部分除く 各処理を可視化しながら画像処理が試せる 自作ノードの追加が容易 (だと信じている) 記事書くために見直していましたが、イマイチ複雑ですわ、、、😇 OSS (Apache 2.0ライセンス) デフォルトでいくつかのAI機
xgboostでどのような処理が行われているのかを、メモの意味でまとめてみました。 たぶん続きます。なお、あくまで私の理解であり、正確性の保証は無いのでご注意下さい。 ソースコードは以下を参照しています。 https://github.com/dmlc/xgboost (release_0.90を参照) 前提 以下の前提とする: ブースター(booster)はgbtree 決定木のアルゴリズム（tree_method）はexact カスタム目的関数を使わない GPUの使用、マシン並列を行わない xgboostでは、tree_methodオプションで決定木を作成するアルゴリズムを選択できる。 デフォルトではデータ数が一定未満の場合にはexact、それ以上であればapproxが適用される。 (4UL << 20UL = 4194304件が境目、GBTree::PerformTreeMethod
プロフェッショナル向け映像機材を開発・提供する豪Blackmagic Designは6月24日、動画撮影に特化した無料のカメラアプリ「Blackmagic Camera」のAndroid版を公開した。同社のハイエンドカメラで使用しているUIをスマートフォン用にアレンジ。幅広い設定が可能な他、「DaVinci Resolve」など、同社の他製品群との連携機能も提供する。 Blackmagic Cameraは、2023年9月に登場したカメラアプリ。無料でありながらシャッタースピードやISO、フレームレート、ホワイトバランスなどを細かく調整できる他、フォーカスピーキング、ヒストグラム、録音レベル、フレームガイド、3D LUTモニタリング機能などを備える。当初はiOS版のみのリリースのみだったが、「2024 NAB Show」でAndroid版を予告していた。
「言語処理100本ノック 2020」が4月6日に公開されました。2015年以来、5年ぶりの改訂です。昨今の自然言語処理の研究動向を鑑み、深層ニューラルネットワークに関する問題追加などの変更があります。 nlp100.github.io 実装のためのプログラミング言語としては、Python3系を利用します。バージョンは初公開時は3.6.8で、2023年11月に3.11.3に更新しました。ソースコードは、GitHubで公開しています。 github.com 第1章: 準備運動 00. 文字列の逆順 01. 「パタトクカシーー」 02. 「パトカー」＋「タクシー」＝「パタトクカシーー」 03. 円周率 04. 元素記号 05. n-gram 06. 集合 07. テンプレートによる文生成 08. 暗号文 09. Typoglycemia 第2章: UNIXコマンド 10. 行数のカウント 11.
実例で学ぶモニタリング定例のすゝめ | CyberAgent Developers Blog
この記事はCyberAgent Developers Advent Calendar 2021 11日目の記事です。 みゆっきこと山中勇成(@toriimiyukki)です。普段は、ABEMAで動画配信基盤の開発運用を担当しています。 直近では、配信システムの大規模刷新プロジェクトなどを担当しており、こちらの模様はCA BASE NEXTの発表からアーカイブを閲覧可能です。 ABEMAでは、24時間365日のリニア型配信やVOD配信など、昼夜を問わず落とすことができないミッションクリティカルなサービスを運用しています。サービスを支えるマイクロサービスは、配信分野に限っても20サービスを超えています。 既にPrometheusなど、各種モニタリングソリューションでの監視やアラーティングなども行っていますが、この記事では、あえて手動監視を定期的に行う、モニタリング定例を勧めたいと思います。 な
データや数式からグラフを作成できるMac用グラフ作成アプリ「ByeGraph」がApple Silicon MacをサポートしフリーウェアとしてMac App Storeで公開。
データや数式からグラフを作成できるMac用グラフ作成アプリ「ByeGraph」がフリーウェアになり、IntelとApple Silicon MacをサポートしMac App Storeで公開されています。詳細は以下から。 ByeGraphは2007年からn.r.Softwareの平井康之さんが開発しているグラフ作成アプリで、KaleidaGraphやPlot2、DataGraphの様に実験やシミュレーションから得たデータのプロットや数式からグラフを作成してくれますが、このByeGraphがバージョン2.6アップデートでApple Silicon Macに対応しています。 ByeGraphは、データや数式からグラフを作成します。データと数式は、それぞれ単独で使用するだけでなく、それらを組み合わせて使用することもできます。グラフには、Xデータが文字列のグラフ、Xデータが日付書式のグラフ、ラベル
背景 結論 手法の検討 実験 実験概要 実験1 : 単純なPromptを投げる 実験2 : Promptを工夫してみる 実験3 : 間違った分類を回避するには？ まとめ 参考文献 補足 DROBEで機械学習エンジニアをしております、藤崎です。 背景 商品のトップ画像はユーザーへの最初のタッチポイントとして機能し、購入を促進します。そのため、適切なトップ画像の選定は重要です。しかしながら、この選定は現在、手動に依存しており、複数の商品画像から最も効果的なものを選ぶ作業は、多大な時間と労力を消費しています。 商品の品揃えが拡大する中で、この作業のコストは切実な課題となっています。そこで、機械学習技術を用いてトップ画像の選別を自動化するアプローチを検討しています。これにより、商品登録時間の削減や業務の効率向上が期待されます。 本記事では、商品のトップ画像の自動選別に焦点を当て、画像分類手法を調査
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 最新の最適化アルゴリズムRAdam ニューラルネットワークは画像認識や自然言語処理など多方面で使われており、おもしろいことにも使うことができます。そんなニューラルネットワークが高い精度を出すためには、優秀な最適化アルゴリズムが必要不可欠です。最適化アルゴリズムとして現在デファクトスタンダードとなっているのがAdamです。Adamが登場したのは2014年のことですが、そこからAdamに取って代わるような最適化アルゴリズムは久しく出ていません。そんな現状をとうとう変えると期待されている新しい最適化アルゴリズムの論文が国際学会ICLR2020に採択されました。その名もRectified Adam、通称RAda
たややんさんが実施していた棋譜から棋力を推定する方法をdlshogiを使って検証してみた。 棋譜から棋力を推定する手法を検証しており、水匠の評価値をシグモイド関数で疑似的な勝率に変換した上で平均損失を計測する+計測する局面の勝率の閾値を設定するという手法で、24レーティングとの高い相関(相関係数-0.9536)を得られるようになりました。（続く） pic.twitter.com/wTu8pH6Ak7— たややん＠水匠(将棋AI) (@tayayan_ts) 2021年9月17日 使用する棋譜 将棋倶楽部24の名人戦対局の2452棋譜を使用した。 対局者間のレーティングの分布は以下の通り。 対局者のレーティングのヒストグラムは以下の通り。 dlshogiの設定 棋譜の各局面について、バッチサイズ1で512プレイアウトで探索を行い評価値と最善手を取得する。 勝率の平均損失 まずは、各棋譜ごとに
Python: Streamlit を使って手早く WebUI 付きのプロトタイプを作る - CUBE SUGAR CONTAINER
Streamlit は、ざっくり言うと主にデータサイエンス領域において WebUI 付きのアプリケーションを手早く作るためのソフトウェア。 使い所としては、ひとまず動くものを見せたかったり、少人数で試しに使うレベルのプロトタイプを作るフェーズに適していると思う。 たとえば、Jupyter で提供すると複数人で使うのに難があるし、かといって Flask や Django を使って真面目に作るほどではない、くらいのとき。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.3.1 BuildVersion: 20E241 $ python -V Python 3.8.9 もくじ もくじ 下準備 基本的な使い方 基本的な書式 プレースホルダー プログレスバーを使った処理の進捗の可視化 基本的な可視化 組み込みのグラフ描画機能
実行中のシステムの挙動を詳細にトレースする仕組みは、特に「よくわからない問題」に遭遇している時に重要です。今回はLinux向けのトレーシングツールの本命とも言えるeBPFを利用した各種ツールを紹介します。 eBPFに関する記事が今回以降、数回にわたって解説されています。あわせてご覧ください。 第688回 eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する（今回の記事） 第690回 BCCでeBPFのコードを書いてみる 第692回 sysfsやbpftoolを用いたeBPFの活用 第694回 libbpfとclangでポータブルなBPF CO-REバイナリ作成 第695回 入門BPF CO-RE eBPFとBPF Compiler Collection 改めて言うまでもなく、Linuxカーネルもしくはカーネル上で動いている各種タスクのパフォーマンスや挙動を調べなくてはならない
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lokiで本番環境のログ監視を始めました - WILLGATE TECH BLOG
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 | 株式会社ヌーラボ(Nulab inc.)
BOOTH3Dモデル市場概況（2021年）｜hibit
安定期に入っている「機械学習OSS」だからこそ貢献しやすい 実績やキャリアにつなげるために大切な、知識や実装の可視化
VTuberのふところ事情はまだ厳しい？暮らして行けてる？｜VTuber後方腕組P面おじさん
バグ調査やパフォーマンス改善に役立つ！eBPFを用いたトレーシングについて | さくらのナレッジ
デジタル復調の学習を目的として、ワンセグチューナーで地デジのフルセグTSを抜く - Qiita
機械学習による株価予測 KaggleのJPXコンペを終えて - Qiita
【気象データ】「〇〇年に一度の大雨」の算出 (確率降水量の算出)【統計解析】 - LabCode
2020年機械学習総まとめ 興味深い論文/記事85選｜akiraTOSEI
ある範囲に収まる乱数を得るために剰余（モジュロ）演算を書くとき、レビューするときに意識すること
LightGBMを超わかりやすく解説(理論+実装)【機械学習入門33】
画像検索のwebアプリを雑に作ってみる - Re:ゼロから始めるML生活
評点の分布が滑らかでないのは不自然なのか - お勉強メモ
数学×Pythonプログラミング入門 ― 中学・高校数学で学ぶ
機械学習における勾配ブースティングのアルゴリズム「XGBoost」「LightGBM」「CatBoost」の違い
RaspberryPiで機械学習をやってみた - Qiita
xgboostのコードリーディング - threecourse’s blog
無料で使える多機能カメラアプリ「Blackmagic Camera」に、待望のAndroid版が登場
「言語処理100本ノック 2020」をPythonで解く - u++の備忘録
Vision-Language Modelsを使った商品のトップ画像選定 - DROBEプロダクト開発ブログ
ついにAdamを超えた！最新の最適化アルゴリズム「RAdam」解説 - Qiita
dlshogiを使って棋譜から棋力を推定する - TadaoYamaokaの開発日記
第688回 eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する | gihyo.jp