はてなブックマーク

パラメータの選択は、PIR の重要なステップで、タスク分析と重要度ランキングを通じて、タスクのパフォーマンスに最も大きな影響を与えるパラメータを特定します。 2-1.PIR を実装する主な方法 勾配ベースの重要度ランキング 勾配ベースの重要度ランキングは、LLM の各パラメーターに関する損失関数の勾配を計算することによって機能します。 パラメーターの勾配は、パラメーターが損失関数にどの程度影響を与えるかを示す尺度で、最も高い勾配を持つパラメーターが最も重要であるとみなされます。 ランダム フォレスト重要度ランキング ランダム フォレスト重要度ランキングは、LLM のパラメーターでランダム フォレスト モデルをトレーニングすることによって機能します。 ランダム フォレスト モデルの出力を予測するために最も重要なパラメーターは、LLM の最も重要なパラメーターであると考えられます。 実際には、

import subprocess from time import time name_list = ["john","power","smith","jack"] for i in name_list: print(i) # コンソール実行時の場合に空白で区切る部分を分割してリストに入れる" # python greeting.py --nickname XXXX の場合下記のようになる。 command = ["python","greeting.py","--nickname", f"{i}"] proc = subprocess.Popen(command)

レイトリミットを実装するために golang.org/x/time/rate を採用したものの、しばらく経ってから見返すとその仕様を完全に忘れていてショックだったので、こちらに記事として備忘録的に要点をまとめていきたいと思います。 トークンバケット golang.org/x/time/rate は「トークンバケット」というアルゴリズムを Go で実装したパッケージになります。 このパッケージは一見すると使い方が分かりづらいのですが、「トークンバケット」を理解すると合点がいくデザインとなっているので、まずはこちらを理解しましょう。 一応 Wikipedia にもページがあるのですが（トークンバケット - Wikipedia）、golang.org/x/time/rate パッケージのドキュメントを読むのが端的で分かりやすいと個人的には思いました。Limiter 構造体に対する説明として記載さ

著者: 伊藤 雅博, 株式会社日立製作所 はじめに データサイエンティストが作成した機械学習モデルを本番環境へ導入するためには、機械学習モデルを用いた予測機能を提供（サービング）するシステムの開発が必要となります。本投稿では、実際にscikit-learn pipelinesとFlaskを使用して機械学習モデルをサービングする例を紹介します。 投稿一覧: MLOpsの概要と機械学習モデルのサービングシステム scikit-learnとFlaskによる機械学習モデルのサービング ...本投稿 構築するリアルタイム推論システムの全体像 Web APIを用いたリアルタイム推論システムの構築手順を紹介します。前回の投稿で紹介したようなサービングFWを活用する方法もありますが、今回は個別のOSSを組み合わせてシンプルな推論システムを構築してみます。 この推論システムでは、Python製の機械学習フレ

著者: 伊藤 雅博, 株式会社日立製作所 はじめに 機械学習システムを継続的に運用するための取り組みとしてMLOps (Machine Learning Operations)が注目を集めています。MLOpsの運用サイクルの1ステップとして、機械学習を利用したいシステムに対して、機械学習モデルを用いた予測機能を提供するサービング（Serving）があります。 サービングは、データサイエンティストが作成した機械学習モデルを本番環境へ導入する際に、必ず求められる要件です。本投稿では、機械学習システムの全体像とサービングの位置づけ、およびサービングシステムの構成を紹介します。 機械学習システムの全体像 MLOpsを考慮した機械学習システムの例を以下の図に示します。 図の機械学習システムは、下記5つのサブシステムから構成されます。 1. データ整備システム データ整備システムでは、機械学習に必要な

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習の中で必ずと言ってもいいくらい見かける自然言語処理。 言葉が難しそうでなかなかピンときませんよね。 でも私達が日常生活を過ごす上で実は非常に欠かせないものとなっています。 しかも必要なデータセットを用意し設計の仕方さえわかれば初心者でも形にするのは十分可能。 そこで今回はPythonから自然言語処理を用いて実際にプログラムを作っていきます。 ここで挑戦するのは感情分析。女性ものの服について評価を集めたデータセットを基に自分で新たに入力した文章がどの評価に該当するかを予測していきます。 とは言ってもそもそも自然言語処理とは何か、感

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

スプレッドシートはとても便利ですが、チームで使う場合はフィルタのかけ方に注意。 【目的】 スプレッドシートで自分だけのフィルタを設定する。 【はじめに】 普通のフィルタの場合の設定はどうなるか？ データ->フィルタから設定。 下図のを見る限り、普通のフィルタが設定される。 もちろんエクセル同様にフィルタをかけることができる ただしこの場合はこのスプレッドシートそのものにフィルタが設定されている状態となるため、他の人にもフィルタ設定後の状態が共有される。 では、次に自身だけフィルタを設定するにはどうするか。 【手順】 １．データ->フィルタ設定->新しいフィルタ表示を作成 ２．下図のようにフィルタリングされる。 →自分専用にする場合はフィルタの名前を設定 →フィルタの範囲がおかしい場合は「範囲」から調整。 以上 これで。ほかの人には見えない自分専用のフィルタが作成できました。 プロジェクトで

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2016年10月より正式公開された LINE Messaging API（旧 BOT API）を使って、レシピ提案ボットを作りました。 家事の助けになればと思い、当時妊娠中だった妻のために作ったものですが、わりと出来がいいので皆さんにも使って頂けるように一般公開しました。 このボットの特徴は、食材名を元にレシピを提案する点と、レシピの表示にカルーセル型のメッセージを利用していることです。 本稿では、そのボットの紹介と、仕様面および実装面の設計についてお話ししたいと思います。 追記： ※ 本サービスは最終的に100名以上の方に登録いただき

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? メリークリスマス🎄 こちらは GLOBIS Advent Calendar 2019 25日目の記事です。 自己紹介 こんにちは、@mshrwtnbです。1ヶ月ほど前にGLOBISに入社し、現在、GLOBIS学び放題のアプリ開発を担当しています。iOS版GLOBIS学び放題を使いやすくすべく、チームメンバーとともにゴリゴリ書き直しています。ご期待ください💪 直近まではソシャゲを主力とする企業で、複数サービスのアプリ開発、マネジメントをしておりました。 記事の目的 これまでのアプリ開発・運用の経験をもとに、アプリ開発着手からリリースま

（2019/09/29 テンプレートで実際に環境を作る際の画面が変更になっているので更新） 初学者のためのAWS入門シリーズ [初学者のためのAWS入門(1)] (https://qiita.com/mshinoda88/items/e7557227f7060b52d8ae) 初学者のためのAWS入門(2) - CloudFormation入門1 -> この記事です。 [初学者のためのAWS入門(3) - CloudFormation入門2] (https://qiita.com/mshinoda88/items/65e7e145c7ec943af403) 初学者のためのAWS入門(4) - S3でBasic認証を設定してリポジトリを公開 初学者のためのAWS入門(5) - S3+Athena+QuickSightでデータ分析結果の可視化 初学者のためのAWS入門(6) - Lambdaで

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめまして、@mshibuyaです。2019年7月よりメルカリにて働いており、メルカリシステムを支えるインフラを運用しサービスの信頼性を担保するSREチームにおいてエンジニアリングマネージャーをしています。 マネージャーとして約半年ほど取り組んできた中で、「マネージャーの成果ってなんだっけ？」となってしまうことがあったので、あらためてそこについて考えてみようという主旨のエントリになります。 なおこの記事はEngineering Manager Advent Calendar 2019の8日目のエントリです。 背景 前述の通り入社後半年

自己紹介 渋谷　充宏 @m4buya 株式会社メルカリ SRE Engineering Manager Ruby / Scala / インフラ https://github.com/mshibuya RailsAdmin/CarrierWave committer ISUCON9予選敗退 「要はバランスおじさん」　とは 何かにつけてトレードオフ構造を見出して「要はバランス」という結論で満足してしまう人を揶揄して「要はバランスおじさん」と呼ぶことがあります。 — チーフ (@katzchang) September 9, 2019 メルカリに7月に入社しました 入社前 Onboarding力入れてるって聞くし、さぞかし色々整ってるんだろうなー 全社Onboarding New Hire Orientation(1.5日) 入社1・2日目。PCや各種アカウントの設定から労務・カルチャー・カスタ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事は、Sansan Advent Calendar 2017 の 16 日目として書かれたものです。去年は 11 日目の記事として Ada を取り上げました。今年は Mozart/Oz です。 Mozart/Oz とは？ Mozart/Oz、それは Mozart なのか Oz なのか、あるいはサリエリ1に毒殺されたモーツァルトが怨みの底から蘇り、オズ2として世界を支配しようとする物語なのか、わたしも調べてみるまではナゾにつつまれたコトバだなと思っていました。しかし調べてみると、実はこれはプログラミング言語の名前なのでした

この記事は 株式会社 LOB Advent Calendar 2018 21日目の記事です。 Coursera はデータサイエンスや機械学習といった文脈で語られることが多いですが、それ以外にも多種多様な講座が教育機関および企業から提供されています。本稿は、その中でも Google Cloud がオフィシャルに提供する GCP の入門講座を紹介するものです。私はもともと GCP 認定の資格勉強のために始めたのですが、講座としてのクオリティの高さも相まって最後まで楽しく学べました。後述しますが、受講料金の方もなんとかなるので、GCP の習得に意欲がある方は気軽に始めてみてはいかがでしょうか。 Coursera とは Udemy, edX を始めとする MOOC サービスの一つです。MOOC（ムーク）とは "Massive Open Online Course" の略で、直訳すると「大規模公開オ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ここでは、物体の検出についてFaster R-CNN、YOLO、SSDのようなさまざまなアルゴリズムについて説明します。 物体検出の最先端、各手法の直感、アプローチ、それぞれの特徴を見ていきます。 この続きは以下で記述しています。 物体検出についての歴史まとめ(2) https://qiita.com/mshinoda88/items/c7e0967923e3ed47fee5 1. 物体検出とは 1-1. 物体検出概要 物体検出は画像を取り込み、画像の中から定められた物体の位置とカテゴリー(クラス)を検出することを指します。 犬猫分類器

これまで依存パッケージ管理で遅れをとっていた Python ですが、Pipenv というモダンなツールが定着の兆しをみせており、Python エンジニアの一人として非常に喜ばしく感じています。 一方で、Go を使うことも多い自分にとっては、依存パッケージ管理に加えて Vendoring もやりたいというのが正直なところなんですよね。リッチな機能を提供する Pipenv ですが Vendoring についてのサポートはなく、開発コミュニティ上でもあまり積極的に受け入れられていないようです。 私のような考え方はマイノリティなのかもしれませんが、後述するように Python でも Vendoring が出来ればいくつかのメリットがあります。という訳で実現するためにはどうすればよいかというところを調べたので、これを共有したいとおもいます！ そもそも Vendoring ってなに？ 一般的な依存管理

去る 6月4日、Microsoft による GitHub 買収が発表されました。過剰に反応するニュースではないものの、この機会に GitHub 以外の Git ホスティングサービスに触れてるのもいい経験になるのではないでしょうか。本稿は、GitHub からの有力な移行先の一つとして GitLab を提案するものです。 GitLab が単なる GitHub のクローンサービスだったのは過去の話です。GitLab は 2014 年の法人化をきっかけに、ここ数年で積極的な機能追加がなされており、他の競合に引けも取らない Git ホスティングサービスに成長しています。 GitLab の変遷 GitLab のスタート GitLab は 2011 年に、現 GitLab 社 CTO の Dmitriy 氏によって開発が始められました。 後に、現 CEO の Sid 氏が開発に加わり、翌年 2012 年

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ランダム・フォレスト分析の基礎まとめ 1. ランダムフォレストの概要 決定木のアンサンブルと見なされます。 アンサンブル学習は「弱いアルゴリズム」を組み合わせてより頑健な「強いアルゴリズム」を構築します。 強いアルゴリズムには汎化誤差が改善され、過学習に陥りにくい。 2. 関連用語 2-1. バギング データの一部を使って学習し、それを何度も繰り返して最後に合わせる方法。 並列処理が可能。 2-2. ブースティング データの一部を抽出してそれで弱学習機を作り、最後に合わせるのはバギングと同様。弱学習器を1つずつ順番に構築していく手法で、

概要 主成分分析(PCA, Principal Component Analysis) をクラスター分析と組み合わせて、高次の次元で定義されたデータを2次元空間データで表現する方法を、python3 で見ていく。また、類似のグループまたはクラスタのデータを検索し、データ内に隠れた関係を見つける。 キーワードの復習 PCAとは PCAは主成分(principal component)を見つけることによってデータの次元を低下させる。 データセット元の特徴または変数を主成分に基づいて、縮小されたセットに変換することにより、データの分散を最大化するの最小の変数が得られます。 新しい変数が2つしかない場合、データ内の各サンプルを散布図などの2次元チャートで表すことができます。 クラスタリング 教師なしデータの分析技術として、クラスタリングは、その変数に基づいて「近接したデータサンプル」を編成する。

Git LFS （Git Large File Storage） とは、Git で大きいサイズのバイナリファイル（本稿では、ラージファイルと省略して呼びます）をバージョン管理するための仕組みです。 Git はその性質から、ラージファイルを扱うにはいくつかの問題をはらんでいて、Git LFS はその問題を解決するための機能を Git の拡張として提供するものです。 本稿では Git LFS の概要紹介として、どういった問題が存在していて、どのように解決されるか、一方でどういった問題が解決されないかまでを、まとめて紹介します。 Git のラージファイル管理における問題点 まず Git LFS の背景として、ラージファイル管理における問題点を、Git の特徴を抑えつつ紹介します。 バイナリファイルの管理に不向き Git は、ソースコード（テキストファイル）のバージョン管理に特化したツールです。

これは何？ → GitHub でよく使われる絵文字の一つです。 :shipit : というコードが割り当てられていて、"ship it" と読みます。 若干わかりづらいですが、「帽子をかぶった（動物の）リス」です。 どういう意味？ 一般に、PR に対するレビューコメントにおいて良く使われます。 「変更に問題はない、コードをリリース（ship）してしまって構わない」という意味です。 また、最近ではコミットメッセージにおいて見かけることが増えています。 「 vX.Y.Z」として、このコミットを契機にパッケージをリリースするようなケースで利用されます。 なぜリスなのか？ リス自体に意味はありません。 GitHub 所属の @jglovier さんが、Quora 上でその由来について言及しています。 On GitHub, what is the significance of the 'Ship

はじめに 技術者といえば最新技術が大好きだ、というのが相場とされています。実際 Qiita のようなところを覗いてみれば、たいがいみんな新しい技術について書いているというわけです。 しかしそこをあえて逆に行って、イニシエの知る人ぞ知る技術について書いても、その手の「らしさ」は成立するものなのかもしれません。つまり技術者は必ずしも新しいものだから好きというわけでもないんじゃないかというわけです。先日たまたま何かの拍子にチーム内で TRON キーボードや「超漢字」が話題にのぼったのですが、そういういわゆる「ネタ」的な軽い話題にも、やはりどこかに「らしさ」が成立しているように思いました。 といったようなところに端を発し、そこからいろいろな偶然を経て、今回のテーマはプログラミング言語 Ada です。といっても別に詳しいわけではないので、話半分くらいで読んでいただければと思います。 名前のこと 紹介

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに やりたいことは python3 で時系列分析を行い、予測までしてみること。 特に季節変動を加味したSARIMAモデルを扱ってみたい。 利用するデータとしては、以下の参考資料で、TV朝日の視聴率の時系列分析をしてみる。 きっかけは２０１６年度４Qで大きく利益率を落としているが、視聴率変動がどう影響しているのか、今後の変動はどう予測できるのかを試行した。 参考資料 http://www.tv-asahihd.co.jp/contents/ir_setex/ 未来を予測するビッグデータの解析手法と「SARIMAモデル」 - DeepAge https://deepage.net/bigdata/2016/10/22/bigdata-analytics.html SARIMA モデルの概要 SARIMAモデルは複数の時系列モデルを複合した手法。 以下の図のような関係があります。 （出典:

TL; DR Y Combinatorが投資している、急成長中1のプッシュ通知ASP OneSignalを試してみました。 Firebaseと同じく無料ながら、Parseのような柔軟性（A/Bテスト、ユーザープロパティ、自動配信など）を持っています。 Firebaseが抱える「プロパティに上限があるが削除できない」、「他ASPからトークンをインポートできない」等の問題もなく、初めてParseを試したときのように感動しました。 Firebaseの問題 ポストParse時代の代表格は、なんといってもGoogle I/O 2016でバージョンアップが発表されたFirebase。 認知度、Googleというバックボーンともに圧倒的な存在ですが、使ってみると意外に「？」と思うことがいくつかありました。詳しくはこちらに書かれているような点です。 いくつか挙げるとすれば↓の点が気になりました。 登録可能