距離の絶対値を取る「最小絶対値法」、なぜ機械学習であまり使わない？
機械学習の最も基礎的な手法が最小二乗法だ。この特集では、Pythonで最小二乗法のプログラムを実装することで、その仕組みを学んでいく。 最小二乗法では、回帰式とデータ間の距離を二乗することでマイナスの値が出てこないようにしますが、「マイナスの値を出したくないのなら、距離の絶対値を取ってもよいのではないか」と思われた方もいるでしょう。というよりも、絶対値という概念を知っていれば、そう考える方が自然と言えるかもしれません。実は、距離の絶対値を取る「最小絶対値法」という手法があります。最小絶対値法による回帰は「ロバスト回帰」と呼ばれます。 回帰式とデータ間の距離を「誤差」と考えるとしましょう。その誤差の値が最も一般的な確率分布である“正規分布”になるときは、最小二乗法で良い結果が得られます。一方、「外れ値」があり、誤差が正規分布にならないときは、最小絶対値法の方が良い結果になることが多いようです
大規模言語モデルによる気象予報が、スパコンの予想を超える｜Google研究所からの論文（12月22日 Science 掲載論文） - Lab BRAINS
今年は大規模言語モデル（LLM）の様々な分野へ導入した論文がトップジャーナルに溢れるようになる元年と言えるかも知れない。一般の方ににとってLLMは、ChatGPTのようなテキストを学習させたモデルを指すのだと思うが、元々ノンリニアーな情報を扱う生物学では、早くから様々な目的でLLMの導入が進んでいる。最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。 過去の経験は未来の予測に重要だが、これまでの予測はデータをなんとか法則に落とし込んで、その法則を未来に適用してきた。これに対しLLMでは、過去のデータを自然にコンテクスト化して、そこから最も確率の高い結果を導き出す。まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。 本日紹介する論文 今日紹介するGoogleの2つの研究所からの論文は、3700万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象
ゲームにおけるA/Bテストについて - KAYAC engineers' blog
こんにちは。技術部平山です。 今回は、ゲームにおけるA/Bテスト について論じます。 「論じます」で始めたことで察しがつくかとも思いますが、今回はブログではありません。 媒体はブログですが、ブログの容量ではない代物になっております。3.5万字(115KB)超えです。 ゲームにおけるA/Bテストについて、実施の方法や問題点、 倫理的側面に至るまで幅広く書き連ねてみました。 読んで欲しいのはどちらかと言えば同僚なのですが、 そういう時にはまず社外に出してしまった方が良いものですので、 ブログにしてしまいます。 比較的同業の方が読むことを想定しているため、 図表を用いてわかりやすくすることはしておりません。 これを書いた人間は何者か 技術的な問題の前に ゲームにおいても構図は全く同じ A/Bテストが可能である条件 A/Bテストの手続きを概観する 振り分け アプリ内振り分けの場合 Firebase
川の上を川が流れる！ 立体交差する川を渡る
1985年福岡生まれ。思い立ったが吉日で行動しています。地味なファッションと言われることが多いので、派手なメガネを買おうと思っています。（動画インタビュー） 前の記事：ニベアの缶を自分の写真にすると面白い！ ドイツのいろいろを堪能する ＞ 個人サイト Web独り者 彼女がいる風の地主恵亮 橋とは陸だと思っていた 我々の移動は橋の便利さにより成り立っている。その昔は渡し船があったけれど、現在は多くの場合それは「橋」に変わっている。橋がなければ移動はもっと大変なものになる。本州と九州を結ぶ橋があったりなど、大きな橋も多々存在する。 橋ですね！ 橋を渡るものはなんだろうと考える。希望などという形ないものを除けば、自動車や人、自転車、電車だろうか。野生動物だって渡るだろう。橋とはもはや陸なのだ。川や海の水に濡れずに渡ることができるのだ。 ドイツのマクデブルクに来ています！ 橋とはそのようなものだと
夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話 - ABEJA Tech Blog
皆さんこんにちは！ ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られていて全部探すのも難しくない 今回解く課題 土地探しにおける意見の違いとは？ どうやってデータサイエンスを使って夫婦の擦り合せを行う？ アプローチ 実装 1. 架空の土地条件をランダムに沢山作る 土地条件の項目数や取りうる範囲が増えすぎないようにする 自分たちにとって関連性が高い項目を入れる 2. 作った土地に対して夫婦それぞれで値段をつける LINE Botの概要 バックエンド 土地情報の作成とFireStoreに登録 妻からのフィードバック
画像生成AI「Stable Diffusion」をGoogle Colabで動かしたメモ - ただいま村
AIが画像を自動生成してくれる「Stable Diffusion」がすごい。これを使ったサービス「DreamStudio」は1枚6秒ほどで画像を生成してくれて早いが、無料枠を超えて使うには課金が必要になる。 Google Colabという、Pythonの実行環境を提供してくれるサービス上でStable Diffusionを動かせるそうだ。お金はかからない。1枚の画像生成にかかるのは30秒ほど。その方法は以下で解説されている。 Google Colab で はじめる Stable Diffusion v1.4｜npaka｜note 自分でもやってみて、今は無事にStable Diffusionを使えるようになっている。しかしGoogle Colabを使うのも初めてだったので上の記事だけだと詰まるところもあった。ここではそれを解説したいと思う。 ライセンスの確認 Hugging Faceのトー
Keras Tunerでハイパーパラメータチューニング
モデルの定義 Keras Tunerでパラメータチューニングできるようにモデルを定義していきます。 今回設定しているパラメータは以下の4つになります。 層の数 (2~20) hp.Int('num_layers', 2, 20) ユニットの数 (32~512の32ごと値) hp.Int('units_' + str(i), min_value=32, max_value=512, step=32) BatchNormalizationかDropoutかどちらもか hp.Choice('batchnorm_and_dropout', ['batch', 'dropout', 'both']) 学習率 (1e-2, 1e-3, 1e-4) hp.Choice('learning_rate', [1e-2, 1e-3, 1e-4]) def build_model(hp): model = ke
4行でモデル構築と予測ができるAutoML OSSの老舗「auto-sklearn」
4行でモデル構築と予測ができるAutoML OSSの老舗「auto-sklearn」：AutoML OSS入門（2）（2/3 ページ）
Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか - MonotaRO Tech Blog
Software Design連載開始 ※ (2021/09/02 08:55) 「Pythonを用いて開発を始めたのが2003年」を「Pythonを用いて開発を始めたのが2002年」に修正 こんにちは。金谷です。 このたび、モノタロウにおけるPython大規模開発に関する取り組みを、技術評論社様で発刊されている Software Design に連載させていただくことになりました。 モノタロウがPythonを用いて開発を始めたのが2002年。2021年の現在もPythonを用いた開発が続けられています。 事業の成長に伴い、関連するシステムやエンジニアの数も増え続けていくなかで、いかに安定的に価値を提供し続けられるのか。 モノタロウにおける取り組みを、開発や運用周りを通してご紹介していきます。 本記事の初出は、 Software Design2021年8月号「Pythonモダン化計画（第1
AWS Organizations における組織単位のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS Organizations における組織単位のベストプラクティス AWS のお客様は、新しいビジネスのイノベーションを生み出す際に、迅速かつ安全に行動できることを求めています。マルチアカウントフレームワークは、お客様に合ったAWS 環境を計画するのに役立つガイダンスを提供します。このフレームワークは、変化するビジネスニーズに合わせて環境の拡張と適応能力を維持しながら、セキュリティのニーズを満たすように設計されています。適切に設計されたマルチアカウントの AWS 環境の基礎は AWS Organizations です。これは、複数のアカウントを一元的に管理および管理できる AWS サービスです。 この記事では、AWS環境の構築を検討する際に役立つAWS のベストプラクティスに基づいたアーキテクチャについて詳細に説明します。推奨される組織
八ヶ岳全山縦走！ 網笠山から蓼科山まで3日間で一気に踏破！ ーpart3ー | PEAKS, 八ヶ岳
いつも遠くから眺めていた八ヶ岳。何度か登ったことはあるが、全山縦走はまだ挑戦できていない夢の計画だった。しかし、ついに願いが叶うときがきた！ これは、観音平から大河原峠までいくつものピークを越えて、八ヶ岳全山を踏破した3日間の物語。 文◉田中 幸 Text by Sachi Tanaka 写真◉武部努龍 Photo by Doryu Takebe 取材期間◉2019年9月18日～20日 出典◉PEAKS 2020年5月号 No.126 ＞＞＞Part1、Part2 はこちらから 朝4時に白駒荘を出発する。いよいよ最終日！ 「今日で終わってしまうのか」と、励まし合ってみんなで登った山行の楽しさを噛み締めながら、前を行く仲間の後ろ姿について行く。 根石岳山頂にて稜線上ならではの景色を楽しむ。 高見石小屋まで来ると、鬱蒼と茂る森の間が明るくなり始め「まだ着かない？ ご来光に間に合う？」と、急いで
八ヶ岳全山縦走！ 網笠山から蓼科山まで3日間で一気に踏破！ ーpart2ー | PEAKS, 八ヶ岳
いつも遠くから眺めていた八ヶ岳。何度か登ったことはあるが、全山縦走はまだ挑戦できていない夢の計画だった。しかし、ついに願いが叶うときがきた！ これは、観音平から大河原峠までいくつものピークを越えて、八ヶ岳全山を踏破した3日間の物語。 文◉田中 幸 Text by Sachi Tanaka 写真◉武部努龍 Photo by Doryu Takebe 取材期間◉2019年9月18日～20日 出典◉PEAKS 2020年5月号 No.126 ＞＞＞Part1はこちらから 翌朝は5時にキレット小屋を出発。外は冬の朝を思い出すような冷たい空気に包まれていた。ヘッドランプが必要な暗さだが、街の明かりと富士山のシルエットははっきりと見えている。遠くの稜線までクリアだ。 歩き出してすぐ、気を抜けない片斜面のガレ場が現れた。両手でしっかり体を支えて登ると、樹林帯から出たあたりで突然風が強くなってくる。だが、
八ヶ岳全山縦走！ 網笠山から蓼科山まで3日間で一気に踏破！ ーpart1ー | PEAKS, 八ヶ岳
いつも遠くから眺めていた八ヶ岳。何度か登ったことはあるが、全山縦走はまだ挑戦できていない夢の計画だった。しかし、ついに願いが叶うときがきた！ これは、観音平から大河原峠までいくつものピークを越えて、八ヶ岳全山を踏破した3日間の物語。 文◉田中 幸 Text by Sachi Tanaka 写真◉武部努龍 Photo by Doryu Takebe 取材期間◉2019年9月18日～20日 出典◉PEAKS 2020年5月号 No.126 この瞬間を感じるために、この場所にいるような気がした。 2日目の朝に登頂した赤岳山頂。前日の曇天のせいか人も少なく、人気スポットをゆっくり満喫。何回も登っているのに初の体験！ 5年前、長野県佐久市に住み始めて一番感動したのは、佐久市からきれいに見える八ヶ岳連峰の姿。 「いつか全山縦走に挑戦したい！」 と思っていたもののなかなかタイミングが合わず、いつまでも頭
［評価関数］平均二乗パーセント誤差の平方根（RMSPE：Root Mean Squared Percentage Error）とは？
［評価関数］平均二乗パーセント誤差の平方根（RMSPE：Root Mean Squared Percentage Error）とは？：AI・機械学習の用語辞典 用語「平均二乗パーセント誤差の平方根」について説明。評価関数の一つで、各データに対して「予測値と正解値との差を、正解値で割った値（＝パーセント誤差）」の二乗値を計算し、その総和をデータ数で割った値（＝平均値）に対する平方根の値を表す。 連載目次 用語解説「RMSPE」 機械学習における平均二乗パーセント誤差の平方根（RMSPE：Root Mean Squared Percentage Error）とは、名前の通り、平均二乗パーセント誤差（MSPE、後述）の平方根 √（ルート：Root）の値を出力する関数である。（図1）。 平均二乗パーセント誤差（MSPE）とは、各データに対して「予測値と正解値との差を、正解値で割った値（＝パーセント
失敗しないあさりの砂抜き法はこれ！【鮮魚店直伝】簡単レシピ付き | 三越伊勢丹の食メディア | FOODIE（フーディー）
あさりの砂抜き、自信を持ってできていますか？ 「海水と同じ3%濃度の塩水につける」とはわかっていても、実際に計算するのも、はかりを取り出すのも面倒！ しかし、ペットボトルを使えばその手間を省いて適切な砂抜きができるという、驚きの方法があるのだとか。教えてくれるのは鮮魚のプロ、日本橋三越本店＜吉川水産＞の岡部悠人さんです。 あさりの砂抜きに使えるザルはこちら＞＞ Q＆Aで徹底解説！ あさりの正しい砂抜き方法 岡部さん曰く、「簡単に3%濃度の塩水を作るなら、ペットボトルで計量するといいですよ」とのアドバイスが。というのも500㎖の水に対し、キャップ2杯分の塩（約15g）を加えると、ちょうど海水と同じ3%の塩水になるのだそう。この割合さえ知っておけば、面倒な計量を行わなくてもすぐに砂抜きに必要な塩水が作れます。 使用する道具はペットボトルのほかにザル、ボウル、アルミホイルのみ。 実際に砂抜きの手
コロナ禍で引きこもりながら「ひとりの楽しさ、外食・温泉・登山の喜び」を書き続けた日々を振り返って（寄稿：月山もも） - 週刊はてなブログ
※キャンペーンは終了しました。たくさんのご応募、ありがとうございました。 【書籍のプレゼント情報あります！】 ブログ「山と温泉のきろく」で温泉や食、山への旅について書いている月山ももさんに、書籍『ひとり酒、ひとり温泉、ひとり山』執筆の決定から出版するまでの心境や考えたことについて寄稿いただきました。記事末にプレゼント情報もあります！ この記事は、はてな×KADOKAWAで取り組む「ブログ書籍化プロジェクト」で出版される書籍のプロモーション記事です。 こんにちは。山と温泉を愛する女ひとり旅ブロガー、月山ももと申します。 会社勤めの傍ら、日本各地の山や温泉を目的地にひとり旅を楽しみ、「山と温泉のきろく」なるブログを更新しています。温泉旅を始めて十数年。登山を始めてからはもうすぐ丸10年になります。 私は普段、1軒の宿を紹介するのに1万字ほどテキストを書き、100枚近い写真と共に掲載しています。
QRコードを生成できるだけでなく「作り方」まで理解できる「Creating a QR Code step by step」
キャッシュレス決済の筆頭としてPayPayやLINE PayといったQRコード決済が日本においても普及し始めていますが、QRコードがどのように生成されているのかを知る機会は多くありません。「Creating a QR Code step by step」は、好きな文字列を表すQRコードを簡単に生成でき、さらにQRコードの生成過程まで理解できるウェブアプリです。 Creating a QR Code step by step https://www.nayuki.io/page/creating-a-qr-code-step-by-step まずは「Creating a QR Code step by step」にアクセス。ひとまずオプションの理解は置いておいて「Text string」に「GIGAZINE」と入力し、「Force minimum version」を「2」に設定して「Gene
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
定期（サブスク）の解約理由トップは「〇〇」 解約防止でLTVアップ【単品通販（D2C）】
認知行動療法講義
GitHub - geolonia/japanese-addresses: 全国の町丁目レベル（277,191件）の住所データのオープンデータ
