そのためストリーミング処理をしてニアリアルタイム処理するといったものはそもそも要件として存在しないため、バッチで安定的にデータの取り込みを行い、クエリ時の負荷を下げるためにデータの取り込み時に重複排除をする仕組みを構築しました。その概要が以下の図です。 ファイルからデータ連携されたデータを重複ありの状態で受付け、1 時間に 1 回重複排除したデータを行動ログテーブルにマージする、というのが大まかな手法の説明です。このコンポーネントは atlas-consumer-s3 と呼ばれます。 2. 旧来の仕組みの課題 上記の仕組みで大きな障害も発生せずに運用できていましたが、以下のような課題を抱えていました。 2-1. 原因不明の不具合によりデプロイ時に Kinesis からの 1 日分の読み直し作業が発生する 2-2. 新規カラム追加の実装/作業が煩雑 2-3. データの整合性の検証が不十分 2
[Go to “teaching” in Morimoto Lab] Game by ball 8 ①画素へのアクセス（画像処理） ②メタボール ①は画像処理の基本で、OpenCVのようなライブラリに任せてしまうのではなく、そのような画像処理の中身を理解し、自分で１から実装できるようにしておくのに不可欠です。 ②はCGの手法の一つで、滑らかな境界を作るために用いられます。 今回は簡易版です。 ※この回は講義2コマ分になるかも。 1. 画素の操作による画像処理 画像処理の便利な関数はいくつかProcessingに用意されているが、自分でそのような画像処理を実装する場合を見て行く。 Images and Pixelsという公式チュートリアルの “Pixels, pixels, and more pixels”の一部分を以下で説明する。 ↑画素の実際の並びは上の図のようになっていますが、 画素は
Googleが10月20日に発表した「Pixel 6」「Pixel 6 Pro」。ここ最近のPixelシリーズは似た性能／デザインのモデルが長く続いたが、外観だけでなく、カメラを含めた内部まで刷新されており、数世代ぶりに意欲的なモデルに仕上がっている。 中でも特徴的なのが、オリジナルSoCの「Google Tensor」とカメラシステムだろう。Google Tensorは同社が独自に開発したSoCで、CPUには「Cortex-X1」が2基、「Cortex-A76」が2基、「Cortex-A55」が4基のクアッドコア構成を採用。GPUには「Mali-G76」を20コア搭載する。これに、同社が開発した機械学習を処理するTPU（Tensor Processing Unit）、画像処理用の独自ISP（Image Signal Processor）ユニットなどが加わる。プロセスルールは最新世代の5n
達人出版会
［令和6年度］基本情報技術者 超効率の教科書＋よく出る問題集 五十嵐 順子 徹底攻略 データベーススペシャリスト教科書 令和6年度 株式会社わくわくスタディワールド 瀬戸美月 著 徹底攻略AWS認定SysOpsアドミニストレーター - アソシエイト教科書＆問題集［SOA-C02］対応 鮒田 文平, 長澤 美波, 日暮 拓也, 奥井 務, 渡辺 樹, 山下 千紗, 伊藤 翼 世界標準MIT教科書 アルゴリズムイントロダクション 第4版 第2巻 高度な設計と解析の手法・高度なデータ構造・グラフアルゴリズム Thomas H. Cormen, Charles E. Leiserson, Ronald L. … 問題解決の教科書 CITA式問題解決ワークブック 市岡 和之 はじめてのType-C電子工作 じがへるつ スッキリわかるJava入門 実践編 第4版 中山 清喬(著), 株式会社フレアリ
モチベーション golangci-lintを利用されている方も多いと思います。 後述のようなコードを書くと指摘してくれるgo-err113というルールがなぜあるのかということをきっかけに書いた記事になります。 func F() error { err := something() if err != nil { return errors.New("failed call something fn") } } ネタバラシすると、go-err113のREADMEにルールがある理由は親切に書かれているのですが、Goを始めたばかりの私にはすべての疑問は解消することができず、より深く調べました。 Starting from Go 1.13 the standard error type behaviour was changed: one error could be derived from a
PythonとMATLABの連携: 数値計算の最強コンビネーション - Python転職初心者向けエンジニアリングブログ
こんにちは、皆さん。今回は、PythonとMATLABを連携させ、お互いの得意分野を最大限に生かしてプログラミングを行う方法に焦点を当ててみたいと思います。MATLABの豊富な数値計算ライブラリとPythonの柔軟性を組み合わせ、効率的で高度な数値計算を実現しましょう。 1. PythonからMATLAB関数を呼び出す まずは、PythonからMATLABの関数を呼び出す例を見てみましょう。MATLAB Engine APIを使用してPythonからMATLAB関数を呼び出すことができます。 Pythonのコード import matlab.engine # MATLAB Engineを開始 matlab = matlab.engine.start_matlab() # MATLABの関数を呼び出す result = matlab.sqrt(25.0) # 結果を表示 print('Res
非同期コードのテスト - RxJS Live London
原文(投稿日：2021/02/17)へのリンク RxJSコアチームの元メンバーであるJay Phelps氏は最近RxJSを活用する非同期コードをテストする方法を説明した。このリアクティブプログラミングライブラリは非同期プログラミングでAngularフロントエンドフレームワークで使用される。RxJSは時限シーケンスとライフサイクルイベントを表現するDSLを備えたテストAPIを提供する。 RxJSは、潜在的に無制限の値のシーケンスを生成するメカニズムを囲む Observable タイプを提供する。値のシーケンスは、プログラムの外部にあるソース (ボタンのクリックなど) から発生する場合もあれば、既存のシーケンスに適用される変換の結果として発生する場合もある。RxJSは、開発者がシーケンス (演算子など) を変換できるようにする追加のAPI、タイプ、およびメソッドを提供する。ソースとシーケンス
)
エクソソーム (小胞) - Wikipedia
エクソソームは、多胞体（MVB）を介した独特な経路で生合成される細胞外小胞である。 エクソソームまたはエキソソーム（英: exosome）は、大部分の真核細胞において、エンドソーム区画で形成される膜結合性の細胞外小胞（英語版）（extracellular vesicle、EV）である[1][2][3]。 多胞体（multivesicular body、MVB）は、エンドソーム内腔へ内向きに出芽する腔内膜小胞（intraluminal membrane vesicle、ILV）の存在によって定義されるエンドソームである。MVBが細胞膜へ融合した場合、ILVはエクソソームとして放出される。多細胞生物では、エクソソームや他のEVは組織中に存在するとともに、血液、尿、脳脊髄液を含む体液中にも含まれる場合がある。これらはin vitro（試験管内で）の研究では培養細胞から培地中へ放出される[4][5
Word2vec - Wikipedia
Word2vecは、単語の埋め込みを生成するために使用される一連のモデル群である。これらのモデルは、単語の言語コンテキストを再構築するように訓練された浅い2層ニューラルネットワークであり、大きなコーパスを受け取って一つのベクトル空間を生成する。このベクトル空間は典型的には数百次元からなり、コーパスの個々の単語はベクトル空間内の個々のベクトルに割り当てられる。コーパス内で同じコンテキストを共有する単語ベクトルは、ベクトル空間内の近くに配置される[1]。 Word2vecは、Googleのトマス・ミコロフ率いる研究者チームによって2013年に作成および公開され、特許を取得した。アルゴリズムは他の研究者によって分析され、説明された[2][3]。Word2vecアルゴリズムを使用して作成された埋め込みベクトルには、潜在的意味分析などの以前のアルゴリズム[1]と比べていくつかの利点がある。 CBoW
5.7 データベース：クエリビルダ Laravel
イントロダクションIntroduction データベースクエリビルダはスラスラと書ける(fluent)便利なインターフェイスで、クエリを作成し実行するために使用します。アプリケーションで行われるほとんどのデーターベース操作が可能で、サポートしている全データベースシステムに対し使用できます。Laravel's database query builder provides a convenient, fluent interface to creating and running database queries. It can be used to perform most database operations in your application and works on all supported database systems. LaravelクエリビルダはアプリケーションをS
アミロイドβ - Wikipedia
アミロイドβ（アミロイドベータ、英: Amyloid beta、略称: Aβ）は、アルツハイマー病患者の脳に見られるアミロイド斑の主成分として、アルツハイマー病に重大な関与を行う36–43アミノ酸のペプチドである[2]。このペプチドはアミロイド前駆体タンパク質 (amyloid precursor protein, APP) に由来し、β-セクレターゼとγ-セクレターゼによる切断によって産生される。Aβ分子は凝集し、いくつかの形態の柔軟な可溶性のオリゴマーを形成する。現在では、特定の誤ったフォールディング（ミスフォールディング）をしたオリゴマー（「シード」として知られる）が他のAβ分子のミスフォールドを誘導し、プリオンの感染と類似した連鎖反応が引き起こされると考えられている。このオリゴマーは神経細胞に対する毒性がある[3]。アルツハイマー病への関与が示唆される他のタンパク質であるタウタンパ
Railsガイドにきちんと目を通して新しい知識を得る - Action Controller の概要編 - - PLAY BALL
ドキュメントを読み込むのは大事、ということでRailsガイドを頭から読んでいく取り組みをしています。 各章ごとに、（Railsガイドにちゃんと書いてあるのに）知らなかった機能を雑にまとめていきます。 今回は、Action Controller の概要の章です。 railsguides.jp wrap_parameters リンクはこちら パラメータを受け取るときに、パラメータがコントローラに応じたキー名でラップされるようになる。 これはデフォルトではJSONのリクエストの場合は機能するようになっているようです。 例えば、JSONで{"title":"value1", "content":"value2"}を送ると、rails側で"book"=>{"title"=>"value1", "content"=>"value2"}のようにラップしてくれました。 ちなみに、falseを指定すると無効
6.x ヘルパ Laravel
イントロダクションIntroduction Laravelはさまざまな、グローバル「ヘルパ」PHP関数を用意しています。これらの多くはフレームワーク自身で使用されています。便利なものが見つかれば、皆さんのアプリケーションでも大いに活用してください。Laravel includes a variety of global "helper" PHP functions. Many of these functions are used by the framework itself; however, you are free to use them in your own applications if you find them convenient. 使用可能なメソッドAvailable Methods 配列とオブジェクトArrays & Objects メソッド一覧Method Lis
Javaのコマンドラインアプリケーション向けのフレームワーク、picocliで遊ぶ - CLOVER🍀
これは、なにをしたくて書いたもの？ ちょっと前から、picocliというJavaでのコマンドラインアプリケーション向けのフレームワークがあるのが気になっていまして。 picocli - a mighty tiny command line interface これまでJavaのコマンドラインアプリケーション向けのライブラリなどといえば、こちらを使っていました。 args4j parent - Args4j Commons CLI – Home 個人的にはargs4jをよく使っていましたね。 picocliもかなり良さそうなので、1度試しておこうかなと。 picocli 繰り返しますが、Javaのコマンドラインアプリケーション向けのフレームワークです。 picocli - a mighty tiny command line interface GitHub - remkop/picocli
0. はじめに こんにちは、株式会社D2Cデータサイエンティストの董です。 D2Cでは、広告配信を効率よく効果よく行うために様々な機械学習モデルを活用しています。 今回の記事では、大規模テキストコーパスを用いた言語モデルの学習にあたり、学習データにある準重複文書の除外テクニックについてご紹介します。 1. 開発環境 AWS EC2 (インスタンスタイプ: r5.8xlarge) Python 3.10系 2. Pythonパッケージ transformers scikit-learn 3. 広告文の準重複問題 テキスト広告では、キャッチコピーや宣伝文を少しだけ修正して複数回配信し、その効果を測定することがよくあります。また、シリーズ商品の説明文を同じテンプレートに従って大量に作成することも一般的です。 それゆえに、広告文を収集してテキストコーパスを作ると、準重複サンプル、つまり完全には重複
Bashに関する入門者向けのガイド BashはLinuxの標準シェルとして強力なスクリプト機能を提供します。この記事では、Bashの基礎的な使い方から実践的なスクリプトの書き方まで解説します。変数やif文、for文といった基礎構文や、文字列処理、変数置換、ループ処理などの実用テクニックを網羅しています。 第1章 Bashの概要Bashは、LinuxやmacOSのシステムで広く使用されているシェルおよびスクリプト言語です。主に、システムの管理や操作、タスクの自動化のために利用されます。Bashには次のような特徴があります。 コマンドラインインターフェースによる操作の実行 パイプラインを使用した複数のコマンドの連携 テキスト処理だけでなく、ファイルやプロセスの管理も可能 スクリプトを利用した処理の自動化 UNIXの伝統を引き継いだコマンド体系とシンタックス LinuxやmacOSなど多くのシス
![[入門] Bash Codex ~実践Bashによる効率的なシステム管理｜重盛 雅人](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9b24c08aafccc336af874c5679d03c8b2c32fc3/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F112284785%2Frectangle_large_type_2_0650a084da439e5d62260b59b52d4941.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
7.x Eloquent：利用の開始 Laravel
イントロダクションIntroduction Eloquent ORMはLaravelに含まれている、美しくシンプルなアクティブレコードによるデーター操作の実装です。それぞれのデータベーステーブルは関連する「モデル」と結びついています。モデルによりテーブル中のデータをクエリできますし、さらに新しいレコードを追加することもできます。The Eloquent ORM included with Laravel provides a beautiful, simple ActiveRecord implementation for working with your database. Each database table has a corresponding "Model" which is used to interact with that table. Models allow you
LibROSA：Pythonで手軽に始める音楽信号・データ分析 [2022年20月更新] - Wizard Notes
LibROSA とは？ 出典：https://librosa.github.io/ 「自分の好きな音楽をパソコンで分析したい！」 「音楽データで機械学習・ディープラーニングをやってみたい！」 「でも、音データの信号処理やデータの扱い方がよく分からない…」 と悩んでいるエンジニアの方は結構いらっしゃると思います。 理由としては、音信号専用のアルゴリズムが多いため、技術を理解して実装するには時間がかかってしまうが挙げられると思います。 しかし、この記事で紹介する Pythonの音楽分析用モジュール LibROSAを使えば、 数行~数十行の実装で音楽信号の分析ができるため、 「さくっと音楽信号分析をやってみよう！」 くらいの軽い気持ちで音楽信号分析のプログラムを実装することができます。 librosa.github.io また、LibROSA に実装されている短時間フーリエ変換（STFT）やメル
![LibROSA：Pythonで手軽に始める音楽信号・データ分析 [2022年20月更新] - Wizard Notes](https://cdn-ak-scissors.b.st-hatena.com/image/square/85c32636f318c94f76601e763e60f97861dfaa7b/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FK%2FKurene%2F20191101%2F20191101224318.png)
（報道発表資料） 2020年12月7日 日本電信電話株式会社 世界で初めて複雑なデータを無限の柔軟度で分類できる機械学習技術を実現 ～ヒトの脳のように自律的に適応する柔軟なAIの実現に向けて前進～ 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田 純、以下「NTT」）は、ネットワークやグラフを含む関係データ（例：ユーザの商品購買歴などの行列データ）解析のための機械学習技術として、事前にモデルの構造やパラメータが与えられない場合でも、これらをデータ駆動的（※1）に最適化して学習し、データをクラスタリングする手法を実現しました。 統計的機械学習技術の設計において、統計モデル・学習モデルの規模やパラメータの設定は、一般にデータ解析結果に大きな影響を及ぼす重要な問題です。しかし複雑化する現代において、データの規模も増大し、その特性も多種多様となり、モデルの規模やパラメータを、与えら
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery にニアリアルタイム連携を導入しようとしている話 — HACK The Nikkei
Game by ball 8
独自チップと新カメラユニットで写真体験はどう変わったか 「Pixel 6 Pro」レビュー
なぜGoでerrors.Newを都度呼び出すことが推奨されないのか
Locality Sensitive Hashingを用いた大規模コーパスの準重複文書排除
[入門] Bash Codex ~実践Bashによる効率的なシステム管理｜重盛 雅人
世界で初めて複雑なデータを無限の柔軟度で分類できる機械学習技術を実現：NTT持株会社ニュースリリース：NTT HOME