環境依存文字を含むデータをCSV形式でやりとりするには 人名や地名の中には、環境依存文字（異字体など）が含まれていることがある。環境依存文字を含むExcelのシートをCSV形式でやりとりしなければならない場合、文字コードにUTF-8を指定するとよい。なお画面の住所録は、「テストデータ・ジェネレータ」によって作成した架空のサンプル用のデータを記事用に修正したものである。 「Microsoft Excel（エクセル）」で作成した表を、CSV形式で保存し、別のアプリケーションに読み込ませることはないだろうか。また、取引先にデータを送る際に、XLSX形式ではなく、CSV形式が要求されることもあるだろう。逆にCSV形式で受け取ったデータをExcelで読み込んで処理したいというケースもあり得る。 このような場合、環境依存文字（機種依存文字）が含まれていると、CSV形式に変換する際に、正しく文字が出力さ
JVM系言語のSQLマッパーについてPostgreSQLの型への対応状況を比較検証 - orangain flavor
KotlinでWebアプリケーションを作るにあたり、SQLを直接記述できるタイプのO/Rマッパー（本稿ではSQLマッパーと呼びます）を探し求めました。 SQLマッパーに求める機能 SQLマッパーに求める機能はBindとMapです。この記事ではBindとMapを次のように定義します。 Bind SQLに埋め込んだプレースホルダー（名前付きが望ましい）に対応するパラメーター群を渡す機能。 例: SELECT ... WHERE price BETWEEN :minPrice AND :maxPrice のようなSQLに、minPriceとmaxPriceプロパティを持つオブジェクトを渡す。 Map 実行結果として得られた行をオブジェクトにマッピングする機能。 例: SELECT id, name, price FROM ... のようなSQLの実行結果を、id, name, price のプロ
この記事について この記事は Kaggleアドベントカレンダー の21日目の記事です。 昨日は u++ さんの【Weekly Kaggle News 2周年】クリック記事ランキング2021 でした。Transformer 強し。明日は @wokassis さんのワナビーからKagglerに〜コンペ所感〜です。 本記事では、2021年の NLP コンペの上位ソリューションから共通して使われている手法や方針を紹介します。 新しくNLPコンペに取り組む際に、基本的なことは試して次に何をすればよいかわからない、といった初学者向けに初期方針として参考になるかと思います。ある程度コンペに参加している人には「当たり前やろ〜」といった内容かもしれません。 2021年 NLP コンペ概要 2021年に終了したコンペは Coleridge Initiative - Show US the Data, Comm
先日、9月に終了した鳥コンペについて、反省会を開催させていただきました。 （発表資料は俺人さんのブログにきれいにまとめられています。） 私自身は、チームメイトの@daisukelabのおかげで銀メダルを取りましたが、 全く戦力外で、単なる傍観者にすぎませんでした。（お恥ずかしい） そのため、反省会でも発表する内容がありませんでした。 本稿ではコンペ終了後にlate subして、一矢報いたので内容をご報告します。 今回は異常検知にフォーカスした内容になっております。 鳥コンペとは ルールはこちらに書きました。ざっくりいうと 音データから、264種類の鳥の鳴き声を推測する問題 各鳥の音源は9～100個用意されている ただし、264種類以外の鳥、もしくは関係のない音の場合、"nocall"ラベルを付与する nocallは、学習データには含まれないのにも関わらず、テスト時にはラベル付けをしないと
年間約1000万人が衣料品などを買うZOZOTOWN。そのシステムの一部はオンプレミス環境からMicrosoft Azure、AzureからAmazon Web Services（AWS）という2段階の移行ステップを経てクラウドへ移行した。福袋の販売時などのアクセス集中にも耐えられる電子商取引（EC）システムへと刷新を進める。 ZOZOTOWNは2004年にサービスを開始して以来、データベース（DB）サーバーのスケールアップで利用者の増加をしのいできた。ただスケールアップにも限界があると判断し、クラウド移行によってスケーラビリティーを担保する方針を決め、システム刷新プロジェクトを2017年に立ち上げた。 翌2018年4月に発表した中期経営計画でZOZO（当時はスタートトゥデイ）は、2020年3月期の商品取扱高を5080億円にする目標を掲げた。2018年3月期の商品取扱高は2705億円であり
Photo by Lukas Tennie from unsplash はじめにおしごとにて Prisma ORM を使った Node.js + TypeScript なバックエンドサービスを開発・運用しています。 Prisma を利用する上で、テストの書きづらさがあったため、OSS を 2 つほど作って改善しました。今回のエントリでは、この 2 つの npm パッケージを中心に、Prisma のテスト周りについて書いていきます。 https://github.com/Quramy/jest-prisma : 実 DB を使ったテストを書きやすくするためのツールhttps://github.com/Quramy/prisma-fabbrica : テストデータのセットアップを書きやすくするためのツールどちらについても、無いからと言って Prisma を利用したアプリケーションのロジックがテ
ポジティブ？ネガティブ？ツイートの感情分析にBERTを活用した事例紹介 〜 学習データのラベル偏りに対する取り組み
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、自然言語処理システムを開発している山城です。今回はYahoo!リアルタイム検索の一機能である感情分析機能の紹介と、そのシステム刷新作業の一環として行ったラベル偏り改善の取り組みについて解説します。 リアルタイム検索とは？ツイートから受ける印象を推定しよう！ Yahoo!リアルタイム検索というサービスがあります。ユーザーはこちらを用いて、Twitterに投稿されたツイート（つぶやき）が検索できます。 たとえばユーザーが『月曜日』という単語を入力すると、直近数時間のうちにつぶやかれた『月曜日』という文字列を含むツイートが集められて、その単語に関するさまざまなコメントが閲覧できます。 ところで、リアルタイム検索ではその部分コ
こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 この記事では、弊社で配信しているニュースアプリであるグノシーのパーソナライズアルゴリズムを刷新した話について書きたいと思います。 アーキテクチャの部分まで含めて記事にしてしまうと非常にブログが長くなってしまうので、本記事ではリアルタイム性の高い重要なニュース記事についてどのようにレコメンドするかについて注目して述べます。 アーキテクチャの部分についてはブログ後編のアーキテクチャ編にて書きたいと思います。 後編はこちら data.gunosy.io ニュースアプリのパーソナライズ グノシーにおける旧来のパーソナライズアルゴリズムとその課題 グノシーの新しいパーソナライズアルゴリズム オフライン実験とA/Bテスト おわりに ニュースアプリのパーソナライズ グノシーというニュースアプリで
MITの研究者が、人工知能（AI）の機械学習モデルの評価に使われている有名なデータセットの中に、誤ってラベル付けされたデータが多数含まれていることを発見した。最も優れていると見なされていたAIモデルが、実はそうではなかったという事態が発生するかもしれない。 by Karen Hao2021.04.05 272 73 20 23 人工知能（AI）の研究で最も利用されている10種類のデータセットには、ラベル付けに多数の誤りがあることがマサチューセッツ工科大学（MIT）の新たな研究でわかった。AI分野の進歩に対する私たちの認識は正確なものではなかったということだ。 データセットはAI研究の中核となるものだが、そのデータセットの中でも特に重要度が高いものがある。AIの能力が時間を経るにつれてどう向上しているかを調べるために機械学習モデルの評価に使用される、核となるデータセットが存在するのだ。よく知
特定の製品を買う前に、Googleで検索してその評価を知るため、さまざまなレビューサイトを参考にするという人は多いはず。レビューサイトのHouseFreshが「Googleの検索結果に登場するレビューの信頼性が、有名雑誌や有名メディアによって下がっている」と訴えています。 How Google is killing independent sites like ours - HouseFresh https://housefresh.com/david-vs-digital-goliaths/ Googleは2021年4月に、「自身の体験や独自の調査結果に基づいたレビューを扱うコンテンツの評価を上げる」というプロダクトレビューアップデートを発表しました。 2021 年 4 月の Google 商品レビューの更新情報についてクリエイターが知っておくべきこと | Google 検索セントラ
WebのE2Eテスト自動化〜ツール選定編〜
こんにちは！ 株式会社ココナラのプロダクト開発部 QA チーム所属のまると申します。 弊社では現在リリース時のリグレッションテストの大部分を手動かつモンキーテストで実施しています。そのためテスト工数が高く、さらにテスト漏れも発生し、予期せぬ機能で障害が発生してしまうことがありました。 この状況を鑑み、QA チームではテスト効率化とプロダクト品質の更なる向上を目指し、今期からWeb の E2E テスト自動化を再整備しています。 本記事で自動化ツールの評価を行い、Playwrightを選定するまでのプロセスを記載します。 前提 テスト自動化ツールAutifyを利用して、定性的に重要と判断された一部機能を対象にリグレッションテストを自動化している 現状の課題 ツール制約上、対応できない機能が発生している 現状の自動化率は 50%未満 全テストケースを実行するとテスト実行完了までに半日要する 画面
【開催報告＆全資料まとめ＆QA公開】Amplify Meetup #02 | Amazon Web Services
Amazon Web Services ブログ 【開催報告＆全資料まとめ＆QA公開】Amplify Meetup #02 新年明けましておめでとうございます！アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクトの木村公哉（@kimyan_udon2）です。私は年始早々、厳かな気持ちでこのブログを書き始めたのですが、気づけば2月に突入しておりました。皆様いかがお過ごしでしょうか？ 年をまたいで2020年11月27日に「Amplify Meetup #02」を開催しました。「Amplify Meetup」はAWS AmplifyのユーザーとAWS Amplifyに興味のあるエンジニアのみなさんでLTなどを通して盛り上がるコミュニティーイベントです。タイトルに「#02」とありますように、今回は第2回目の開催となります。第1回目の盛り上がりも開催報告ブログにまとまっております。継続し
Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力
K-Meansは個人的にも好きなアルゴリズムで、教師あり学習を必要とせず、混沌とした中からパターンを見つけ出してくれる可能性があります。 実際、実践で使うとそのような都合の良いデータはほとんどなく、むしろ 仮説を否定する場合に使う方が現実的かもしれません。 自分の場合、顧客のセグメント分けに使うことが多いです。 ステップ 1. ランダムに k 個のデータポイントを初期のセントロイドとして選ぶ。 ステップ 2. トレーニングセット内のデータポイントと k 個のセントロイドの距離（ユークリッド距離）を求める。 ステップ 3. 求めた距離に基づいて、データポイントを一番近いセントロイドに割り当てる。 ステップ 4. 各クラスタグループ内のポイントの平均を取ることでセントロイドの位置を更新する。 ステップ 5. ステップ 2 から 4 をセントロイドが変化しなくなるまで繰り返します。 以下、シンプ
はじめに こんにちは、Techouseに2023年に新卒入社し、ジョブハウスでバックエンドエンジニアをしているozachunです。 Techouseでは、エンジニアとしてより高みを目指すための刺激を与えることを目的に、新卒向けの研修を実施しております。本記事では、その一環として2024年4月に開催した『OSS Gate ワークショップ』について紹介させていただきます。 OSS Gate ワークショップは、OSS Gateが主催する、OSS開発に参加する「入り口」を提供するワークショップで、株式会社クリアコード様を講師としてお招きしました。 当日は、「OSSとは？」「なぜOSS開発のワークショップを行うのか？」といった座学から、どうやってOSSにIssueやPull Requestを提出すれば良いのかなど具体的な手順まで丁寧にご指導いただきました。 OSS Gate ワークショップの流れ 当
実際にscikit-learnで出力されるPrecisionやRecallを事例に、適合率と再現率の意味を説明しようと思う - Qiita
実際にscikit-learnで出力されるPrecisionやRecallを事例に、適合率と再現率の意味を説明しようと思う機械学習scikit-learn分類Precisionclassification_report 分類モデルの評価指標として、適合率や再現率などがあります。Web上で多くの解説記事がありますが、scikit-learnのclassification_reportに表示される各指標を読み解くためには、プラスアルファの理解が必要です。この記事では、実際にscikit-learnで出力される内容を例にして、適合率と再現率の意味を解説します。 Webとかでよくある説明 機械学習で分類モデルを評価するとき、正解率(Accuracy)、適合率(Precision)、再現率(Recall)、F1-scoreなどの評価指標をよく利用します。これらの解説として、以下のような2値分類の説明
Kaggle Advent Calenderの14日目の記事です。13日目はあらいさんの記事「CompetitionだけではないKaggleの魅力」でKaggleのCompetition以外の部分を非常にわかりやすくまとめてくださっています。15日目はちずちずくんの記事「機械学習実験環境を晒す」で、こちらもとても勉強になりましたのでぜひご覧ください。 私の記事では2020年にKaggleで開催された画像分類コンペの1位の手法を振り返っていきたいと思います。コンペ終了後に金メダルだったチームが共有してくれる解法はどれも勉強になりますが、1位のチームはその中でも特に磨きがかかっているものが多いと思います。この記事ではコンペの概要や難しかったところをまとめつつ、金メダルの中でも特に差を分けて1位になったところを私なりに分析できればと思っています。 ホントは画像を含むすべてのコンペを紹介したかった
私は選択定年退職するまでの30年間大手製パン企業で製品開発業務(と言っても機械屋さん目線です)に携わってきましたが、そこではパンの作り方だけではなく、パンの食べ方についてもいろいろと調査・検討してきました。 最近は食パンをそのまま生で食べるシーンも増えている感が出てきましたが、やっぱりオーソドックスなのはトーストしてカリカリ(外)、もっちり(内)の食感を楽しむところにあるのでは、と思っています。 今回は、その為の家電機器・トースターについて、熱源であるヒーターをテーマに解説していきたいと思います。 【 目次 】 トースターについて アラジン 食パントースト時の変化 食パンをトーストするメカニズム あとがき トースターについて トースターは家電製品の中では比較的お手頃感があります。 そのようなトースター市場に、ネット販売価格でもゆうに1万円越えの高額機種が登場しました。 アラジン 上部ヒータ
はじめに 自己紹介 2020年10月よりWeb系受託開発企業でWebエンジニアとしてのキャリアをスタートさせ、現在はとあるSaaS企業でバックエンドエンジニアとして働くシンオクと申します。以前は航海士として国際貨物船での操縦や航海計画立案・貨物管理をしながら、インド洋・アラビア湾・シンガポール海峡・パナマ運河・カリブ海などの文字通りの大海原を航海しておりました。 なぜこの記事を書いたのか 紆余曲折を経て航海士という珍しい経験がありながら現在はフルリモートで働くWebエンジニアとして自宅からネットの海にどっぷり浸かっているのですが、時たま参加する技術イベントで初対面の方から「え？何？航海士からエンジニアってどういうこと？」と強い興味（困惑??）を持ってもらえることが多く、「文字に起こしてみたら面白いんじゃないか？」という思い付きでこの記事を書き始めました。 どんな人に読んで欲しいのか 内容の
Googleが今後28日間の新型コロナ感染者数・死亡者数などを示す「COVID-19 感染予測 (日本版)」はどういう仕組みと根拠で最終的な予測を出しているのか？
Googleが新たに公開した新型コロナ感染者数・死亡者数予測ツール「COVID-19 感染予測(日本版)」について、日本の厚生労働省は「前提条件によって結果は大きく異なる」という理由から、どのような前提条件を採用しているのかに関して問い合わせを行っています。一方、このCOVID-19 感染予測(日本版)の大本となった仕組みと根拠については、論文が公開されています。 Interpretable Sequence Learning forCOVID-19 Forecasting (PDFファイル)https://storage.googleapis.com/covid-external/COVID-19ForecastWhitePaper.pdf 2020年11月17日、Googleが日本における新型コロナウイルス感染症(COVID-19)の死亡者数・陽性者数・入院・療養等患者数を予測するツー
こんにちは、データサイエンティストの堀部です。 この記事はEnigmo Advent Calendar 2022の16日目の記事です。 普段の業務では情報検索(検索/レコメンド)、不正検知、ユーザー属性の推定などをBUYMAにプロダクトとして組み込むことを行っています。その中でもモデリング以前のタスク設計や探索的データ分析(EDA: Explanatory Data Analysis)、データのクレンジング・前処理、特徴量エンジニアリングなどを主にSQL(BigQuery)で行う部分に多くの時間を割いています。1 今回は、違和感のある予測結果から気づいた傾向を元にデータの前処理を追加したことでモデルの精度改善につながった一例を紹介いたします。 概要 気づいた経緯 検出方法 結果 まとめ おまけ 概要 データから機械的な(ボットのような)アクセスを除外したことで、機械学習モデルの精度が改善し
どうも、オリィ研究所の ryo_grid こと神林です。 こんにちは。 時系列データに対するディープラーニング適用の一例として、深層強化学習（DQN）させたトレードエージェント（まともなパフォーマンスを発揮する）のモデルを作成し、FX自動トレード（のシミュレーション）をするということにトライしてきました。 深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita 【続】深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita 【成功】深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita 【LSTM導入版】深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita このテーマに
Microsoft Custom Vision Service を使用した鼓膜画像認識 - Qiita
概要 プログラミングの勉強を始めて5か月程の開業医です。 他分野に遅れながらも医療業界でもAIの新たな技法が開発・改良されています。すでに心電図・内視鏡・MRI・CT・眼底・病理などの画像診断の研究が進められていますが、耳鼻科領域での報告はほぼありません。 今回、様々な鼓膜の写真をMicrosoft Custom Vision Serviceにまとめて学習させることで急性中耳炎か滲出性中耳炎か正常鼓膜かを判断させ、その診断精度を計測してみました。 使用した鼓膜画像は画像認識技術開発のために使用することに同意いただいたものを匿名化し使わせて頂きました。 方法 1.Microsoft LearnとAzureアカウントの取得 こちらを参考に outlook.jp のアカウントを作りました。 MicrosoftアカウントのOutlookメールアドレスを取得する方法 - Qiita 2.Displa
AWS Glue で機密データを処理出来る Sensitive data detection API に日本向けのデータパターンが追加されたので試してみた | DevelopersIO
AWS Glue で機密データを処理出来る Sensitive data detection API に日本向けのデータパターンが追加されたので試してみた いわさです。 AWS Glue では、データに含まれる機密データを処理するための Sensitive data detection API という機能があります。 これまで日本語圏のデータはサポート範囲が限定的だったのですが、本日のアップデートでいくつか日本および英国のデータタイプがサポートされるようになりました。 本日は日本のダミーデータを用意して検証を行ってみました。 Glue Studio でジョブを作成 Sensitive data detection API の利用方法です。 AWS Glue Studio で Detect Sensitive Data アクションが用意されていますのでそちらを利用します。 以下のように Gl
これから読む君へ、さきにひとつ謝っておこう。 華々しい本番やらかしの告発が連なるこのカレンダーにおいて 今夜語る事件はあまりにも些細で地味なものだ。 そうさ、些細だが 1円を笑うものが1円に泣くように 1行を笑うものは1行に泣く。 データってやつに裏切られたくなかったら しっかり両目を開いて見つめるんだ。 むろん、ブルーカット眼鏡も忘れずにな！ ※年数がたっていて記憶がおぼろげなのをいいことに だいぶフィクション感てんこ盛りでお送りしたいと思います。そして小説風に便乗する輩。 当時ぼくは零細SESの中でも、体育会系の空気を馬鹿にしきっていたので 逆に年かさのオジサンたちからは、素行の悪い輩だと目をつけられていた。 僻地での開発案件でけだるく過ごした後、あたらしく配属された常駐現場は やる気のないやつはこれでもやってろと言わんばかりに 初めて運用の現場での契約となった。 斜にフーンと構えるぼ
はじめに こんにちは。ビジネスチャットサービス Typetalkを開発・運用している吉田です。先日PostgreSQLでのALTER文をいかに無停止で安全に行うかという記事を公開しました。その中で以下のようにNULLを不許可にしたカラムを追加する際の注意点について述べていました。（参照 NULLを不許可にしたカラムを追加する） 新しいカラムを追加する際、NULLを不許可にしたいことがあります。その場合よく使われるのがALTER TABLE構文で同時に追加できるNOT NULL制約です。このNOT NULL制約をつけるためには、既存レコードにデフォルト値を設定する必要があるため、DEFAULT構文を同時に使用することになります。 ALTER TABLE todo ADD COLUMN completed BOOLEAN NOT NULL DEFAULT false; この構文は自動的に既存の
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。能見氏は、「Time-series code competition」で生き残るために重要な4つのポイントについて発表しました。全2回。後半は、コード構成とエラーハンドリングについて。前半はこちら。 コード構成とデバッグ 能見氏（以下、能見）：次はコード構成とデバッグの話です。Time-seriesコンペに関して、Kaggle環境でコードを書き切るのは、コード量が多くなるのでけっこうつらくなりがちです。そのため、手元で書いてGitで管理することをおすすめします。ただ、Time-seriesコンペでは信頼性の高い、わりと複雑なコードを書かなければいけないので、デバッグやテストの管理がしやすいように書きたいというのもあるかなと思っています。 自分がやりやすい方法で書くの
SREチームの中村です。2019年は弊社のエンジニア採用はありがたいことに好調で、たくさんのエンジニアに入社していただきました。2018年比で人数としては2倍近くになっています。 2019年のエンジニア採用戦略についてはVP of Engineeringによる以下の記事に詳しく載っていますのでぜひ御覧ください。 tech.toreta.in 一緒にプロダクトを前に進める仲間が増えることは非常に嬉しいことです。しかし、新規メンバーを迎える側である我々が考えておくべき点がいくつかあります。 新しいエンジニアを迎えるときに考えておくこと 弊社が提供するプロダクト群はバーティカルSaaSです。バーティカルSaaSとしてのトレタについては、弊社代表の以下の記事に詳しく載っていますので、詳細はそちらを御覧ください。 note.com バーティカルSaaSは特定の産業の課題に深くフォーカスしなければなり
PHP カンファレンス沖縄 2021に4名のメンバーが登壇・ゴールドスポンサーとして協賛しました - BASEプロダクトチームブログ
この度は、5/29(土)にオンラインで開催された PHP カンファレンス沖縄 2021 にゴールドスポンサーとして協賛し、また 4 名のメンバーが登壇しました。 登壇者 4 名から発表内容の補足など、PHP カンファレンス沖縄 の参加レポートをお届けします！ phpcon.okinawa.jp 発表内容と補足 杉浦のセッション内容について こんにちは！BASE 株式会社でバックエンドの開発をしている杉浦（yutakasugiura）です。この度、PHP カンファレンス沖縄 で、BASE のスポンサートークとして「変化する時代のエンジニアリング」について発表させていただきました。 発表内容の意図 PHP に関するカンファレンスでしたが、スポンサーセッションの発表内容は PHP 以外のことでも良いとのことでしたので、広い意味でエンジニアリングについてお話ししました。普段の業務におけるエンジニア
（本記事は、電子情報通信学会 通信ソサイエティマガジンB-plusに掲載予定のエッセーをベースにして動画等を埋め込んだ形に再編集したものです。編集部の許可を得て公開します） はじめに動物学者でありシュルレアリスムの画家としても知られるデズモンド・モリスは、アートを「脳を楽しませるため、日常的なものから非日常的なものを作り出すこと」と定義した（1）。人文学的にもっと洗練された定義はあるだろうが、脳がアートに介在しているのは確かだろう。アート体験の基盤は、知覚・記憶・感情などに関わる脳の機能である。文化的・歴史的な解釈も重要だが、それらも脳にコードされる情報と考えることもできる。脳が美や醜にどのように反応するかを脳イメージング等を用いて解明する「神経美学」という研究分野も生まれている（2）。 アートの制作にも脳は不可欠であろう。手や指の運動は脳によって制御されているし、制作中の作品を評価しなが
はじめに 問題点 ベンチマークテスト(Sampleコードで実演) 計測方法 パターン1: Identifiableに適合したデータのリスト表示 ベンチマークスコア パターン2: リスト内ボタンの表示 ベンチマークスコア ベンチマーク結果 問題発覚と調査 解決方法 改善とその結果 パターン3: UIViewControllerRepresentableを利用したリスト表示 パターン4: 従来通りのUIKitのUITableViewを利用したリスト ベンチマーク結果 改善の結果 総括 We are hiring! N予備校春の入学無料キャンペーンのお知らせ はじめに こんにちは。N予備校iOSアプリ開発チームです。 以前、N予備校iOSアプリへ SwiftUI を導入するまでの道のりについてという記事を書かせていただきました。今回は導入しSwiftUI化を一部の画面で行った結果、どうなったかを
ぶらり組込みRustライブラリ探索の旅 BBQueue編 -スレッドセーフなSingle Producer Single Consumer Queue- - Nature Engineering Blog
ファームウェアエンジニアの中林 (id:tomo-wait-for-it-yuki) です。あけましておめでとうございます。 今年の目標はNature Remoのファームウェア開発にRustを導入すること、です。そこで引くに引けない状況を作り出すためにRustに関するブログエントリを書き、既成事実を積み上げていきます。 ぶらり組込みRustライブラリ探索の旅、と題して組込みRustで使えるライブラリをゆるく紹介していくシリーズをやりたいと思います。第一弾はBBQueueです。 BBQueue 本エントリ内で紹介する使い方や内部実装は、v0.5.1をもとにしています。 github.com https://docs.rs/bbqueue/0.5.1/bbqueue/ 特徴 BBQueueはno_stdで使えるだけでなく、スレッドセーフで、排他制御なしに使える Single Producer
こんにちは。SmartHR 情報セキュリティグループ所属の @sasakki- と申します。 最近何かと話題の多い大規模言語モデルをはじめとしたAIサービスに関して、先月クラスメソッドさんから利用ガイドラインが公開されましたが、SmartHRでも利用方針を作成したので内容をご紹介します。 ＊弊社のAI活用方針は、「SmartHR AI活用ポリシー(https://smarthr.co.jp/ai-application-policy/)」をご確認ください。 背景 3月初旬にChatGPT APIが公開されて以降、社内から利用にまつわる会社としての考え方を求める声が高まってきたことから、利用方針をとりまとめることにしました。 利用方針 考え方 情報ごとの取り扱いを定めた”基本方針”と、基本方針内で使う上で”注意してほしいこと”の２つのパートで構成しました。 基本方針は、元々社内で定義していた
Visual Regression Testが誤検知した動画やアニメーションの問題解決 - Uzabase for Engineers
NewsPicksのWeb Reader Experience Unitで学生インターンをしています。西(@yukinissie)です。 弊チームの開発基盤では、reg-suitやstorycapを利用したVisual Regression Test（以降 VRT）を導入しています。本ブログではVRTが誤検知した動画やアニメーション周りの問題に対してどのように解決したかをそれぞれご紹介します。 VRTの誤検知とは？ 行ったこと 1. 既存のコードに触れずにReactPlayerの再生をテスト時には静止させる 2. 描画に時間を要するアニメーションには撮影に遅延秒数を設定する まとめ VRTの導入背景や導入の流れについて知りたい方へ VRTの誤検知とは？ 弊チームではVRTを以下の6ステップで行なっており、これらはGitHub Actions（CI）上で自動化されています。 Storyboo
LLMの「創発」は幻影か
3つの要点 ✔️ 大規模言語モデルで観察される創発を検証 ✔️ LLMの創発は評価指標が見せる幻影である可能性を示唆 ✔️ LLM以外のモデルにおいて特定の評価指標を用いることで意図的に実際には発生していない創発を再現することに成功 Are Emergent Abilities of Large Language Models a Mirage? written by Rylan Schaeffer, Brando Miranda, Sanmi Koyejo (Submitted on 28 Apr 2023 (v1), last revised 22 May 2023 (this version, v2)) Comments: Published on arxiv. Subjects: Artificial Intelligence (cs.AI); Machine Learning (
価値観が大きく変化する今こそ、インナーブランディングが必要だ。そんな問題意識で企画した特集の第3回は、猫好きの間で話題の商品「Catlog（キャトログ）」を開発したスタートアップ。バイオロギングや機械学習を活用したユニークなビジネスは、「すべては、猫様のために。」という共感が推進力だ。 今回の特集は、企業のDNAともいうべきビジョンをもう一度点検して再構築する、あるいは、曖昧なのであればそれを明確にして共有する作業──つまりインナーブランディングが今、重要になっているのではないか、という問題意識からスタートした。 方法論は様々あるが、自社が提供する価値が時代とずれてしまっている大企業も、それをうまく言語化できずにいるスタートアップも、「ビジョンを明確にして、共有する」という必要性においては同じだろう。 特集3回目は、非常にユニークな商品を手がけるスタートアップを取り上げる。猫好きのための商
Geppoでバックエンドエンジニアをしている@yks0406です。日本酒で膨らんだお腹を凹ませるために、片道8キロの道のりを毎朝毎晩自転車で通勤しています。これまではRailsを中心にバック/フロントどちらも対応するスタイルで開発してきましたが、1年前Geppoにジョインしてからはバックエンドをメインに開発しています。 今回はGeppoに activerecord-multi-tenant を導入した際の話です。 導入の検討を開始したのが2018年1月あたりで、実際に導入が完了したのは2019年10月です。方針決定までに1年4ヶ月、開発に6ヶ月かかりました。途中空白の期間が発生してはいるものの、なかなかの作業ボリュームでした。 ※この記事はHR Tech Advent Calendar 2019の最終日の記事です マルチテナンシーって何？ 1つのサービスで複数クライアント（つまりテナント）
チャット・コントロールとはここ数年EUでくすぶっている問題がチャット・コントロール（chat control）である。CSAM（児童性的虐待コンテンツ）やグルーミング（児童性加害者が未成年者をインターネットなどを介して手なずける行為）の防止策と称して、チャットだけではなくありとあらゆるオンライン・コミュニケーションをリアルタイムで監視し、検閲することを目的とした施策を導入しようとする動きが続いている。ベルギーやスウェーデンの政治家などに強力な推進者がいるため最近では立法化がかなり懸念されていたが、暗号やセキュリティの専門家、プライバシー擁護派や人権活動家、メッセージング・サービスの運営会社、そして政治家といった様々なバックグラウンドを持つ人々が連携した反対運動が功を奏し、先週予定されていたEU理事会での採決は、過半数を取れる見込みがないということで延期に追い込まれた。しかし今後も推進派はあ
｜目次 1. はじめに 2. MLOpsとは 3. VertexAIの概要 4. Vertex Pipelineについて -概要 -コンポーネントの実装例 -パイプラインの実装例 -Vertex PipelineでのKubeflow Pipelineの実行 5. まとめ 6. 参考資料 ｜1. はじめに 株式会社CAMで機械学習エンジニアをしています原 和希です。 データ分析から機械学習モデルの作成、そしてMLOps基盤の構築を担当しています。 今回はMLOps基盤の構築をトピックとして、弊社で導入している「VertexAI」という、GCP 上で MLOps 基盤を実現するためのサービスを紹介します。 本記事は前編と後編に分かれています。 この前編ではMLOpsについてと機械学習パイプラインを実現するためのサービスであるVertex Pipelineについて詳しく解説をします。 後編では、
Apple Watchで血圧測定可能にする新たな特許申請〜睡眠中もセンサーで自動計測 - iPhone Mania
Appleが、Apple Watchで血圧測定を可能にする新たな特許を、米国特許商標庁（USPTO）に申請したことが明らかになりました。今回の特許をもとにした実製品が登場した場合、腕を圧迫するカフ（空気袋）を用いることなく、Apple Watchを装着しているだけで睡眠中も含め、連続的に血圧を計測することが可能になると期待されます。Appleは既に、Apple Watchのバンドにカフを内蔵して血圧測定を行う特許も申請済みです。 Apple Watchでの血圧測定を実現する2つの特許 USPTOが2020年11月26日付けで公開したAppleの特許申請は、Apple Watchを使用した血圧測定に関するものです。 連続的な血圧測定で、無自覚の高血圧症状も発見できる？ 申請された特許は、「生体電気信号を用いた脈波の到達時間（PTT：Pulse Transmit Time）による血圧測定」とい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Excel CSV形式ファイルにおける今どきUTF-8文字コード問題の傾向と対策
2021年のKaggle NLPコンペソリューションの共通戦略から学ぶ - Qiita
【Kaggle】鳥コンペ一人反省会 -異常検知編- - Qiita
AzureからAWSにくら替え決断、ZOZOTOWNシステム刷新の裏側
Integrated testing with Prisma
グノシーのパーソナライズアルゴリズムを刷新した話 (モデル編) - Gunosyデータ分析ブログ
AIモデル評価用データセットに多数の誤り、実は優秀ではなかった？
Google検索して上位に出る有名雑誌のレビュー記事は信頼性が低いかもしれない、その理由とは？
Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か
K-Meansクラスタリング scikit-learnを使わずゼロから実装する(Python)｜｜es
OSS Gate ワークショップ 2024 - Techouse Developers Blog
【Kaggle】2020年に開催された画像分類コンペの1位の解法を紹介します - Qiita
トーストしてパンをおいしく食べるには！ ～ ヒーター編・アラジン - 黒猫サンタさんのパン作りブログ
テンショク・ジャーニー —航海士だった僕が、SaaS企業でエンジニアとして働き始めるまで—
セッショナイズで機械学習モデルの精度を改善した話 - エニグモ開発者ブログ
深層強化学習（DQN）で学習するFXトレードエージェントを作ってみた - Qiita
あの夏の抽出件数を僕はまだ忘れていない - Qiita
PostgreSQL 11でALTER TABLE ... NOT NULL DEFAULTが簡単になっていた | 株式会社ヌーラボ(Nulab inc.)
ポイントを押さえればTime-seriesコンペは怖くない 堅牢で速いコードを書くためのテクニックと心構え
Engineering Onboardingの設計 - トレタ開発者ブログ
脳をくすぐるアート｜神谷之康（Yukiyasu Kamitani）
N予備校iOSアプリへ SwiftUI を導入してみて List編 - ドワンゴ教育サービス開発者ブログ
AIサービスの利用方針を定めました - SmartHR Tech Blog
「すべては、猫様のために。」 秀逸コピーが好調企業の推進力に
ActiverecordMultiTenant でマルチテナンシー｜yks0406
チャット・コントロールとの戦い（八田真行） - エキスパート - Yahoo!ニュース
Vertex AIを活用したMLOpsの実現【前編】 | 株式会社CAM