はじめに 2019年もあと少しで終わりです。 皆様、いかがお過ごしでしょうか。 年末といえば、紅白、ガキ使、そろそろ仕事にも慣れてきた頃にやらかしてしまった入社2年目社員のQiita記事 がつきものですね。 本記事では、今年の夏にアノテーション作業になめてかかり心が壊れた2年目社員(＝私)の記録を紹介したいと思います。 ※本記事はやめ太郎氏リスペクトでお送りします！ 第0章 チュートリアル ～アノテーションとは～ 皆さんは機械学習におけるアノテーションをご存じでしょうか。 教師あり学習において、モデルの作成には教師データが必要不可欠です。 例えば、画像から犬と猫を判別するようなモデルを作成するには犬と猫の画像を学習させる必要があります。 このとき、学習させる画像に「これはイッヌ」「これはネッコ」という風にタグをつけます。 この作業のことをアノテーションといいます。 一般的に、質の高いモデル
一番好きなゲーム カプコンファンの「好きなゲーム」 コメントを一部ご紹介！ Share コメントは一部抜粋して掲載しております。ご了承ください。 私の一番のお気に入りゲームは「ディノクライシス」です 90年代子供の頃、カプコンのロゴを見ると「これはいいゲームに違いない」と感じていました。カプコンのロゴがついてれば、ゲームのことを全然知らなくてもやってみました。一番のお気に入りゲームは「ディノクライシス」です。これらの素晴らしいゲームがリブートやリメイクをされたりするなら喜んでお金を使います。ありがとうございます。 デビルメイクライ5はトロコンもして、今も遊び続けています！ ふとしたきっかけで手に取ったデビルメイクライ3からゲームにハマり人生が変わりました。1〜5まで遊び、5はトロコンもして、今も遊び続けています！ダンテさんが大好きです！続編、リメイクなど期待しています。グラフィックと音楽も
Firestoreセキュリティルールの基礎と実践 - セキュアな Firebase活用に向けたアプローチを理解する - Flatt Security Blog
こんにちは、株式会社Flatt Security セキュリティエンジニアの梅内(@Sz4rny)です。 本稿では、Cloud Firestore (以下、Firestore) を用いたセキュアなアプリケーション開発を行うためのアプローチについて説明するとともに、そのアプローチを実現するセキュリティルールの記述例を複数取り上げます。 本稿を読むことで、そもそも Firestore とは何か、どのように Firestore に格納するデータの構造を設計、実装すればセキュアな環境を実現しやすいのか、また、Firestore を利用するアプリケーションにおいてどのような脆弱性が埋め込まれやすいのかといったトピックについて理解できるでしょう。 なお、本稿は以前に投稿した記事と共通する部分があります。理解を補強するために、こちらの記事も適宜ご覧ください。 flattsecurity.hatenablo
政府の緊急事態宣言を受けて東京都心を訪れる人の数は大幅に減っていますが、平日だった今月10日のビッグデータからは、出勤者が７割減るまでには、なお距離がある現状も見て取れます。 それによりますと、緊急事態宣言のあとの今月10日に東京23区を訪れた人の数は合わせて185万9000人でした。 これは１週間前、宣言が出る前の今月３日と比べると20.2％、１年前の去年４月10日と比べても29.1％の減少で、大幅に減ってはいるものの３割程度の減少にとどまっているとも言えます。 オフィスや官公庁が多く集まる千代田区について見ると、今月10日に訪れた人は53万2000人で、１週間前に比べて27.7％、１年前に比べて43.5％の減少になっています。 同じく港区は今月10日に訪れた人が47万2000人で、１週間前に比べて28.4％、１年前に比べて45.9％の減少になっています。 このようにオフィス街で見ても減
中東イスラエルの医療保険制度を担う機関は、新型コロナウイルスの3回目のワクチン接種の有効性について、60歳以上では発症を予防する効果が86％と推定されるという調査結果を発表しました。 16歳以上の8割以上が2回目のワクチン接種を終えているイスラエルでは、一時、感染者が激減しましたが、感染力が強い変異ウイルス「デルタ株」の拡大にともなって再び増加し、連日8000人前後の感染が確認されています。 また、過去1か月に重症化した人のうち、8割が60歳以上だったということです。 このため、イスラエル政府は現在、50歳以上への3回目の接種を進め、60歳以上では、すでに半数以上が接種を終えています。 こうした中、医療保険制度を担う団体の一つ「マッカビ」は18日、ファイザーのワクチンについて、60歳以上を対象にした3回目の接種の初期段階の調査結果を発表しました。 それによりますと、3回目の接種を終えた14
SREチームの長田です。 KAYAC Advent Calendar 2022の11日目の記事です。 アプリケーションから何かしらの外部サービスを利用するとき、そのサービスを利用するためのAPI Keyなり秘密鍵なりの秘密情報を保持することになります。 暗号化したものをファイルとしてアプリケーションに持たせたり、 Amazon Web Services(AWS)ならAWS Secrets Managerや AWS Systems ManagerのParameter Store(SSM Paramater Store)に保存したものを実行時に読み込んだりするでしょう。 これらの秘密情報、どこから来たのかわかりますか？ どこから来た秘密情報なのか 秘密情報を使って出どころを調べられるのであれば問題はないでしょう。 # 例えばAWSのIAM User Credenntialsとか $ AWS_A
Datadog メトリクスモニター作成入門
Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果
本チュートリアルに関してのご質問は、SIGNATEにて開催中のコンペティションサイト( https://signate.jp/competitions/443 )のフォーラムにおきまして、新規のスレッド（ディスカッション）にてご質問していただけますと幸いです。 また、本チュートリアルに関してのご要望があれば、Githubリポジトリ( https://github.com/JapanExchangeGroup/J-Quants-Tutorial )の Issues からご意見をいただけますと幸いです。 (なお、投稿の際には、過去に同じご要望がないかご確認ください。) 2021-01-29: 初版リリース 2021-02-05: 誤字や表記の修正を中心に改良 2021-02-12:
TL;DR モチベーション ウェブページの背景に星空を見せたかった。それがちゃんと実際の星空の、リアルタイムの状況を反映していたら面白いよねと思った。 スタート時の状況 主に愛情のこもった手打ち HTML5 と 手打ち CSS でシンプルな Web ページを作っていた https://web.archive.org/web/20210212085818/celestian.io この前にどうやら React が世間では流行ってるらしいということで React と TypeScript を使った小さい 1 ページアプリを作った https://web.archive.org/web/20201202100627/https://celestian.io/ssr/ 今の https://celestian.io/sushi の前身 C# で WPF のデスクトップアプリとか作ってたことがあった
ここ最近、何やらデータベースの相談をされることが何やら多くなってきたmasamikiです。 今、とあるプロダクトの開発をしようと、要件まとめたり設計したりたりしてるのですが、この仕組みをやるためには…version管理いるなぁ…gitが欲しいなぁ……となってます。 そして、調べてみたところ、2年も前のものですがこんな記事を見つけました。 「DoltとDoltHubが我々の結論だ」とおっしゃってます。 Doltとは Doltは、Gitリポジトリと同じように、フォーク、クローン作成、ブランチ、マージ、プッシュ、プルできる最初で唯一のSQLデータベースです。（← by Google翻訳） おぉ、まさしく、そのままんま、これだ。 他にも、GitRows とかも使えそうかな…と思ってみていたものの、どうやら今の要件にあうのあはDoltっぽそう。 上記事だと、他にもdata.world（Microso
高校生がニュースを知る方法、「新聞」は「TikTok」さえ下回り9位！ 現状が明らかに【LINE調べ】 | Web担当者Forum
LINEの調査サービス「LINEリサーチ」は、高校生を対象に「ニュース」に関する調査を実施した（有効回収数：1,050サンプル）。ニュースをチェックする方法、興味があるニュースのジャンル、不確かな情報を見たときの対応などを質問している。 ニュースに接するのは「テレビ」「Twitter」「ニュースサイト」まず「ふだんニュースを見聞きしたりチェックしたりする方法・場所」を聞くと、「テレビ」がすべての学年で最多だった。2位には「Twitter」、3位には「ニュース系のサービスサイト（Yahoo!ニュース、LINE NEWSなど）」がランクイン。高校生のニュースソースはこの3つが全学年のトップ3となった。全体では95％の高校生が、ニュースを見聞きしたりチェックしたりしていることとなる。 その他では、4位「YouTube」や5位「Instagram」などSNSが上位にランクインし、「ニュース系のアプ
人気漫画「ラブひな」作者がトップ５３万票…比例自民の個人名票、業界団体の集票力に衰えも（読売新聞オンライン） - Yahoo!ニュース
１０日に投開票された参院選では、自民党は比例選に３３人を擁立し、１８人が当選した。インターネットを武器に多くの得票を獲得した当選者がいる一方、業界団体の集票力が衰えて落選する候補者も出て、明暗が分かれた。 【写真】赤松氏の代表作「ラブひな」 個人名票を最も集めたのは、人気漫画「ラブひな」などの作者として知られる赤松健氏だった。特定の支援団体はないが、ネットを中心に選挙戦を展開し、約５３万票を獲得した。２０１９年の前回選まで３回連続で党内トップ当選を果たした全国郵便局長会の組織内候補の得票数を約１１万票も上回った。
YouTubeは1日で50億回もムービーが再生されますが、そのうち約90％が1000回再生にも達していないことが判明しました。 State of YouTube 2019: Music became more valuable | Pex https://pex.com/blog/state-of-youtube-2019-music-more-valuable/ Almost 90% of YouTube videos never reach 1,000 views - 9to5Google https://9to5google.com/2020/08/10/almost-90-of-all-uploaded-youtube-videos-will-never-reach-1000-views/ クリエイター用のコンテンツ管理プラットフォームPEXは2018年と2019年のYouTube
はじめに 23年6月19日にAzure OpenAIに独自データを追加できる機能「Add your data」がパブリックプレビューで発表されました。GPTは自分が知らない情報に関して、答えることができないですが、この機能を使うことで独自のデータとGPTモデルを簡単に連携させることができ、GPTが知らない独自のデータを参照して回答を生成できるようになります。また、回答のソースを独自データに限定することもできるので、ChatGPTの活用の幅が大きく広がります。 一通り使ってみたので、具体的な利用方法を解説していきます(公式ドキュメントにも詳しく記載されています)。 (23年9月追記) Add your dataにベクトル検索の機能が追加されました。詳細はこちらのブログで丁寧に解説されていますので、ご参照ください。 独自データの追加 使えるモデルはチャット形式のモデル「gpt-3.5-turb
議論とデータ新型コロナウイルスの対応について、日本中で議論が巻き起こっています。曰く、検査数は増やすべきか否か、日本の実際の感染者数がどれぐらいなのか、いつごろ収束するのか、他国より対策がうまくいっているのか否か、全国一斉休校に意味があるのかなどなど。そうした議論は民主主義国家として望ましいものですが、しかし生産的な議論を行うためには、まず共有可能で信頼できるデータが必要不可欠です。 データ分析の世界ではgarbage in, garbage out「ゴミを入力すれば、ゴミしか出力しない」と、よく言われます。有意義な分析をするためには、最低限、データがまともである必要があります。まともなデータとは、最低限、正しいデータ入力と、論理的整合性が必要です。だからデータアナリストは、分析の前に必ずデータの整合性を検討し、矛盾のないカテゴリ体系を設計し、データの整備に過半の力を注ぐのです。 厚労省デ
イントロダクション 目下、開発中のプロダクトなので詳しいことは書けないのですが、いろいろと気付きの多い出来事だったので、 少し自分自信の振り返りも兼ねて、投稿してみたいと思います。 これは、決してGoよりPythonのほうが優れているとかそういった話ではないです。 今回、自分は開発者というよりプロジェクトマネージャー（以降、PM）という立場になります。 Goの採用 当社のコア技術はPythonなのですが、今回、開発にあたってGoを採用していました。 主な採用理由としては、「プロトコルとしてgRPCを採用するにあたって、gRPCとの組み合わせ事例が多い」からでした。 gRPCの採用理由は、「同時に企画されていた別プロダクト（Python）との連携が想定されており、異なるプログラミング言語間でも型を維持したままデータ交換が可能」なことからでした。 当初は、プロダクトのリリース時期も未定でプロト
本番でTableを1つDeleteしてしまいON DELETE CASCADEでさらに4つTable dataが消えた話 - Qiita
起きた事 本番環境のデータ調査の依頼を受けた。その調査を受ける前に、それとは別で不要データを本番DBから削除する作業をMySQL Workbenchで行っていた。 本番DBで、データ調査を行う際にMySQL WorkbenchでSQLのselectと間違えてdeleteを実行してしまい、Tableを1つ丸ごとDeleteしてしまった。 ON DELETE CASCADEが親テーブルに設定されてしまっていたため、さらに4つのTable dataが芋づる式に消えてしまった。 ON DELETE CASCADEの説明としては、この記事がわかりやすかったです。 https://www.dbonline.jp/mysql/table/index11.html テーブルの構成(テーブル名などは例として挙げていて、実際のものとは多少異なります) 正しい設定 usersテーブルでuserを削除した時に、そ
取扱注意!?Search Console の検索パフォーマンス レポートを正しく活用するために知っておくべきこと - ブログ - 株式会社JADE
SEOを考えたWebサイトの運営を行う上で、Search Console 内の1つの機能である検索パフォーマンス レポートで確認できるデータを活用しないという選択肢はありません。 検索パフォーマンス レポートでは、Search Console で設定した自身の関わるWebサイトのプロパティ範囲内という制約こそありますが、Google 検索を利用した検索ユーザーのGoogle 検索結果ページ上での行動データを確認することができるためです。 上記での行動データというのは、Google 検索で検索したユーザーが「どのような検索キーワード」で検索して、検索結果に表示された自身の関わるWebサイトの「どのページ」をクリックし、サイト内へ流入しコンテンツを閲覧することになったのかをデータを指します。 Webサイトをより良くするためのSEOを考えた改善施策に必要不可欠となる行動データを確認できるSear
GNU Assembler互換(サブセット)のアセンブラをGo言語でフルスクラッチで作ってみました。 開発22日目で自作Goコンパイラ(をセルフホストしたときに出力される20万行のアセンブリ)をアセンブルすることに成功しました。 どうやって作ったかというと、小さいコードを GNU Assembler (以下 as) に食わせて出力されたバイナリを観察する、を繰り返して中のロジックを推定し再現しました。as の実装は見ていません。(一瞬見たけど巨大すぎて何もわからなかった) アセンブラ自作は、やってみるとコンパイラ自作よりだいぶ簡単でハマりポイントも少ないので、学習テーマとしてはおすすめです。2箇所ほど難所(命令エンコーディングのルールを理解するのと、ジャンプ命令の最適化)がありましたがそれ以外はさくさく楽しく作れました。 作ってみた結果、アセンブリ言語の理解が深まったのはもちろんのこと、E
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
画像生成AI「Stable Diffusion」でイラストを描くのに特化したモデルデータ「Waifu-Diffusion」使い方まとめ
2022年8月に一般公開された画像生成AI「Stable Diffusion」を二次元イラスト490万枚以上のデータセットでチューニングした画像生成AIが「Waifu-Diffusion」です。このWaifu-DiffusionをローカルのWindows環境で実行するために、実際にモデルデータをダウンロードして導入してみました。 GitHub - harubaru/waifu-diffusion: stable diffusion finetuned on danbooru https://github.com/harubaru/waifu-diffusion ◆Waifu Diffusionでの生成例 実際に、プロンプト・Sampling Steps・Sampling method・CFG Scale・シード値をまったく同じに設定して、Stable Diffusion(左)とWaifu-
Google Analytics 4 でミスされやすい・誤解されやすい「設定」７選（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 Google Analytics 4 の本格利用がGoogle Analytics終了とともに始まり、多くのサイトや企業が移行を完了したと思われます。しかしGA4は新しい計測形式になり、混同しやすい内容が増えました。特に今までGAを使っていた人ほど、誤った理解で設定を行ったり、数値の定義を間違えて理解してしまいます。 そこで今回は注意するべきポイントを7個まとめてみました。みなさんが正しく設定や理解をできているかを１つずつチェックしながら、ぜひ本記事をご覧ください。 事実１：Google Analytics 4ではコンバージョンのカウント方式が２種類ある 事実２：「データ保持」の期間設定は「探索レポート」のみ反映される 事実３：拡張計測機能で設定した取得項目を見るためには設定が必要な項目もある 事実４：内部トラフ
そろそろオープンデータを無秩序に管理するのは卒業したいので📦データを管理するパッケージマネージャを開発した【ツール開発】 - Qiita
今回はdim(オープンデータパッケージマネージャ) v1.0のリリースに伴って開発したツールの紹介をしたいと思います。 オープンデータもパッケージマネージャ(apt、npm、gem、pipなど)と同じようにnpm install xxxxxのような形でオープンデータをインストールして管理すると良いのではないかという話です。 以前のバージョンに関しては以下の記事で紹介 【個人開発】パッケージマネージャーの考えを流用してオープンデータ管理ツールを作ってみた話 以前の記事を読んでいてv1.0からの変更点に関して読みたい方 dim v1.0 変更点 オープンデータを無秩序に管理するのはやめたい ソフトウェアやライブラリの管理は世の中様々な体系化された方法が確立されつつあります。ソフトウェアであればaptやbrewなど、ライブラリであれば言語ごとにnpmやgemなどが存在します。しかし、データに関し
[B! 表現] うらべさん on Twitter: "「プリキュアは女の子のための作品ですよ」と言われて「つらい」「なんでそんなこと言うの」「涙が止まらない」とか言い出すおっさん嫌でしょ。" ↑この議論に参加する気はないのですが、 （そもそも、プリキュアはポリコレの道具じゃなくて子供向けアニメですよ。） ここのブックマークコメントやツイッターのツリーで散見される「プリキュアは大人（成人男子）もターゲットにしている」というのは未だに良く聞きます。 numewo プリキュアは企画の段階から明確に「大人もターゲット」とされているので、比較したり並べる対象としてはちょっと不向きでは。 kazyee プリキュアは成人男性もターゲットだと明言してた気が。 「意見」であれば「いろんな意見あるよね。尊重するよ」で良いのですけど、 「プリキュアは成人男子もターゲットにしている」は事実と異なるので少し言及して
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
けんけん on Twitter: "これは凄い！斬新な表現だな。。 #詐欺グラフ https://t.co/KlodCxVFvt"
これは凄い！斬新な表現だな。。 #詐欺グラフ https://t.co/KlodCxVFvt
平均年収は614万円、35%が副業経験あり！2020年のエンジニア転職・キャリアトレンド最前線 - Findy Engineer Lab
Findyの末本(@sueHRpro)と申します。 ハイスキルなエンジニアと企業をマッチングする転職サービス「Findy」、フリーエンジニア向け案件紹介サービス「Findy Freelance」を運営するFindyでは、2019年末から2020年にかけてユーザー向けに「エンジニアの転職に関する意識調査アンケート」を実施しました。 今回、アンケート結果をまとめましたのでご報告します！エンジニアの皆様にとって今後のキャリア選択や転職活動に役立てていただければ幸いです。 ※有効回答数442名。アンケート実施概要は文末をご参照ください エンジニアの平均年収は「614万円」、35%の方が既に副業を経験！ キャリアパスではテックリード志望エンジニアが多数！ 職場に求めることは「自己研鑽へのサポート」の声が多数！ 転職先の決め手は「キャリアに有益」「待遇の条件面が魅力的」が極めて重要！ 人気企業は「未上
As global communities responded to COVID-19, we heard from public health officials that the same type of aggregated, anonymized insights we use in products such as Google Maps would be helpful as they made critical decisions to combat COVID-19. These Community Mobility Reports aimed to provide insights into what changed in response to policies aimed at combating COVID-19. The reports charted movem
300万テーブルのデータ流通を支えるエンジニアリング #GoogleCloud #GoogleCloudDay / 20230523
テクノロジーカンファレンス「Google Cloud Day ’23 Tour in TOKYO」の登壇資料です。詳細は当社ニュースをご参照ください。 https://kazaneya.com/5a50c1c1bb7b42f1bd9eb7b35d813ba1 --- スモールチームで 300 万テーブル規模のデータ基盤を構築・運用し、社内・社外にデータを提供しています。スケーラブルな仕組みやデータ流通を実現するヒントになればと思います。 具体的には - BigQuery へのマイグレーション - dbt によるデータモデリング - IAM や AnalyticsHub によるデータ共有 - BigQueryML による異常検知 - CS 活動におけるデータ活用 といったテーマを扱います。 ---------------------------------------------------
NewsPicksのエンジニア採用サイトです。さまざまな強みを持つエンジニアが、自分たちの個性を活かし、未来を創るための挑戦をしてる自由な環境で、一緒に世の中をおもしろくしてみませんか？
日本語Alpacaデータを用いてJapanese-Alpaca-LoRAを作ったので公開します【期間限定デモページあり】｜kun1emon
⚠️注意今回公開するのはLoRAを用いて作成したLLaMAの日本語化Adapterでありモデル自体ではありません。 LoRAをマージするベースのLLaMAは商用不可であり、今回公開するAdapterで日本語化したモデルも商用利用はできません。 OpneAIの利用規約で、OpenAIサービス、ChatGPTの出力結果を競合モデル開発用途に利用することはできません コンテンツ生成者はできません。 詳細は記事後半で述べていますが利用規約が適用されるのはコンテンツ生成者までです。 概要2022年の11月末にOpenAIからChatGPTが発表されてから、それに追随するようにGoogleからBard、MetaからLLaMAなど大規模言語モデル（LLM）が発表されました。さらにLLaMA 7Bを「text-davinci-003」を用いて「Self-Instruct」で作成された52Kのデータセット（
知っている人は知っていると思うが、Qiitaではたびたび大量のスパム記事が投稿されている。 深夜24~26時頃に記事一覧を確認してみて欲しい。 スパム記事がわんさか出てくるはず。 登録したてのQiitaユーザは不安よな。1 ———— @dcm_chida 動きます🧐 はじめに これはNTTドコモサービスイノベーション部AdventCalendar2019の1日目の記事です。 我々の部署では日頃から「KDDCUP2」や「論文読み会」に取り組んでおり、若手から中堅社員まで最先端の技術取得に励んでいます。 そうした活動をもっと外部へと発信していこうと始めたのがこのAdventCalendarです。社員一人一人が書いた記事を通して、少しでも多くの方に興味を持って頂ければ幸いです。 さて、僕は4年目社員ですがプログラミング初心者の頃から現在に至るまで、Qiitaにはかなりお世話になりました。 自分
AWS IoT@Loft #18
再投稿のまえおき――日本に（また）向かう空の便で，今日はトランジットにいる．そこで，このサブスタック初期に書いた日本関連の記事をひとつ再投稿しよう．移民流入ブームから観光ブームのあいだに，近年，日本はずっと国際的になっている．とくに東京と京都がそうだ．ただ，世の中の人たちが思っているほど日本が同質だったことは一度もない．「日本はなんらかの意味で人種的に純粋で，外国人嫌いで，閉鎖的な国だ」という考えに立脚して日本は同質だと捉える見解は，どれもずいぶんな戯言だ．今回も，そういう考えを抱いている人を見かけても訂正してあげない方がいいかもしれない．ホントのことを知っちゃったら，日本に行きたがる人がさらに増えちゃうかもしれないからね！ それは「同質」の定義しだいだね もうね，あともう一度でも「日本は同質な社会だ」とか聞かされたら，憤慨するままに一本記事を書いちゃうよ．というか，これがその記事か． ア
はじめに 私は現在大阪市に住んでおり、一昨日の都構想投票はテレビにかじりつきながら見ていました。 経過を見ていて思ったのが、区ごとの結果の差が顕著に出ており、分析対象として適したデータが得られそうだと感じたため、詳しく分析してみました。 ※下図はおおさか維新の会HP掲載の、都構想における新旧区分け GitHubに、使用したスクリプトやクレンジング後のデータをアップロードしています Qiitaのガイドラインにあるように、あくまで技術記事としての領分を超えないよう、政治的な深い考察は避け、得られた事実のみを列挙していこうと思います。 また、私は因果推論のような高度な分析のスキルは持ち合わせていないので、「さらに深い知見を得るためにはこうしたらいい」 というような手法に関するアドバイスがございましたら、コメント頂けると大変ありがたいです！ 結論 結論に至るまでの手順は次章以降で述べますが、以下の
import numpy as np import scipy from scipy.stats import binom %matplotlib inline %config InlineBackend.figure_format = 'svg' import matplotlib import matplotlib.pyplot as plt import seaborn as sns print("numpy version :", np.__version__) print("matplotlib version :", matplotlib.__version__) print("sns version :",sns.__version__) numpy version : 1.18.1 matplotlib version : 2.2.2 sns version : 0.8.1
![[確率思考の戦略論] 1.確率理論の導入とプレファレンスの数学的説明](https://cdn-ak-scissors.b.st-hatena.com/image/square/1c2288eb344765bc26ac66fb71d3ea3b95ee9641/height=288;version=1;width=512/https%3A%2F%2Fwayama.io%2Fimages%2Favatar.webp){kind=avatar}
最高のマスターデータ管理手法考察 & VSCode Extension を活用した話 / developing masterdata management tool by using vscode extension
GeekGig 『スタディサプリ x Showcase Gig』 〜フロントエンドを楽しむ〜 Links: p.6 [Deep Environment Parity CDNT 2019 - Speaker Deck](https://speakerdeck.com/spring_mt/deep-environment-parity-cdnt-2019) p.13 [GraphQL を利用したアーキテクチャの勘所 / Architecture practices with GraphQL - Speaker Deck](https://speakerdeck.com/qsona/architecture-practices-with-graphql) p.13 [GraphQL と Prisma から考える次のN年を見据えた技術選定 - 森 久太郎 / qsona | JSConf JP](
Looker Studio turns your data into informative dashboards and reports that are easy to read, easy to share, and fully customizable.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
完全感覚アノテーションで心が壊れた話 - Qiita
結果発表 | カプコン超選挙 | カプコンタウン
出勤者７割減 ビッグデータ分析では５割減にも届かず | NHKニュース
ファイザーワクチン3回目接種で86％発症予防か イスラエル調査 | NHKニュース
秘密情報には出どころも書いてくれ！頼む！ - KAYAC engineers' blog
[PDF]尼崎市USBメモリ―紛失事案に関する調査報告書 / 令和4年11月28日 尼崎市USBメモリ―紛失事案調査委員会
J-Quants-Tutorial
Web ページの背景を動く星空にした話 (with react-three-fiber)
Git for Data「Dolt」というDBの話
YouTubeのムービーが1000回再生されることはトップ10％入りを意味している
Azure OpenAIで独自データ追加機能(Add your data)を試してみた - Qiita
厚労省・新型コロナ陽性者データに内在する不可解な矛盾｜馬の眼 ishtarist
Goで開発していたが、途中でPythonに切り替えた件を振り返る。 - Qiita
アセンブラをゼロから作って自作コンパイラをアセンブルするまで(日記)
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
プリキュアは明確に「大人もターゲット」としているのか？？ - プリキュアの数字ブログ
PandasからPolarsへ移行した方がいいのか - Qiita
データオーケストレーションツールDagsterの紹介
COVID-19 Community Mobility Report
Google はどうやって Deep Learning でメモリ使用量を 99% 削減したか。
Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
AWSを活用した空調機IoTプラットフォームの開発
ノア・スミス「実際のところ日本はどれくらい同質なの？（再投稿）」（2023年8月1日）
大阪都構想の投票結果を区ごとに分析してみた - Qiita
[確率思考の戦略論] 1.確率理論の導入とプレファレンスの数学的説明
Japan: COVID-19 Public Forecasts