『Winny』の金子勇さんの失われたED法を求めて - Qiita
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
祖母が就寝するとDBインサートができなくなる - Qiita
世の中には、一見関係なさそうな物理現象がITシステムに不可思議な影響を及ぼすことがあります 例えば,500マイル以上離れた場所にメールが送れないという話だったり 中国人のAさんがお茶を入れると会社のネットが繋がらなくなる という話があります。 私の場合は、祖母が就寝するとDBインサートが失敗する、という状況でした 実家の見守りシステム 問題が起きているのは、離れた実家にいる一人暮らしの祖母の状態を見守るために作成した自作のシステムです。 気温や湿度、CO2濃度、明るさ、部屋のドアの開閉、冷蔵庫の開閉の状況をモニタリングできるようにしています。 Raspberry Piに各種センサが接続され、定期的にInfluxDBに送信し、Grafanaという可視化ツールでいつでも見られるようにしています。 これらの情報を見ることで、祖母の家の部屋の温度が適切か、活動しているか、部屋にいるかなどが分かりま
文化祭で某チェーン店を再現して失敗した話 - Qiita
要約 Wifiは無いに等しいと考えること。 (来場者1万強/日 なんていう状況下でWifiが動くと想定するのが駄目でした) 進捗管理する第三者を設けること。 ソースコード https://github.com/Na4Yu/EasyEats (RTDBのURLやSquareの個別キーは抜いているのでそのままは使えないです) はじめまして はじめまして、高校2年のNaYuです。 今回は文化祭で派手に失敗した話をさせて頂きます。 血反吐を垂れ流しながら書いていましたが、もし皆さんが文化祭を経て「この人のしたことをしなくて良かった~」なんて言っていただければ幸いです。(人の不幸は蜜の味) お願い 本記事は知見の共有を目的として個人が執筆したものであり、本記事の内容について学校、学校関係者への問い合わせはご遠慮頂けるようお願い申し上げます。 これを読んでいる後輩の方々へ この記事が私からの引き継ぎに
2022年度版Python環境構築徹底解説 - Qiita
各機能とツールについて、説明していきます。 エディタ Visual Studio Code エディタやIDE(統合開発環境)は好きに選んでいただければ良いとは思いますが、特に希望がないならば、Visual Studio Codeを選んでおけば間違いないでしょう。 Pythonを含む幅広い言語に対応し、豊富な拡張機能を備えている非常にリッチなエディタです。とりわけPythonプロジェクトについては、これさえ有れば、特にIDEなどは必要ないと思います。 インストールは↓から。 バージョン管理ソフト Python3系は日夜アップデートされていて、2022年12月現在の最新verは、3.11.1が提供されています。 とはいえ、プロジェクトによっては、3.7.1までしか動作が担保されていないもの、3.9.0で現在開発中のもの...などがあります。最新のPythonが常に必要、というわけでは決してなく
ChatGPT使い方総まとめ - Qiita
こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped
【NLP】医療系タスクに使える自然言語処理モデル一覧 - Qiita
初めに 今回の記事はSIGNATEの医学論文の自動仕分けチャレンジで使用した医学系のモデルをまとめました。 どのモデルもHuggingfaceから使用できるモデルなので簡単にすぐ使用できます。ざっくりとモデルの概要説明のみ記載しているので詳しい仕組みや学習時のパラメータ設定、モデルのベンチマークなどは論文内の情報を参照してください。 前提知識 まずは、前提として医療系モデルの事前学習に使用されるメジャーなデータセットの解説 ・Pubmed 生命科学や生物医学に関する参考文献や要約を提供する検索エンジン。アメリカ国立衛生研究所のアメリカ国立医学図書館（NLM）が情報検索Entrezシステムの一部としてデータベースを運用しています。 ・PMC アメリカ合衆国の国立衛生研究所 (NIH) 内の国立医学図書館 (NLM) の部署である国立生物工学情報センター (NCBI) が運営する、生物医学・生
高次元空間中の正規分布は超球面状に分布する - Qiita
この記事は古川研究室 Workout_calendar 5日目の記事です。 （注：2021/02/08に「付録」の誤りを修正し、参考になりそうな文献を追記しました） 忙しい人へアニメで説明 多変量正規分布の次元をどんどん上げていくと、こうなります。 最終的には超球面になります。 はじめに 正規分布（ガウス分布）と聞いて、皆さんどんな「形」を思い浮かべるでしょうか？おそらく、こんな形を思い浮かべるのではないでしょうか これは標準正規分布$p(x)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x^2)$のグラフそのものです。正規分布を知ってる人なら、きっとこの形を思い浮かべますよね。では2次元の正規分布ではどうでしょう？ これは2次元の標準正規分布からのサンプル点を図示したものです。まぁこんな感じですよね。同じように3次元も見てみましょう。 というように次元の違
【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita
要点 T5（Text-To-Text Transfer Transformer、論文、日本語解説記事）の日本語モデル（事前学習済みモデル）を作り、公開しました。ご活用ください。 T5とは、様々な自然言語処理タスクの入出力がともにテキストになるよう問題形式を再定義することにより、一つの事前学習済みモデルを多様なタスク用に転移学習させることができる高い柔軟性を持ち、かつ、性能も優れている深層ニューラルネットワークです。 転移学習の例: 文章分類、文章要約、質問応答、対話応答、機械翻訳、含意関係認識、文の類似度計算、文法的妥当性判定、タイトル生成、スタイル変換、誤字修正、検索結果のリランキングなど（固有表現抽出などのシーケンスラベリングの実施例はない？） 日本語T5モデルはHugging Face Model Hubからダウンロードできます。 ベンチマークとして、ある分類問題について、既存のmT
図で理解するTransformer - Qiita
対象読者 こんな人に向いてます Transformerを知らない人 私も全く知らずに調べました！なんにもわからない人の目線で書きます！ 想定される疑問を載せてます！ 多層パーセプトロンは知っているけど、それ以降出てきたいろんな用語についていけなくなった人 いつも知らない言葉を含んだ図ばかりで結局詳細がよくわからないって思っている人 図に式も載せて式を見ればやっていることがわかるようにしました！ 結局解説サイトを読んでもどう動くかわからない人 実際に軽いデータでTransformerを動かしてみたい人 軽く動かせるNotebookを用意してます！ ミスがあればご指摘くださると幸いです。 自然言語処理で大活躍している手法。 機械翻訳 テキスト要約 文章生成 文書カテゴリの分類 最近では、画像データやテーブルデータ（時系列データ）でも活躍しているようだ。 画像認識の大革命。AI界で話題爆発中の「
AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ - Qiita
本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆
Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita
少し時間が経ってしまいましたが、Sentencepiceというニューラル言語処理向けのトークナイザ・脱トークナイザを公開しました。MeCabやKyTeaといった単語分割ソフトウエアとは趣旨や目的が異なるソフトウェアですので、少し丁寧にSentencepieceの背景、応用、実験結果等をお話したいと思います。 サブワード ニューラル言語処理の中心となる要素技術にLSTM (RNN)があります。テキスト(トークン列)を低次元のベクトルに符号化したり、ベクトルからテキストを復号化したり、その応用範囲は多岐にわたります。ニューラル機械翻訳 (NMT) は、LSTMによる符号化・復号化を組み合わせて翻訳を行います。 ↓↓↓↓↓↓↓ あなたの記事の内容 NMTのアーキテクチャは従来法と大きく異なりますが、入出力はこれまでと同様、なにかしらのトークン列です。どのような列でもよいのですが、慣習的に単語列が
大規模日本語ビジネスニュースコーパスを学習したALBERT（MeCab+Sentencepiece利用）モデルの紹介 - Qiita
はじめに 以前、日本語のBERT事前学習済モデルやXLNet事前学習済モデル等の紹介記事を投稿しましたストックマークの森長です。 モデル公開の記事を多くの皆様に読んでいただき、ありがとうございます。 今回は、ALBERTの日本語事前学習済モデルを公開します。 さて、様々な事前学習済モデルが多数提案されている中、なぜALBERT日本語モデルを公開するかといいますと、ALBERTが、A Lite BERTと記載されるように、ただSOTAを突き詰めたものではなく、精度を維持・向上させつつもBERTを軽量化しているモデルのためです。 事前学習済モデルのサイズを大きくすると性能が向上する傾向にありますが、学習時間が長くなったりメモリにのらなくなったり、作成の上での制約が(費用面の制約も)増えてきます。そのため、比較的短時間でモデルを作成でき、モデルサイズが小さいALBERTは、とても使いやすいです。
パラメータ数10億！最新の巨大画像認識モデル「BiT」爆誕 & 解説 - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2019年12月24日のクリスマスイブにarxiv上でGoogle Brainから新たな画像認識モデルが発表されました。その名も BiT(=Big Transfer)。その性能は2019年にGoogleが出したEfficientNet(拙著解説記事)を様々なデータセットで超えるほどで現在のState-of-The-Art になっています。驚くべきはそれだけでなく、なんとこのモデル、パラメータ数が10億にもおよぶ巨大なモンスターモデル になっています。そんなBiTについて早速この記事で解説していきたいと思います。バッチノームやドロップアウト、Weight Decayなどを使用していないという、 今までの画
2020 年の Python パッケージ管理ベストプラクティス - Qiita
この記事は Python Advent Calendar 2019 の 19 日目の記事です。 🐍 あらすじ Python のパッケージ管理。特にここ数年で新しいツールが多く出たこともあり、一体何を使うべきなのか、少し調べただけでは分からないと思います。本記事では、新しめの管理ツールを独断と偏見で比較します。著者は Poetry 信者なのでバイアスが掛かっているので悪しからず。 本記事で書いていること Pipenv、Poetry、Pyflow の違いと使い方 本記事で書いていないこと Pyenv、Venv、Virtualenv などの既存ツールの説明 著者の環境は以下の通り。 Ubuntu 18.04 Python 3.8.0 Pipenv 2018.11.26 Poetry 1.0.0 Pyflow 0.2.1 特に Poetry と Pyflow は開発途中なので、本記事の内容と違う
はじめてのグラフデータベース - Qiita
皆さん、グラフデータベースは利用していますか？ この記事ではグラフデータベースを触ったことがない人向けにグラフデータベースの基本的な使い方を説明していきます。 この記事はDiverse Advent Calendar 2019の11日目です。 Diverseではマッチングアプリのレコメンドにグラフデータベースを利用しています。 グラフデータベースとは？ グラフデータベースは名前の通りグラフを扱うデータベースです。よく使われているリレーショナルデータベースは表構造を扱うデータベースと言えます。 リレーショナルデータベースは、複数の表構造の関係を扱えますが、実際に関係を扱うのは難しいことが多いです。関係を表すために適切なスキーマ設計が必要になり、クエリは難しくなりがちです。また、表を結合するにはコストがかかります。 グラフデータベースは、ホワイトボードに図を書く感覚でデータを扱えることが利点で
【SinGAN】たった１枚の画像から多様な画像生成タスクが可能に - Qiita
はじめに 本記事はDeep learning論文紹介のAdvent Calender 2019の6日目の記事です。 本記事ではコンピュータビジョンのトップカンファレンスであるICCV2019でBest paperに選ばれたSin GANの論文について紹介し、公式のGitHubを色々触ってみようと思います。 SinGANは１枚の訓練データのみを学習に用いるので、気軽に画像生成を試すことができます(画像サイズにもよりますがGoogle colabratoryのGPUでおよそ1~5時間程度)。後半ではGoogle Colabratoryを用いて実際に画像生成を行っているのでぜひ試してみてください。 【SinGAN公式】 ・arxiv ・Github 【Qiitaの記事】 ・【論文解説】SinGAN: Learning a Generative Model from a Single Natura
オントロジーことはじめ（概念入門） - Qiita
はじめに 最近「情報の表現」について学んでいます。 この「情報の表現」を学ぶ過程で「オントロジー」という技術に触れる機会がありました。 このオントロジーは、とても汎用的な技術である反面とっつきづらく、基本的な考え方が理解できないと学習が難しいと感じました。 そこで今回は、これからオントロジーを学ぼうとする方に向けて、まず抑えておくべきことを紹介します。 オントロジーとは オントロジーとは、古くは「セマンティックWeb」、現在では「自然言語処理」の研究分野で情報の意味を定義するための概念・仕組みです。技術書では「語彙」とも表記しているものもあります。 概念と言われると難しいので、ちょっとした例を使って概念を紹介します。 「好き」という言葉があります。「好き」は1つの言葉ですが、好きの前に続く言葉によって、人は「好き」の持つさまざまな「意味」を理解します。 例えば、好きの前に「食べ物」を付ける
【厳選】Python実務データ分析でよく使う手法（分析手法編） - Qiita
はじめに データ分析実務において、前処理や集計・可視化後によく行う分析手法をまとめました 前処理編とデータ集計・可視化編の続きです ここでいう「実務」とは機械学習やソリューション開発ではなく、アドホックなデータ分析や機械学習の適用に向けた検証（いわゆるPoC）を指します 領域によっては頻繁に使う手法は異なるかと思うので、自分と近しい領域のデータ分析をしている方の参考になればと思います 今回紹介する分析手法 パレート分析 線形回帰 時系列解析（季節成分分解） 時系列解析（時系列データの相関） ランダムフォレストによる特徴量の重要度 1. パレート分析 対象データ：カテゴリカルデータ 用途：各カテゴリの全体に対する構成比率 ケーススタディ：製品カテゴリ別の売上データ（A~H）に対して、各製品カテゴリの売上傾向を把握したい サンプルデータの生成 A = np.repeat('Cat_A', 15
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER
素人がGoogle TPUを作ってみる～アーキテクチャ考察編～
目標 Google TPUの思想を理解するためにTPU likeシストリックアレイを構成することでなぜTPUがDNNを回す効率が良いかを理解するのが目標。 読む方もニューラルネットワーク（全結合、CNN)がわかっていればなんとなく理解できれば良いな。。と思ってます。 記事はアーキテクチャ編と設計編に分け、本アーキテクチャ編ではTPUの動作などを考察する。 設計編ではVerilogでシストリックアレイ部のみ記述してみる予定。ただPE部は資料がないので筆者の妄想。 ほぼ構成要素としては前記事のなんちゃってCPUと同じだと思う。 素人が作る超基本CPU@Verilog w/Vivado https://qiita.com/arutema47/items/40dc748e349c30d7194a 今回考えるのはTPUv1 ISCA2017で論文発表され、詳細なアーキテクチャが公開されている。 TP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
