技術書を書く技術 - Qiita
Intro こちらの技術書を執筆しました。15Stepで踏破 自然言語処理アプリケーション開発入門 本稿は書籍そのものの紹介ではなく、私が技術書を執筆するために利用した技術・用意した環境についての解説です。 私が執筆を始めた当時（2017年下旬）はWebを漁ってもあまり技術書執筆のノウハウがなく、本稿の内容も割と手探りでした。今ググってみると技術書展のおかげで大量に情報が出てきますね。それらと被る部分もありそうですが、自分が１冊書いてみて得たノウハウみたいなものをここに吐き出してみたいと思います。 執筆フォーマットの決定 まずは執筆に使うツールを決めます。 商業誌の場合、出版社（編集者）がそのフォーマットでの入稿を受け付けてくれるかどうかにも依るため、執筆者の一存で決められないこともあるようです。 私の場合は幸運にも、こちらの希望に合わせてくれる編集者が入ってくれました。 色々調べて↓あた
【まとめ】ディープラーニングを使った異常検知 - Qiita
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
vimを使うとき十字キーで移動して、vimmerに殺されるその前に - Qiita
はじめに あなたがこの記事を読んでいるということは、私はすでにこの世にはいないのでしょう。 最期に、あなたに私の犯した罪を告白します。 そうです、vimでの移動に十字キーを使っていたのです。 この事実を知ったvim教の信者たちが血眼になって私を探しています。 きっと、私は見つかるでしょう。 そしてMacBookの十字キーを全て剥がされ、Logicoolの青軸キーボードで撲殺されるのです。 それほどまでに私の罪は重いということは重々承知しています。 もし、これを読んでいるあなたが私と同じ業を背負っているのであれば今すぐ逃げてください。vimmerはどこにでも潜んでいます。 今日笑顔で話していた同僚が明日にはキーボードで殴りかかってくるかもしれないのです。 だからせめて、私のささやかな抵抗をここに書き記します。 あなたが私と同じ道を辿らないことを願って・・・・ escは海よりも遠いということ
【警鐘】[改元][Windows][.NET] 「令和」対応パッチで画面が横に伸びる、文字が見切れる ― Windows Update 手動更新はちょっと待った方がいい - Qiita
【警鐘】[改元][Windows][.NET] 「令和」対応パッチで画面が横に伸びる、文字が見切れる ― Windows Update 手動更新はちょっと待った方がいい ※2019年5月15日（日本時間）に自動配信が開始された修正版パッチで、フォント起因の横伸び、見切れ問題は解消されました。（2019/05/15 続報 をご参照ください） 2019年4月26日、「令和」対応パッチが Windows Update で配信開始されました。 日本の元号の変更について - KB4469068 現状は手動更新（「更新プログラムのチェック」）または Microsoft Update カタログからのインストールのみで、自動更新への反映は来月半ば頃と見られています。 また、Windows 10 Version 1809 / Server 2019 向けのパッチは "Coming soon" となっており、
![【警鐘】[改元][Windows][.NET] 「令和」対応パッチで画面が横に伸びる、文字が見切れる ― Windows Update 手動更新はちょっと待った方がいい - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e2cf1351e57bef57c13ab7cea6c1abd8f83acc63/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JUUzJTgwJTkwJUU4JUFEJUE2JUU5JTkwJTk4JUUzJTgwJTkxJTVCJUU2JTk0JUI5JUU1JTg1JTgzJTVEJTVCV2luZG93cyU1RCU1Qi5ORVQlNUQlMjAlRTMlODAlOEMlRTQlQkIlQTQlRTUlOTIlOEMlRTMlODAlOEQlRTUlQUYlQkUlRTUlQkYlOUMlRTMlODMlOTElRTMlODMlODMlRTMlODMlODElRTMlODElQTclRTclOTQlQkIlRTklOUQlQTIlRTMlODElOEMlRTYlQTglQUElRTMlODElQUIlRTQlQkMlQjglRTMlODElQjMlRTMlODIlOEIlRTMlODAlODElRTYlOTYlODclRTUlQUQlOTclRTMlODElOEMlRTglQTYlOEIlRTUlODglODclRTMlODIlOEMlRTMlODIlOEIlMjAlRTIlODAlOTUlMjBXaW5kb3dzJTIwVXBkYXRlJTIwJUU2JTg5JThCJUU1JThCJTk1JUU2JTlCJUI0JUU2JTk2JUIwJUUyJTgwJUE2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kOTIyZmJkODM2M2I0MjU5ZWFiYTcxMjJmYjk2YWQ3MA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwQ29kZU9uZSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NThlYWIzMDk2OWIwYTgxNzU2Y2UzNzk1MjMyMTA0ODY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Db1c580bcb75251edbdaf0c5747b44dc1)
多言語Universal Sentence Encoderを使う - Qiita
はじめに この記事では、Tensorflow Hubに公開されている 多言語Universal Sentence Encoder を試してみます。 Universal Sentence Encoderとは Transformerを自然言語処理の様々なデータセットを使ってマルチタスク学習させて得られた文表現ベクトルのエンコーダーです。今回使うのは多言語バージョンで、英語、フランス語、ドイツ語、スペイン語、イタリア語、中国語、韓国語、日本語のタスクで学習されたものです。 文の類似度の可視化 いくつかの文章を入力して文表現ベクトルを作成し、互いに内積を取ることで各入力文がどれくらい近いかを測ります。結果はヒートマップで可視化します。 スクリプト Googleが公開しているColabを参考にしたコードです。実行した時にmatplotlibとseabornの文字化けが発生する場合があります。そのとき
pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER
2017年のディープラーニング論文100選 - Qiita
これはFujitsu Advent Calendar 2017の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの）から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2016年のディープラーニング論文100選[リンク] ディープラーニングにとっての2017年 2017年のディープラーニング技術は主に画像系技術で革新的な進歩がありました。それをけん引したのは敵対
Rust と非同期 IO の歴史 - Qiita
この記事は Rust LT #1 で発表したものです 自己紹介 某社でサーバサイド Rust 書いてる 最近のサーバサイド Rust の話題 iron, gotham が開発停止 tokio-core が tokio runtime になった RFCS に async-await が入った futures 0.2 が yank されそう された 疑問 2018 年にもなって非同期 IO で疲弊している Rust は 2006 年に開発が始まった node.js も go も 2009 年には存在していた 今まで Rust は何をやっていたのか？ 今まで Rust は(非同期 IO で)何をやっていたのか？ 2006~2010 この頃の Rust Graydon Hoare が Rust を開発開始 この時代 2006: Firefox2.0, jQuery, Twitter, AWS 20
治安の悪い Slack Emoji を作るツールを作った - Qiita
(治安の悪くない Emoji も作れます) 作ったもの ここで遊べます おもしろいところ GIF アニメのエンコードまですべて js で完結しているので、ありがちな「謎のサーバーに画像アップロードするといい感じに変換してくれる」的なサービスと違って、素性の知れたコードがクライアント側でサクサク動きます。 なにができるの？ 画像を 128px x 128px に変形 画像を、 Slack にアップロードできる（現状）最大サイズの 128px x 128px に変形します。 ローカルのファイルから選ぶか、画像の URL を入力できます。アップロードするわけではないので、デカい画像でもサクサクなのがお気に入りです。 変形は 正方形に引き伸ばし（アス比無視） 正方形いっぱいに拡大して、余ったところはトリミング（アス比維持） 正方形に収まるように縮める（アス比維持） から選べます。 テキストから画像
Software Transactional Memory for Go - Qiita
これは Go3 Advent Calendar 2017 の22日目の記事です．出張中の暇つぶしとして書いた software transactional memory パッケージ decillion/go-stm について解説します． 背景 Mutex（と RWMutex）は Go の基本的な同期プリミティブの1つですが，これを正しく使うのは容易ではありません．ちょっとした不注意が様々な問題（e.g. データ競合，デッドロック）を引き起こし，そのデバッグも簡単ではありません．粗粒度ロックを採用すれば，これらの問題が起こる可能性を下げることができますが，一方でパフォーマンスが低下する懸念があります． Software transactional memory (STM) は，上記で述べた問題とジレンマに対する解決策の1つです．STM とは，読んで字のごとく，『（DB がサポートするような）
文字列アルゴリズムのカレンダー | Advent Calendar 2017 - Qiita
The Qiita Advent Calendar 2017 is supported by the following companies, organizations, and services.
Predecessorを高速に解くデータ構造: Y-Fast Trie - Qiita
整数は0と1からなる文字列だよ派です（計算機モデルとしてWord-RAMを仮定）． この記事は文字列アルゴリズム Advent Calendar 2017 17日目の記事です． vEB木と並んで高速にpredecessorを解くデータ構造y-fast trie1を紹介します. 文字列のキーワード索引などでよく利用されるトライ構造(Trie)で整数集合を管理する面白いデータ構造です． Predecessor Dictionary Problem 全体集合$U = \{ 0, \ldots, u-1 \}$の部分集合$S \subseteq U$に対して，以下のクエリをサポートするデータ構造をpredecessor dictionaryといいます． $\mathit{Predecessor(x)}$: $x$以下の$S$の要素で一番大きいものを返す． $\mathit{Successor(x)
文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)
前置きというか概要 今年のEMNLP2017で提案されていたSCDV(Sparse Composite Document Vectors)について、日本語のコーパス(livedoor ニュースコーパス)で検証しました。 20171114追記 fasttextベースのSCDVによるテキスト分類精度を追記しました。 SCDVのモチベーション (https://dheeraj7596.github.io/SDV/) いい感じのランディングページまで用意していてすげえなって思いました。論文は当然のようにarxivで公開されています。大正義。 https://arxiv.org/pdf/1612.06778.pdf HTMLで読みたい方はこちら。https://www.arxiv-vanity.com/papers/1612.06778/ これを読んでいる皆様に、「どうにかして文章のベクトルが欲しい
RustのGenericsを触っていて腑に落ちなかったところ - Qiita
はじめに 最近、emscriptenのval.hのRustラッパーを書いていたのですが、Rustのgenerics周りを触っていて少し引っかかったところがあり、Qiitaに集うRustaceanの皆さんにも聞いてほしくて筆を取りました。 サンプルコード fn foo<T>() { use std::sync::{Once, ONCE_INIT}; static INIT: Once = ONCE_INIT; INIT.call_once(|| { // run initialization here println!("Called"); }); } fn main() { foo::<i64>(); foo::<i64>(); foo::<isize>(); } このとき、println!は何回呼ばれるでしょうか？実は、一回しか呼ばれません。 どう気持ち悪いか なぜわたしはこれを気持ち悪
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
実践Swiftコンパイラ #swtws - Qiita
本エントリは Swift Tweets 2017 Summer でのツイート1をまとめ、加筆修正したものです。内容は 2017/07/22 時点でのものであることにご注意ください。 それでは、『実践Swiftコンパイラ』というタイトルで発表します。よろしくお願いします。 #swtws pic.twitter.com/Lx6pbZlLfO — Rintaro Ishizaki (@rintaro) July 22, 2017 Swift がオープンソース化されてしばらく経ちます。コンパイラにコントリビュートしたくても、どこから手をつけていいのやらと思ってませんか？ コンパイラのコードを修正していくときに、具体的に何を手がかりにすれば良いのか、実際のバグを修正しながらご紹介します。 僕がコントリビュート始めたのは2016年の3月です。これが僕の初めてのPR。 日付に注目ください。完全に try
（調査） 自然言語文（和文や英文） の 構文解析・依存解析・照応解析、固有表現抽出 を ディープラーニング で 行う 手法 - Qiita
Deep Learning で 行う 自然言語文 の 文構造解析 構文解析器（Parser） を 使わず に、深層ニューラルネットワークを 用いて、英文や和文の文章 を、木構造の構文解析グラフ に 変換する 手法 複数の文 に またがる 文章 で、後続の文に出現する指示代名詞 が、前のどの文 の どの名詞 を 指すのか を 解析する 照応解析 を 深層ニューラルネットワーク で 行う 手法 が、提案されています。 これら、構文解析 や 依存解析、照応解析 を 深層ニューラルネットワークモデル で 行う研究 は、あまり、主題的に取り上げられていない 印象 を 受けます。 そこで本記事では、これらの論文を取り上げて、深層ニューラルネットワークモデルのトポロジー構造 と パフォーマンスの検証結果 を 紹介していきます。 さらに、固有表現抽出 を 深層NN で 行う 手法 や、文章で記述されている
npxが結構良さそうな件について - Qiita
追記：2017/07/12 gist連携時の理解が間違ってたので修正 npm 5.2リリース。npmパッケージのダウンロードと実行を一度に行うCLIツールnpxが同梱された / “Release v5.2.0 (2017-07-05) · npm/npm · GitHub” https://t.co/2CXccPBqcq — Teppei Sato (@teppeis) 2017年7月11日 へー、と思って見に行ったら結構面白かったので雑な紹介を書いてみることにする。 v.5.2.0 リリースノート npxの紹介記事 この記事は紹介記事のざっくりしたサマリ相当です。 適当に20分くらい触ってわかったことだけ書いてあるので間違ってたり不正確だったりしたら別途詳解記事を書いて教えてもらえると幸いです。 npx is 何？ $(npm bin) やってくれるマン npx tsc は大体 $(np
コマンド入力一撃で端末を大量に分割してタスクを瞬殺するtmux-xpanes - Qiita
この記事の要点 コマンド一撃でtmuxのウィンドウを大量に分割してコマンドの同時実行を助けるxpanes（イクスペインズ）というコマンドを作りました。一斉に複数のホストにpingを送ったり、sshでログインして同時操作したり、一斉に複数のファイルをtail -fしたりするのに使えます。 操作ログの保存機能、標準入力を受け取ってコマンドを作成する機能などなど、機能も充実していて便利です。tmuxを知らない方でも単純な例だけであれば覚えることは少ないので、ぜひお試しを。 下記のアニメを見ていただければ、どんな感じのものを作成したのかお分かりいただけると思います。 Github: https://github.com/greymd/tmux-xpanes 背景 tmuxを使っている方は、どのような用途でtmuxを役立てることが多いでしょうか？開発の効率を上げるため1、あるいは複数のウィンドウ2や
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
