Encoder-decoderモデルとTeacher Forcing、Scheduled Sampling、Professor Forcing
Encoder-decoderモデルとTeacher Forcing、Scheduled Sampling、Professor Forcing Encoder-decoderモデルとTeacher Forcing、それを拡張したScheduled Sampling、Professor Forcingについて簡単に書きました。 概要 Encoder-decoderモデルは、ソース系列をEncoderと呼ばれるLSTMを用いて固定長のベクトルに変換(Encode)し、Decoderと呼ばれる別のLSTMを用いてターゲット系列に近くなるように系列を生成するモデルです。もちろん、LSTMでなくてGRUでもいいです。機械翻訳のほか、文書要約や対話生成にも使われます。 Encoder-decoderモデルの概略図 Encoder ソース系列X=(x1,x2,…,xS)X = (x_1, x_2, \d
LSTMネットワークの概要 - Qiita
Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができません、それは大きな欠点のように思えます。たとえば、映画の中の各時点でどのような種類の出来事が起こっているかを分類したいと想像してください。従来のニューラルネットワークが、映画の前の出来事についての推論を後のものに教えるためにどのように使用できるかは不明です。 リ
ゴシッププロトコル - Wikipedia
分散システムにおいて、ゴシッププロトコル（gossip-protocol, ゴシッピング、ゴシップアルゴリズム、エピデミックアルゴリズム、epidemic algorithms, epidemic protocol）とは、システムの参加者間で繰り返し確率的に情報を交換する手法であり、情報の拡散や統計値の計算などに利用される[1]。 ゴシッププロトコルではランダムに選んだ相手と情報を交換し、自身が持つデータの更新を繰り返す。システムの参加者が不定期的に増減して全体を把握できない状況や、一時的に通信できない場合でも情報を伝搬できる。病気が伝染する様子に似ていることから、エピデミックアルゴリズムとも呼ばれる[1]。 歴史[編集] 1970年代初頭、グラフ理論の分野において「ゴシップ問題 (gossip problem)」[2]あるいは「電話病 (telephone disease)」[3]と呼ば
ChordアルゴリズムによるDHT入門 - 情報科学屋さんを目指す人のメモ
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 Chordの解説ページは移転しました。こちらをご覧ください→「ChordアルゴリズムによるDHT入門」 Symphonyの解説を書いたとき、「Chordの理解を前提」にしていたので、今回はChordの細かい解説スライドを作成しました。 Chordの説明はDHTの中でももっともたくさん書かれているものだと思います。 もちろん、それと同じように書いたのではほとんど意味がないと思うので、 論文を読んでもすぐには分からない全体像から、どこが重要か、どの点によってメリットが生まれているかなどに注目しつつ、飲み込みやすいストーリーになるように注意しました。 なおかつ、出来るだけ論文からぶっ飛びすぎないようにも気を付けてみました。 まだ荒削りなのですが、とりあえずどうぞ。
第2回 最大の課題「I/Oボトルネック」の原因と分析法 | gihyo.jp
I/Oの「レスポンス」と「スループット」とは？ 連載第1回でご紹介したように、大規模データ処理を行うデータベースで一番大きな課題となるのは、ディスクI/O（以降、単にI/Oと表記します）のボトルネックです。数百GBやTBクラスの巨大データウェアハウスの場合、SQLが実行される時間のほとんどがI/Oを待つ時間となっているケースが多々あります。 ここでは、I/Oボトルネックが発生するおもな原因を、「レスポンス」と「スループット」という概念から見ていきましょう。それぞれ、広義では以下の定義となります。 I/Oレスポンス＝I/O要求処理にかかる応答時間 I/Oスループット＝単位時間当たりのI/O処理量 Oracle Databaseに当てはめると、以下のように定義できます。 I/Oレスポンス＝1データブロックの読み出しや書き込みにかかる時間 I/Oスループット＝単位時間あたりの読み出しや書き込み
P2Pの専門知識ゼロから独自DHTを実装評価するまでの学習方法と参考資料まとめ - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 P2P、特にDHTの前提知識が無い状態から、オリジナルDHTアルゴリズムを実装・評価できるようになるまでの学習方法と参考資料をまとめました。 基本的なアルゴリズムの仕組みから、実装評価に用いるツールキットの使い方までを短期間で学習することが出来ます。 「P2Pに関する卒論を書こうと思っている人」や「P2Pアプリケーションの開発前に、アルゴリズムをテストしたい人」、「なんとなくP2Pアルゴリズムに興味が出た人」などにぴったりだと思います。また、研究室での後輩教育用資料にするのも良いと思います。実際に使いましたし。 ここで紹介する資料一覧は以下の通りです。 資料１：「ChordアルゴリズムによるDHT入門」 資料１ーオプション１：「DHTアルゴリズムSymphony
分散型のハイパーメディアプロトコル「IPFS」とは？
はじめに HTTP（Hypertext Transfer Protocol）はブラウザと併用されることで、インターネット上のファイル転送プロトコルのデファクトスタンダードになりました。ところが、現在のインターネットは、中央集権化などの課題を抱えています。 本記事で紹介する「IPFS」（InterPlanetary File System）は、HTTPの課題をクリアし、補完・代替しようと開発されているプロトコルです（2020年5月7日現在、ベータ版。v0.5）。本記事では、未来の分散型Web（いわゆる「Web3」）のインフラとなり得るIPFSについて紹介していきます。 P2Pハイパーメディアプロトコル「IPFS」とは？ IPFSとは、分散型のファイルストレージを実現するために開発されているP2P（Peer to Peer）型のハイパーメディアプロトコルです。IPFSはオープンソースプロジェク
Winnyの技術
P2P型ファイル共有ソフトWinny。その仕様と実装について、P2Pの基本や開発手法までを含めて紹介した、作者自身による解説書。 関連サイト本書の詳細ページが用意されています。 『Winnyの技術』内容紹介本書は読者対象として、Winnyの動作や仕組みに関心のある方と、P2P技術に興味があるソフトウェア技術者を想定しています。 1～3章では、Winnyの技術背景となっているP2P型システムについての基礎知識を説明し、ファイル共有ソフトの歴史を紹介したうえで、Winnyの基本的な動作と設計コンセプトをわかりやすく解説しました。Winnyの動作や仕組みに関心のある方はこちらをご覧ください。 4～5章ではP2P技術に興味がある開発者向けに、さらに詳細な実装を解説し、実際にP2Pソフトウェアを開発してみてわかった注意事項やヒント、今後P2Pソフトウェアを開発される方へのメモをまとめました。 Win
UDPのパケットをSSHを通してトンネルする
SSHには標準でTCPのトンネリング機能は付いているのですが， UDPはトンネリングしてくれません． なんとかできないものかと試行錯誤してみました． TCP をトンネル TCPのトンネリングの復習から． 以下のコマンドでクライアントの8080番ポートを，リモートの80番ポートに転送することができます．
TAP-Win32 でネットワークパケットと戯れる (後編) : DSAS開発者の部屋
■ はじめに 前回はTAP デバイスからパケットデータを読み出してみました。 今回はこれに加えて書き込みを試してみましょう。 手近でわかりやすい題材として ping コマンドのエコー要求に応答してみることにします。 つまり、TAP 仮想ネットワーク上に存在するホストのような顔をして待機し、所定の IP アドレスへ ping が打たれるとそれに反応してレスポンスを返すプログラムを書いちゃえということですね。 このように、入出力パケットの操作をユーザモードのコードで自由に行えるのが TAP の面白いところです。 仮想ホストの IP アドレス？ 考えかた イーサネットヘッダ IP ヘッダ ICMP ヘッダ＋データ まずは軽く・・ あれれ？ ARP メッセージ ARP レスポンスに挑戦 ARP レスポンス成功！！ ICMP エコーレスポンスの実装 ICMP エコーレスポンス成功！！ （チェックサム
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3世代あるPoEは2003年に策定、最大15.4Wの「IEEE 802.3af」から【ネット新技術】
https://dnsops.jp/event/20120831/dns-troubleshoot-2.pdf