サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
moyomot.hatenablog.com
はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門~畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju
はじめに GTX1070を購入しました GPUでTensorFlowを動かすまでの作業ログです 環境 ハードウェア(2年前に自作したマイサーバー) CPU: Intel CPU Xeon E3-1241V3 3.50GHz マザーボード: ASUSTeK Intel H97 Pro SSD: Samsung SSD840EVO 250GB メモリ: 8GB * 4 今回購入 ASUSTek NVIDIA GeForce GTX1070 なぜ、GTX1070 → お小遣いで購入できる限界だった ソフトウェア OS: Ubuntu Server 16.04.1 LTS - NVIDIAドライバ: cuda-repo-ubuntu1504-7-5-local_7.5-18_amd64.deb → apt-getで入れる cuDNN: cudnn-7.5-linux-x64-v5.1.tgz Te
はじめに この記事はMachine Learning Advent Calendar 2015 - Qiitaの3日目の記事です gensimはトピックモデルのpythonライブラリです gensimのチュートリアルgensim: Tutorialsに沿って、gensimソースコードリーディングをほんの少し紹介します 全体の流れ 文書からコーパス生成 コーパスを元にトピックモデルを生成 モデルを利用して文書の類似度を算出 注意 英語の文章を対象とします 1. 文書からコーパス生成 文章をベクトル化してコーパスを生成します。 # ログ出力の設定 import logging logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) # 必要モジュールのインポート fr
はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定(たぶん) 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタイム分析サービスの構築 from Minero Aoki www.slideshare.net リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ from Hiroyuki Inoue www.slideshare.net techlife.cookpad.com メルカリ tech.mercari.com SmartNews speakerdeck.com developer.smartnews.com DMM labotech.dmm.com labotech.dmm.com l
RubyのスレッドにはGiant VM lock (GVL) (Global Interpreter lock) が実装されており、同時に実行される ネイティブスレッドは常にひとつです。なので、スレッドセーフでないプログラムを実行しても、排他制御が効いているように見えます。 例えば次のコードを実行すると variable = 0 flag = true threads = 5.times.map do Thread.new do if flag variable += 1 flag = false end end end threads.each(&:join) puts variable 1が出力されます。何度でも。 スレッドセーフでないコードなのに結果が毎回1になるのはGVLのためです。 ここでスレッドセーフでない振る舞いをあらわに知りたいときは次のようにすればOKです。 variab
はじめに Flumeから流れてきたデータをSpark Streamingする。 実現したいことのイメージ。 netcatサーバーでデータ生成 Flumeはクライアントからデータを受け取り、Sparkに流し込む Spark Streamingでデータを集計 環境 Scala IDE for Ecipse : 2.10.4 flume-ng-sdk-1.3.1.jar spark-assembly-1.1.0-hadoop2.4.0.jar spark-streaming-flume_2.10-1.1.0.jar spark-streaming-flume-sink_2.10-1.1.0.jar Spark Streamingを開始する ソースコードはSparkのサンプルコードをもとに作成。 spark/FlumeEventCount.scala at master · apache/spar
はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃないですか。でも、手元に物理的な筐体がないと物足りないんですよね。なんだろ、これ。 サーバー自作は最後まで考えました。CPU何にするかまで考えました。でも、物理的に大きなものが、我が家に存在すると、いろいろ問題があるのですよ。奥様的に。で、却下。 インテルのNUC欲しかったです。でもSSDとか電源とか別途購入する必要があり、結果的にコストオーバー。 んで、消去法で、Raspberry PiでHadoopクラスタ組んでみることになりました。 ゴールはNameNode、DataNode、ResourceManager、Nod
はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。 TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/examples/streaming at master · apache/spark · GitHub spark/external at master · apache/spark · GitHub これらは、いろいろ利用できそうですね。 一方で、オリジナルのStreaming処理を行いたい場合には、 Sparkが提供するReceiverクラスを拡張する必要があります。 この記事では、Receiverクラス
このページを最初にブックマークしてみませんか?
『moyomot.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く