はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

  • はてなブックマークって?
  • アプリ・拡張の紹介
  • ユーザー登録
  • ログイン
  • Hatena

はてなブックマーク

トップへ戻る

  • 総合
    • 人気
    • 新着
    • IT
    • 最新ガジェット
    • 自然科学
    • 経済・金融
    • おもしろ
    • マンガ
    • ゲーム
    • はてなブログ(総合)
  • 一般
    • 人気
    • 新着
    • 社会ニュース
    • 地域
    • 国際
    • 天気
    • グルメ
    • 映画・音楽
    • スポーツ
    • はてな匿名ダイアリー
    • はてなブログ(一般)
  • 世の中
    • 人気
    • 新着
    • 新型コロナウイルス
    • 働き方
    • 生き方
    • 地域
    • 医療・ヘルス
    • 教育
    • はてな匿名ダイアリー
    • はてなブログ(世の中)
  • 政治と経済
    • 人気
    • 新着
    • 政治
    • 経済・金融
    • 企業
    • 仕事・就職
    • マーケット
    • 国際
    • はてなブログ(政治と経済)
  • 暮らし
    • 人気
    • 新着
    • カルチャー・ライフスタイル
    • ファッション
    • 運動・エクササイズ
    • 結婚・子育て
    • 住まい
    • グルメ
    • 相続
    • はてなブログ(暮らし)
    • 掃除・整理整頓
    • 雑貨
    • 買ってよかったもの
    • 旅行
    • アウトドア
    • 趣味
  • 学び
    • 人気
    • 新着
    • 人文科学
    • 社会科学
    • 自然科学
    • 語学
    • ビジネス・経営学
    • デザイン
    • 法律
    • 本・書評
    • 将棋・囲碁
    • はてなブログ(学び)
  • テクノロジー
    • 人気
    • 新着
    • IT
    • セキュリティ技術
    • はてなブログ(テクノロジー)
    • AI・機械学習
    • プログラミング
    • エンジニア
  • おもしろ
    • 人気
    • 新着
    • まとめ
    • ネタ
    • おもしろ
    • これはすごい
    • かわいい
    • 雑学
    • 癒やし
    • はてなブログ(おもしろ)
  • エンタメ
    • 人気
    • 新着
    • スポーツ
    • 映画
    • 音楽
    • アイドル
    • 芸能
    • お笑い
    • サッカー
    • 話題の動画
    • はてなブログ(エンタメ)
  • アニメとゲーム
    • 人気
    • 新着
    • マンガ
    • Webマンガ
    • ゲーム
    • 任天堂
    • PlayStation
    • アニメ
    • バーチャルYouTuber
    • オタクカルチャー
    • はてなブログ(アニメとゲーム)
    • はてなブログ(ゲーム)
  • おすすめ

    ChatGPT

『masato's web site』

  • 人気
  • 新着
  • すべて
  • PythonとSensorTag, Kafka, Spark Streamingのストリーム処理 - Part 5: Apache Toree でJupyterからSparkに接続する | masato's blog

    3 users

    masato.github.io

    Sparkクラスタを用意していくつかサンプルコードを書いていこうと思います。Pythonのデータ分析や機械学習の実行環境としてJupyterは多くの方が利用していると思います。Apache ToreeでSparkアプリも同じようにJupyterからインタラクティブに書くことが目的です。ブラウザから実行できるScalaのREPLしてもJupyterを使うことができます。 Spark SparkクラスタをDocker Composeで構築します。Docker HubとGitHubに多くのSpark Standalone Cluster用のイメージとdocker-compose.ymlが公開されています。 semantive/sparkproduktion/jupyter-pysparkgettyimages/docker-spark いくつか試しましたがsemantive/sparkがシンプル

    • テクノロジー
    • 2018/10/04 09:56
    • jupyter
    • Cloud9をIDCFクラウドで使う - Part1: Docker Composeでインストール

      5 users

      masato.github.io

      Introducing Nitrous ProにあるようにすでにNitrous.IO Proに移行しています。暫定的に旧環境もLiteとして使えていますが、2015-07-01には終了します。Nitours Proのアカウントも作成しましたがfreeアカウントだと1日2時間しか使えません。そろそろ移行先を考えないといけません。 これまでNitrous.IOをfreemiumでありがたく使わせていただきましたが、Introducing Nitrous ProにあるようにすでにNitrous.IO Proに移行しています。暫定的に旧環境もLiteとして使えていますが、2015-07-01には終了します。Nitours Proのアカウントも作成しましたがfreeアカウントだと1日2時間しか使えません。そろそろ移行先を考えないといけません。 Nitrous.IONitrous.IOはWebIDEや

      • テクノロジー
      • 2016/01/24 01:27
      • cloud
      • Dockerでデータ分析環境 - Part2: AnacondaでIPython Notebookをインストール

        3 users

        masato.github.io

        Part1でRStudio Serverをインストールしたのに続いて、IPython Notebook環境を構築します。マルチユーザー環境だと、ipython-hydraがありますが理解できていないので、rootユーザーで動かすことにします。IACSのコースでは、IPython Notebookの環境構築にAnacondaを使っているので参考にします。AnacondaはPythonでデータ分析環境を構築する場合に必要なパッケージがたくさん入っているので、まとめてインストールできます。 インストールの手順を間違えていたので更新しました。Nginx+SSLのリバースプロキシを使うと、MathJaxのインストールがCDNからできないようです。事前にローカルにインストールするようにしました。 Update 2014-08-10: Dockerでデータ分析環境 - Part7: Ubuntu14.0

        • テクノロジー
        • 2016/01/17 14:28
        • あとで読む
        • Elixir on Dockerで関数型言語をはじめよう - Part2: 関数の実行

          5 users

          masato.github.io

          前回はiExのインタラクティブシェルに実行しました。はじめてRubyでコードを書いたときのような楽しさがあります。次はファイルに書いたモジュールをコンパイルして実行してみます。またEmacsのelixir-modeをインストールして開発環境を整備していきます。 前回はiexのインタラクティブシェルに実行しました。はじめてRubyでコードを書いたときのような楽しさがあります。次はファイルに書いたモジュールをコンパイルして実行してみます。またEmacsのelixir-modeをインストールして開発環境を整備していきます。 開発環境Docker Compose前回と同様にElixirのコマンドはDocker Composeで実行します。 ~/elixir_apps/docker-compose.ymlelixir: &defaults image: trenpixster/elixir work

          • テクノロジー
          • 2015/06/16 23:36
          • elixir
          • docker
          • Docker開発環境のEmacs24をinit-loader.elとCaskとPalletでパッケージ管理する

            6 users

            masato.github.io

            いままではinit-loader.elとpackage.elを使ってEmacs24のパッケージ管理を行っていました。最近はCaskとPalletを使うのが良いらしいので追加して使ってみます。package.elもそのまま使えてパッケージ管理がさらに楽になります。 Update 2014-10-04: Docker開発環境をつくる - Emacs24とEclimからEclipseに接続するJava開発環境 Update 2014-09-24: CIDERのcompleteionにac-nreplはdeprecatedなのでac-ciderを使う Update 2014-09-20: Docker開発環境をつくる - Emacs24とClojure いままではinit-loader.elとpackage.elを使ってEmacs24のパッケージ管理を行っていました。 最近はCaskとPallet

            • テクノロジー
            • 2015/05/03 00:23
            • emacs
            • docker
            • あとで読む
            • Dockerコンテナ上でCLIを実行するデザインパターン

              46 users

              masato.github.io

              サーバーはDockerコンテナで起動することが多くなりました。サーバーと一緒に使うクライアントもDockerイメージで配布できるとホストマシンの環境も汚さないので便利です。いつくか参考になるDockerfileを見比べながらよいデザインパターンを考えていこうと思います。 サーバーはDockerコンテナで起動することが多くなりました。サーバーと一緒に使うクライアントもDockerイメージで配布できるとホストマシンの環境も汚さないので便利です。いつくか参考になるDockerfileを見比べながらよいデザインパターンを考えていこうと思います。 nsenter - DockerホストにコピーしてインストールnsenterはDockerイメージのビルドでバイナリをビルドします。コンテナを起動してからDockerホストにコピーしてインストールしています。 DockerfileFROM debian:j

              • テクノロジー
              • 2015/04/29 20:06
              • docker
              • cli
              • Saved For Later
              • development
              • linux
              • *あとで
              • あとで読む
              • Dockerでデータ分析環境 - Part1: Ubuntu14.04にRStudio Serverをインストール

                11 users

                masato.github.io

                社内でデータ分析を勉強したいという声があがりました。声があがったのも驚きですが、ほとんどが非エンジニアのふつうの人で、それもRから勉強したいそうです。データ分析が一般業務として認知されはじめたようで、とてもうれしくなります。ふつうの人SSHやEmacsを使わず簡単にブラウザで勉強できる環境を用意しようと思います。こういった分析サンドボックスにこそ、Dockerがふさわしいので、さっそく`Rstudio Server`をUbuntu14.04にインストールしてみます。以前からApparmorとUpstartに悩まされ続けていて、Docker上で動かせませんでした。DruidのDockerfileんでいたらApparmorは無効にして、デモナイズはrunitを使っていたので、なるほどと思いました。Druidはちょっと触ってみたいのですが、クエリをJSONで書くみたいです。 Update 201

                • テクノロジー
                • 2015/02/12 16:54
                • docker
                • あとで読む
                • DockerfileのADDとuseraddのPermission denied

                  5 users

                  masato.github.io

                  SSHで接続できる作業ユーザーで作ったのですが、 それでもホームディレクトリに展開したGoやDartのSDKや、.emacs.dのPermission deniedが解消されず、Dockerfileを見直しています。 作成したuseraddも修正して、ユーザー名をdockerにしました。 Guidance for Docker Image Authorsにも書いてありますが、 Dockerが広まってくると、やはりrootで作業し続けるのはお行儀がよくありません。 PackerでOVAを作っているとイメージの再作成をすると時間がかかってしまい、ビルド開始した後にミスを見つけると呪いたくなります。 Dockerの場合は何回でも気軽にやり直せるので、開発環境を少しずつよくしていくことができます。断捨離またはdispose all the things。 あまり複数コマンドを一つのRUNに束ねると

                  • テクノロジー
                  • 2015/01/16 22:29
                  • docker
                  • HexoのアップデートとテーマをTumblrのApolloに変更する

                    3 users

                    masato.github.io

                    久しぶりにHexoのThemesページをみたら種類が増えていました。GhostやTumblrから移植したテーマもミニマルでいい感じです。CSSのfont-familyを見ると最初から日本語フォントが定義されているテーマもいくつかあり、日本でも使っている人が増えたようです。気分転換にテーマをTumblrのApolloに変更することにしました。 久しぶりにHexoのThemesページをみたら種類が増えていました。GhostやTumblrから移植したテーマもミニマルでいい感じです。CSSのfont-familyを見ると最初から日本語フォントが定義されているテーマもいくつかあり、日本でも使っている人が増えたようです。 気分転換にテーマをTumblrのApolloに変更することにしました。 HexoのアップデートnpmでHexoをアップデートします。2.7.1から2.8.3にあがりました。

                    • テクノロジー
                    • 2015/01/14 17:01
                    • DockerでオープンソースPaaS - Part1: はじめに

                      4 users

                      masato.github.io

                      Dockerをバックエンドに使うオープンソースのPaaSも増えてきて、HerokuのBuildpackを使えるようになったり、CloudFoundryのバックエンドにDockerを使えるようになりました。Deimosの前身Docker-on-Mesosから入ったので、さっぱり意味がわかりませんでした。本当はPaaSって何?で定義が難しいのですが、Dockerエコシステムの拡がりでいろいろな挑戦をしているサービスやライブラリが増えています。自分のやりたいことベースで少しずつ整理していきたいと思います。私の用途だとFlynnやDeisでも規模が大きい感じです。 Update 2014-08-14: Deis in IDCFクラウド - Part1: CoreOSクラスタとDeisインストール Dockerをバックエンドに使うオープンソースのPaaSも増えてきて、 HerokuのBuildpac

                      • テクノロジー
                      • 2014/12/13 07:02
                      • docker
                      • Share
                      • MoinMoinをDigitalOceanのCoreOSに移設する - Part3: docker-backupでデータボリュームコンテナのバックアップとリストア

                        5 users

                        masato.github.io

                        • テクノロジー
                        • 2014/12/12 16:54
                        • docker
                        • Docker監視環境 - Part3: cAdvisor, InfluxDB, Grafanaの構築

                          4 users

                          masato.github.io

                          Riemannに続いて、cAdvisor, InfluxDB, Grafanaを使った監視環境を構築していきます。メトリクスを保存するバックエンドとして時系列データベースのInfluxDBの使い方を学習するのが目的です。Continuous Queriesを使って逐次的にデータを間引いたり、データの保持期間を決めたりできるようです。Measure All The Thingsを実践していて、Whisperのリテンションが間に合わなくなって自滅した経験があるので、RiemannやHekaを使ったメトリクスのStream Processingのバックエンドとして最適だと思います。 Update: DockerのInfluxDBとGrafanaでdweet.ioのデータを可視化する Riemannに続いて、cAdvisor, InfluxDB, Grafanaを使った監視環境を構築していきます。

                          • テクノロジー
                          • 2014/12/02 10:05
                          • InfluxDB
                          • Docker
                          • development
                          • *あとで
                          • Docker監視環境 - Part2: Riemannの構築

                            7 users

                            masato.github.io

                            Docker監視環境 - Part1 cAdvisor, collectd, Riemann, InfluxDB, Grafanaで決めたアーキテクチャのPoCをしていきます。最初にRiemannを構築します。RiemannはClojureらしい分散システムの監視ツールです。似たようなストリーム処理のフレームワークにLaminaやStormがあります。Stormのようなクラスタでビッグデータを処理するほどでもなく、Do-it-yourself CloudWatch-style alarms using Riemannにあるような用途が主です。system metricsとapplication metricsの収集 ブラウザで可視化とクエリ実行 閾値を監視してnotificationやtriggerを実行 clostackを使ってCloudStackでオートスケールなんておもしろうそうです

                            • テクノロジー
                            • 2014/12/02 10:05
                            • docker
                            • development
                            • *あとで
                            • あとで読む
                            • Docker監視環境 - Part1: cAdvisor, collectd, Riemann, InfluxDB, Grafana

                              68 users

                              masato.github.io

                              • テクノロジー
                              • 2014/11/30 19:12
                              • docker
                              • monitoring
                              • Kubernetes
                              • 監視
                              • InfluxDB
                              • Grafana
                              • Clojure
                              • 構築
                              • コンテナ
                              • Kubernetes on CoreOS with Fleet and Rudder on IDCFクラウド - Part5: FleetとRudderで再作成する

                                5 users

                                masato.github.io

                                • テクノロジー
                                • 2014/11/06 14:33
                                • Kubernetes on CoreOS with Fleet and flannel on IDCFクラウド - Part6: Rudder renamed to flannel

                                  4 users

                                  masato.github.io

                                  • 世の中
                                  • 2014/11/06 14:33
                                  • Docker開発環境をつくる - Emacs24とEclimからEclipseに接続するJava開発環境

                                    3 users

                                    masato.github.io

                                    $ tree ~/docker_apps/eclim/ ~/docker_apps/eclim/ ├── .emacs.d │   ├── Cask │   ├── init.el │   └── inits │   ├── 00-keybinds.el │   ├── 01-files.el │   └── 04-eclim.el ├── Dockerfile ├── mykey.pub └── sv └── xvfb ├── log │   └── run └── run FROM phusion/baseimage:0.9.15 MAINTAINER Masato Shimizu <ma6ato@gmail.com> # Set correct environment variables. ENV HOME /root # Regenerate SSH host keys. RUN

                                    • テクノロジー
                                    • 2014/11/06 09:30
                                    • docker
                                    • java
                                    • プログラミング
                                    • DockerのWordPressコンテナをcommitしてもvolumeがimageに含まれなくて困った

                                      3 users

                                      masato.github.io

                                      Dockerで構築したWordPressの2-Container-Appコンテナを複製してステージング環境を作ろうとしました。commitしてイメージを作成してからコンテナを起動したのですがvolumeに指定したディレクトリの中身がありません。Data Container volumes can't be saved as images Update 2014-10-13: MoinMoinをDigitalOceanのCoreOSに移設する - Part2: Dockerイメージの作成 Update 2014-10-12: MoinMoinをDigitalOceanのCoreOSに移設する - Part1: はじめに Dockerで構築したWordPressの2-Container-Appを複製してステージング環境を作ろうとしました。 commitしてイメージを作成してからコンテナを起動し

                                      • テクノロジー
                                      • 2014/10/17 13:40
                                      • Docker
                                      • masato's web site

                                        5 users

                                        masato.github.io

                                        Spark Streaming、Kafka Streamsに続いてストリーム処理フレームワークのApache Flinkを試します。Spark StreamingはPython、Kafka StreamsはJavaで書いたのでApache FlinkはScalaで書いてみようと思います。

                                        • テクノロジー
                                        • 2014/09/09 11:00
                                        • docker
                                        • Kubernetes in CoreOS with Rudder on IDCFクラウド - Part4: GuestBook example

                                          3 users

                                          masato.github.io

                                          • テクノロジー
                                          • 2014/09/08 17:26
                                          • docker
                                          • DockerのHTTP Routing - Part6: confd はじめに

                                            6 users

                                            masato.github.io

                                            Part1でリストしたconfdの使用例がCoreOSをfleetctlから操作する - Part2 hello.serviceで参考にしているExperimenting with CoreOS, confd, etcd, fleet, and CloudFormationの後半に出てきました。今回はconfdの使い方を見ていきます。いろいろ考えていくとconfdの仕組みが一番わかりやすそうです。 Update 2014-08-05: DockerのHTTP Routing - Part8: xip.io と Nginx と confd 0.6 で動的リバースプロキシ Part1でリストしたconfdの使用例がCoreOSをfleetctlから操作する - Part2: hello.serviceで参考にしているExperimenting with CoreOS, confd, etcd,

                                            • テクノロジー
                                            • 2014/09/08 16:46
                                            • CoreOS
                                            • docker
                                            • DockerのHTTP Routing: Part1: Service Discovery

                                              3 users

                                              masato.github.io

                                              tsuruを構築したときにDockerコンテナを外部に公開する場合は、Service DiscoveryのためにWildcard DNSとローカルのBIND、HipacheのHTTP Routingの仕組みが必要でした。これでもFlynnやDeis、Deimosに比べると小規模なのですが、もっとカジュアルにバックエンドのDockerコンテナを見つけて、動的にルーティングしてくれるシンプルなリバースプロキシが欲しいです。Service Discoveryにはいろいろな仕組みがあります。まだ分類が難しいのですが、勉強のためまとめてみます。 tsuruを構築したときにDockerコンテナを外部に公開する場合は、Service DiscoveryのためにWildcard DNSとローカルのBIND、HipacheのHTTP Routingの仕組みが必要でした。 これでもFlynnやDeis、Dei

                                              • テクノロジー
                                              • 2014/08/26 23:25
                                              • docker
                                              • ChromebookにUbuntuをインストール

                                                4 users

                                                masato.github.io

                                                HP Chromebook 11をオフラインでも使えるように、croutonを使いUbuntu Trustyをインストールします。デスクトップ環境には軽量なXfceをインスト-ルして、日本語環境を構築します。 Update: HP Chromebook 11にUbuntu 14.04.1とXfceをインストールする HP Chromebook 11をオフラインでも使えるように、croutonを使いUbuntu Trustyをインストールします。デスクトップ環境には軽量なXfceをインスト-ルして、日本語環境を構築します。 Chromebookをデベロッパーモードで起動するChromebookを「ESC」+「Refresh」+「Power button」を押してリカバリモードで起動します。 リカバリーモードにはいり、「Ctrl」+「D」+「Enter」を押し、そのままの状態でしばらく待つと、

                                                • テクノロジー
                                                • 2014/07/15 12:54
                                                • Ubuntu

                                                このページはまだ
                                                ブックマークされていません

                                                このページを最初にブックマークしてみませんか?

                                                『masato's web site』の新着エントリーを見る

                                                キーボードショートカット一覧

                                                j次のブックマーク

                                                k前のブックマーク

                                                lあとで読む

                                                eコメント一覧を開く

                                                oページを開く

                                                はてなブックマーク

                                                • 総合
                                                • 一般
                                                • 世の中
                                                • 政治と経済
                                                • 暮らし
                                                • 学び
                                                • テクノロジー
                                                • エンタメ
                                                • アニメとゲーム
                                                • おもしろ
                                                • アプリ・拡張機能
                                                • 開発ブログ
                                                • ヘルプ
                                                • お問い合わせ
                                                • ガイドライン
                                                • 利用規約
                                                • プライバシーポリシー
                                                • 利用者情報の外部送信について
                                                • ガイドライン
                                                • 利用規約
                                                • プライバシーポリシー
                                                • 利用者情報の外部送信について

                                                公式Twitter

                                                • 公式アカウント
                                                • ホットエントリー

                                                はてなのサービス

                                                • はてなブログ
                                                • はてなブログPro
                                                • 人力検索はてな
                                                • はてなブログ タグ
                                                • はてなニュース
                                                • ソレドコ
                                                • App Storeからダウンロード
                                                • Google Playで手に入れよう
                                                Copyright © 2005-2025 Hatena. All Rights Reserved.
                                                設定を変更しましたx