Big Sky :: 別のプロセスの動的な環境変数を盗み取る
linux - .bashrcでexportしたPATHが/procにあるプロセスファイルの環境変数(PATH)と一致しないように見える - スタック・オーバーフロー Ubunt 15.04 を使っています。 どういう際に利用するかは措いておくとして、 /proc にある各プロセスIDの名前がついたディレクトリにある、 environ というファイルを、プログラミン... http://ja.stackoverflow.com/q/19984/440 回答の中で答えられている通り、/proc/$$/environ (/proc/self/environ)は、プログラム起動時の環境変数だけが表示される。プロセスが起動中に設定した環境変数は表示されない。 なんとかして取れないかなーと思って以下のスクリプトを書いた。 #!/bin/bash if [ "x$2" == "x" ]; then G
[実践編] MaaSとJujuによるOSS配備、Ubuntu Serverの運用・管理（前編）
今回お届けするUbuntu Server実践編の第2弾では、前編でスケールアウト基盤にOSを簡単にベアメタル配備するためのMaaSサーバーの構築手順を解説します。後編では、OSSのオーケストレーションを実現するJujuを解説します。 MaaSによるOSの自動インストール Ubuntu Serverでは、OSにMaaS（Metal-as-a-Service）と呼ばれるベアメタル配備の機能があります。MaaSは、Ubuntu Serverを物理サーバー上に配備する役割を担っていますが、後述のJujuと組み合わせることにより、複数のOSSが連携したUbuntu Serverのシステムを構築することが可能となります。 JujuによるOSSのオーケストレーションを物理サーバーベースのクラウド環境を実現するためには、MaaSが必須となります。物理サーバーベースのスケールアウト型のNAS環境やHadoo
![[実践編] MaaSとJujuによるOSS配備、Ubuntu Serverの運用・管理（前編）](https://cdn-ak-scissors.b.st-hatena.com/image/square/7854e51b5f846d773583bce6363e0c00636f5d30/height=288;version=1;width=512/https%3A%2F%2Fthinkit.co.jp%2Fsites%2Fdefault%2Ffiles%2Fmain_images%2F4697_main_5_8.png)
Chef Omnibus Installer に学ぶLinuxサーバの簡単構築 | クラウド・AWSのIT技術者向けブログ SKYARCH BROADCASTING
ミドルウェアインストールやサーバ構築で お悩みの皆様、もうChefはお使いでしょうか？ 不定期で何回かに分けてChefSoloの導入事例をお伝えさせて頂きます。 背景 スカイアーチネットワークスでは、ChefSoloを活用したサーバ構築を実施しておりますが 誰もが簡単にChefを使って頂くための土台作りを、Omnibus Installerを参考に行いました。 そもそもOmnibus Installerとは 1行インストーラの事です。（詳細割愛） 弊社の実装例（サーバ構築業務へのChefSolo利用） 構築対象のLinuxサーバのシェルに1行記載して実行する事で 弊社の運用に則した管理スクリプトを初め最低限必要なミドルウェアがインストールされます。 ChefSoloに渡すjsonを変更する事でインストールするミドルウェアのバージョン変更等も行えますので ある程度柔軟にパターンを受け入れるこ
Google Guava をもっと活用する - Qiita
Google Guava とは Guava とは Google が開発している Java の Common ライブラリ。 先日、最新バージョン v19.0もリリースされました。 非常に便利なライブラリなので、使っている人たちも多いはず。面倒なロジックを組まないといけない場合は、とりあえず使える機能がないか調べるようにしています。 Java8 が出てきて、FluentIterable など競合する機能や出番の少なくなった機能も多いですが、使える機能はたくさんありますので、紹介してみようと思います。使うときに不便だった点も付け加えておきます。 Table キーを2種類持てる Map のようなもの。 複数のキーで(といっても2種類)オブジェクト集合を検索するための一時的な索引として使うと便利。 2種類があれば3種類も、と思うが、3種類以上のキーを持てるものは、残念ながら無い。 List<Empl
【Linux】TCP・UDPポートの疎通確認・アクセス元IPの確認をしたい(nc) | For Want Of A Better Word
とある要件で自前のサーバーとUDPの疎通・アクセス元IPの確認をする必要が生じた。 tcpならtenlnet等で行けるようだが、udpはどうすれば…. というときに 「nc」 コマンドに遭遇。 特定ポート(tcp/udp)への疎通はもちろん、受信側も待ち受けすることが出来る。 これ一つあれば、ポートの疎通確認・アクセス元IP確認はOKという感じ。 CentOSならインストールは下記yumコマンドでOK
DevStack — DevStack documentation
DevStack¶ DevStack is a series of extensible scripts used to quickly bring up a complete OpenStack environment based on the latest versions of everything from git master. It is used interactively as a development environment and as the basis for much of the OpenStack project’s functional testing. The source is available at https://opendev.org/openstack/devstack. Warning DevStack will make substant
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
gitでプロキシを設定 - Qiita
[http] proxy = http://proxy.example.com:8080 [https] proxy = http://proxy.example.com:8080 [url "https://"] insteadOf = git:// Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
Deep Learning Summer School 2015
The Deep Learning Summer School 2015 was held in Montreal in August 2015. For the 2016 edition, please follow this link. Organizers: Yoshua Bengio, Roland Memisevic, Yann LeCun Videos of the lectures are available at: http://videolectures.net/deeplearning2015_montreal/ Summary: Deep neural networks that learn to represent data in multiple layers of increasing abstraction have dramatically improved
C++で「あ、このコードあかん」という兆候を集める - Qiita
人のコードを扱ってると「あ、これはちょっとあかんコードだ」と気づく時がある。設計かコーディングかにこだわらず書き連ねていく。実は過去に自分がやらかした例もある。 できるだけ簡潔な箇条書きになることを目指す。それぞれ単発の記事にするには短いのでちょいちょい更新していく。 この記事でアプリケーションコードとはライブラリやフレームワークを使う側のコードを指し、ライブラリコードとはライブラリやフレームワークを提供する側のコードを指している。 STLのコンテナを使わず自分でリストなどのデータ構造を実装している 設計の領域。単に連結リストが使いたいという動機で自分で実装すべきではない。 実装・メンテナンスのコストが得られるパフォーマンスに見合わない。 加えてコードを引き継いだ者が非標準のデータ構造のインターフェースと実装を理解するコストが発生する。 参照型がローカルに宣言されている、参照型を変数に別名
カーネルタイマは何故リストで管理されているのか - big-eyed-hamster’s diary
カーネルタイマは何故リストで管理されているのか、という理由がわかった気がするのでメモ. カーネルタイマは expires (点火する時間)で5段階に場合わけされて管理されているが、ロックはこの5段階ごとに保持されている. 何故タイマ毎にロックをしないのだろう? その方がロックの粒度が小さくなり、並列度が増すはずだ. 仮に timer_list 構造体が spinlock_t lock 持っていたとして、カーネル側の実装は以下のようにすればよさげに見える. /* kernel side functions */ void __run_timers(void) { while( timer_list_has_timers(lists) ){ timer = get_next_timer(); fn = timer->function; data = timer->data; ... spin_
ビルドしたLinuxカーネルをブートできる最低限の環境を用意する（with Busybox & qemu) - 豆腐の豆腐和え
最近Linuxカーネル周りを触り始めています。Linuxカーネル周りを触り始めたといってもそもそもLinux歴が浅く、menuconfigを本格的にいじりながらビルドするのは今回が初めてだったりしてブートするだけでも大変でした。そこらへんをまとめます。 カスタムビルドしたLinuxカーネルをブートできる環境を簡単に用意する 今更何だという感じですが、Linuxとは正確にはカーネルの部分だけのことを指していて、ユーザーランドを含みません。巷でよく言われるアレですね。（もしあなたが十分に信心深いなら、Linuxシステム全体をLIGNUXと呼んでもよいです。） なのでkernel.orgから引っ張ってきたカーネルソースをビルドしても、すぐには起動して試すことができません。ubuntuなどのディストリのカーネルを入れ替える形でブートさせてもいいのですが、 カーネルソース自体をいじっていてテストをし
.emacs.d を公開しました - Qiita
.emacs.d を大幅に整理したので，GitHub に .emacs を公開しました． もし参考になるとしたら .emacs.d/init.el と .emacs.d/inits 内のファイル群でしょうか． 細かくコメントを書いているつもりなので，どんな設定をしてるかについてはそちらを参考にしてください． 以下に，ファイル構成や設定内容の説明をしますが，設定内容だけでなくファイル分割の考え方や Elisp の書き方も説明します．Elisp がある程度わかる人向けです． ディレクトリ構成 ざっとこんな感じです． ~/.emacs.d ├── .gitignore ├── ddskk/ │ ├── dic/ │ ├── emacs-id │ ├── init │ ├── jisyo │ ├── record │ └── study ├── elisp/ │ ├──
dotfilesをgithubで管理し始めた - すぎゃーんメモ
つい勢いで新しいMacBookProを買ってしまいまして。せっかくなので新しい環境で一から色々と入れ直している。 この際だから、ということでずっとゴチャゴチャのまま放置していた設定ファイル集をgithubにあげて管理することにした。 GitHub - sugyan/dotfiles: my dotfiles configuration 今のところzsh, emacsの基本設定など。 #!/bin/sh cd $(dirname $0) for dotfile in .?* do if [ $dotfile != '..' ] && [ $dotfile != '.git' ] then ln -Fis "$PWD/$dotfile" $HOME fi done というシェルスクリプトを作って、どんな環境でもgit cloneして持ってきたファイルたちが一発で$HOME以下にシンボリックリン
自分のプログラミング開発環境の歴史を記録する！githubで設定ファイル(dotfiles)をクラウド管理する方法 | Futurismo
自分のプログラミング開発環境の歴史を記録する！githubで設定ファイル(dotfiles)をクラウド管理する方法 はじめに# 最近は、bashやらemacsをいじることがおおい。設定ファイルを自宅のPCとノートPCの間で同期するようなよい方法はないものかと思った。また、会社でも自宅の設定がふとみたくなったとき、涙をのんでほぞを噛みつつ定時退社の夢を見ている。 そんななか、githubに設定ファイルをバックアップ＆同期する方法を見つけたので、やってみた。 なお、元ネタはこの本です。最近、熱中して読んでいる。チョーオススメ！！ Emacs実践入門 ～思考を直感的にコード化し、開発を加速する (WEB+DB PRESS plus) https://amzn.to/3xe1IDc githubにバックアップする方法# dotfilesディレクトリに設定ファイルを移動# 設定ファイルを一箇所にあつ
InfluxDB専用のメトリックスコレクタTelegrafを使ってみた - Qiita
本エントリではInfluxDB, Grafana, Telegrafを組合せてサーバリソースやデータベースリソースを格納する方法について記載します。 またTelegrafでのプラグインの書き方については記載しません。 Telegrafとは Telegrafとは2015/06/19に発表されたInfluxDB専用のGo言語で書かれたメトリクスコレクタ(エージェント)で、fluentdなどの中間層をはさまず、InfluxDBに最適化されたデータ格納をしてくれるエージェントです。 プラグインアーキテクチャを採用しており、取得するメトリクスを追加したりカスタマイズすることが可能です。 詳細は下記をご覧ください。 ソースコード https://github.com/influxdb/telegraf InfluxDB Blogの記事 https://influxdb.com/blog/2015/06
cAdvisor, InfluxDB, GrafanaでDockerコンテナのリソース監視 - Qiita
はじめに 1台のDockerホスト上のコンテナのリソース監視はcAdvisorが一般的になっているような気がします。 それでは複数台のDockerホスト上のコンテナのリソース監視はどうするのかなと調べてみると、以下のような方法があるようです。 cAdvisorで直接InfluxDBに保存し、Grafanaで可視化 HeapsterでcAdvisorから情報を収集してInfluxDBに保存し、Grafanaで可視化 cAdvisorからfluentでInfluxDBに保存し、Grafanaで可視化 この記事では一つ目の方法を試してみようと思います。 とりあえず今出てきた登場人物の簡単な紹介とリンク紹介を。 なお、この記事はだいたい3月中旬に書いた内容です。 Dockerコンテナのリソースモニタリングツール Kuberenetesで使うために主にGoogle社が開発したオープンソースソフトウェ
Hadoop Application Architectures - Fraud Detection
This document discusses a case study on fraud detection using Hadoop. It begins with an overview of fraud detection requirements, including the need for real-time and near real-time processing of large volumes and varieties of data. It then covers considerations for the system architecture, including using HDFS and HBase for storage, Kafka for ingestion, and Spark and Storm for stream and batch pr
neuraltalk2をUbuntu VMで使ってみる - Do-you-linux!?
neuraltalk2をUbuntu VMで使ってみる と題し 評価目的のため事前用意したイメージを処理するUbuntu VMを作ります。 以下のステップをすすめる前に Dockerが使えるかたは最初からこちらにどうぞ Neuraltalk2のAuthorはGPUの使用を推奨してますが Nvidia製GPUが手元にないのでCPUを使います。 VirtualBoxにUbuntu64bitを用意 ・Ubuntu14.04 64bit desktop ・HDDに40GB ・CPU割り当て2 CPU ・メモリ4096MB 今回のハマりポイントですがtorchが32bit Ubuntuは非対応なので必ず64bit版を使いましょう。 これを間違うと○時間無駄にします。 CPU数に余裕があるなら設定でCPUを２個以上割り当てるとスピードアップになります。 メモリ2GBではとても遅いので4GBほど割り当て
Spotifyのモニタリング part 1：これまでの経緯 | POSTD
これはSpotifyのモニタリングについて 2回に分けてご紹介 するシリーズの第1回です。この記事では、これまでの経緯や、直面した難題とそれに対する取り組みをお話ししたいと思います。 Spotifyの運用のモニタリングは、2つのシステムを組み合わせて始まりました。Zabbixと、 RRDベース の自前で作成したグラフ作成システム「sitemon」です。sitemonは、データ収集に Munin を使っていました。ZabbixはSREチームが所有し、sitemonはバックエンドのインフラチームが運用していました。当時は小さな会社だったので、各自で問題を解決するのが普通でした。この方式を採用した理由は何よりも、最初に問題に取り組んだ担当者が選んだためでした。 2013年の終わりには、 セルフサービスと運用責任の分担 に力を入れ始めます。私たちは、個々のホストを監視するのはやめて、サービスの全体
Vagrant + DigitanOcean + JMeter で作る財布に少しだけ優しい（かもしれない）負荷試験環境 - ようへいの日々精進XP
ゴール 簡単なアプリケーションサーバーの負荷テスト 自分の端末ではなくて外部のサーバーを利用して コマンド一発（多くて二発）で負荷試験の開始、結果の収集を行う 結果だけは自端末の JMeter で確認する（シナリオも自分の端末で作る） 出来るだけコストを抑える 構成図とネタ 構成図 ネタ 以下を利用することで同じことが出来るはず。（但し、負荷試験のシナリオは任意で...） github.com メモ 要件と設定 ゴールを受けてのざっくり要件と設定の内容を整理する。 要件 設定 備考 簡単に...コマンド一発で... vagrant を利用する bootstrap.sh でテスト準備からテストまでを一気通貫で... 外部のサーバー DigitalOcean を利用する Amazon EC2 でも同じことは可能 シナリオの作成と結果は自分の端末で 自分の端末にも JMeter をインストールす
quickrdoでRDO/Libertyのお手軽オールインワン構成 - めもめも
何の話かというと 恒例の「quickrdoでRDOのオールインワンデモ構成を作ろう！」ネタです。最新のLibertyに対応しました。 全体構成 「なんでNICが2個いるんだよ」と恒例のツッコミをいただきそうですが、あえて２個にわけています。（手順を間違ってうまくいかなかった時の対応方法の説明が面倒なので・・・）必要であれば、USB接続のイーサネットアダプターなどを利用してください。 また、IPアドレスは環境に応じて読み替えてください。「IPプール」は、仮想ルーターの外部ポートやフローティングIPなどで使用するIPアドレスです。ホストOSにはCentOS7を使用しますので、NICのデバイス名は「eno0」や「enp5s9」などになりますが、ここでは簡単のために「eth0」「eth1」としています。 ホストOSの準備 CentOS7を最小構成でインストールして、「eth0」「eth1」のネット
Vivaldi: A Decentralized Network Coordinate System - 京の路
分散ネットワーク（P2Pのネットワークなど？）を効率よく構成するアルゴリズムについての論文。Grid班の後輩君から教えてもらった。 MOCKの初期グラフ生成のヒントがあるかも知れないと思い、アブストだけ訳してみた。参考文献を見る限り、コアなグラフ理論の文献はほとんど無さそう（文献11の"Surface reconstruction from unorganized points"くらいか）なので、外れな予感が漂う。ま、とりあえず4ページ目くらいまで読んでみようかな。 Vivaldi: A Decentralized Network Coordinate System Abstract 大規模インターネットアプリケーションでは、あるノードからその他のノードに接続すること無しに通信速度を予測できることがメリットとなる。明確な測定値は計測にかかるコストが得られる利得を上回ることが多く、魅力的では
Dockerが抱えるネットワークの課題
近頃 Server-Side Apply (SSA) の利用が広がっています。GitOps ツールである Flux2 は v0.18.0 でマニフェストの適用に SSA を使用するようになりました。そこで重要になってくるのが metadata.managedFields です。 このセッションでは、kubectl v1.21 まで kubectl get -o yaml で表示されていてめっちゃ邪魔だった metadata.managedFields が何のために存在しているのか紹介します。また SSA によりオブジェクトのフィールドを削除したはずが実際には削除されていないなんてこともおきます。なぜそんなことが発生するのか、またその状態をどのように解決するかも紹介します。 イベントサイト: https://k8sjp.connpass.com/event/237734/
SDNアプローチによるBGP経路監視を試してみる - SDN開発エンジニアを目指した活動ブログ
「ネットワーク運用の自動化」として、BGP経路監視を考察してみたいと思います。 NetOpsCoding Advent Calendar 2015 12/12分のエントリーです qiita.com ◾️ ”BGP運用”という言葉から想定されるイメージ BGP運用というと、なんとなく「BGP職人さん」という言葉を連想してしまうのは、私だけでしょうか？ BGP職人さんは、事前に策定されたBGP運用ポリシーに従って、ポリシー・ルーティングに関わるルートマップ等コンフィグを投入することができる存在であり、想定どおり、ポリシー・ルーティングが動作されているかを確認するため、ベンダ固有のCLIコマンドを駆使して細かなBGP制御を確認することを日々の業務として実施する。 そんなイメージを、「BGP運用」からは、連想してしまいます。 さらに、不測な事態としてNWトポロジが安定動作していないことが判明した際
教師あり学習 - Sideswipe
これは 人工知能アドベントカレンダー の13日目の記事です。 教師あり学習(supervised learning)は、「機械学習といえば教師あり学習」といってもいいくらいの機械学習を代表する一分野で、なにかを認識したり、予想したりするために必要な手法です。ここでは、いくつかの代表的な教師あり学習アルゴリズムを見ていきましょう。 教師あり学習とはなにか 既に度々説明していますが、教師あり学習はデータと正解のペアを与えて、それをもとに学習する方法です。 文字認識（数字認識）を例に取ってみましょう。以下の頭を見てください。 まず、プログラムに教えるためのデータが必要です。いろいろな形の数字の画像をたくさん用意します（図では3つずつしか用意していないが、普通は数百〜数万ほど集める）。そして、それぞれの画像に対して、その画像はどの数字に対応しているのかという正解データも用意します（教師データ、ラベ
Googleの肩に乗ってShellコーディングしちゃおう - Qiita
はじめに GoogleさんがShellスタイルガイドを共有していたので、いくつか気になった点をピックアップしました。 自分のShellスタイルはかなり我流なので、自省の意味も込めてコメントも併記します。 Googleスタイルガイドの元ネタ （Python/C++/Java/Rとかだけでなくdocumentガイドなど色々あります） https://github.com/google/styleguide Shellスタイルガイド （今回はこちら） http://google.github.io/styleguide/shell.xml 本当は人間がチェックするのではなくcpplintのためXML定義なのかもですが、気にしない気にしない。 （見たところcpplintはc++だけだと思ってます） commitフックでshell系のlint走らせろっていうのが今風なのかもしれませんが、キニシナイキ
docker run -v で mount したディレクトリを見やすく出力するワンライナー - tkuchikiの日記
執筆時の環境は docker 1.3.2 ですが、ある程度バージョンが前後してもそのまま使えると思います。 はじめに docker run -v /data1:/tmp/data とした場合は、 docker host の /tmp/data を mount していることがわかります。 しかし、docker run -v /data1 のように、docker host 側の ディレクトリを指定しなかった場合は、 /var/lib/docker/vfs/dir 以下にディレクトリができ、そのディレクトリを mount します。 これは、docker inspect --format='{{.Volumes}}' で確認できますが、それを見やすく表示するワンライナーの書き方についてです。 事前準備 以下のように、docker run 時に /data1 /data2 を mount します。
運用時の Ansible の使い方（一例）
こんにちは。15年度入社の新卒、大澤です。 私はインフラエンジニアとして Aiming に入社し、ほぼ毎日新しい技術やサービスに触れています( Git, Jenkins, Ansible, などなど… ）。その中でも今回は、私が最近覚えた運用時に使う Ansible の一例を紹介したいと思います。 Ansible shell module を用いて、複数サーバへコマンドを実行 同じコマンドを実行したいサーバが複数台ある場合（ Slave DB2台に “show slave status\G” とか、Web Server 5台のアクセスログを見るとか…）、私のような未熟者だと「一台ずつ入ってコマンドを実行しよう！」と考えがちですが、そのやり方だと非効率だと叱咤を受けます。そこで、 Ansible の shell module を使用します。 例えば、下記のような inventory file
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bitbucket
GitHub - aajisaka/ansible-hadoop-dev: Deploy environment for Hadoop build
Set internal IP range on devstack
InfluxDB の概要 - sonots
IntelliJ IDEAハンズオン · yusuke/ideahandson · GitHub
Login to Meetup | Meetup
Mamoru Komachi on Twitter: "全く同感で、word2vec的な表現学習（離散から連続へ）の研究はトップカンファレンスでは一段落して、今はニューラルなモデルで構造学習（系列ラベリング、構文解析、機械翻訳、対話生成など）をいかに（言語的）知識を用いて設計するか、という話だと思うのだが、なかなか理解してもらえない。"
Payforward