基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など）。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など）。今回、取り上げるパイプラインとは、広義のパイ
IBM、「Spark as a Service」を発表。Apache Sparkへのコミットで3500人の研究者やエンジニアを投入
IBM、「Spark as a Service」を発表。Apache Sparkへのコミットで3500人の研究者やエンジニアを投入 米IBMはオープンソースの大規模分散処理基盤「Apache Spark」への本格的なコミットメントを数日前に発表し、3500人の研究者やエンジニアを投入すると宣言しました。 同社が合わせて発表したのが、Apache Sparkをクラウド上でサービスとして提供する「Spark as a Service」です。現在はまだサインナップしてもログインできず、最新情報のメールが届くようになっています。 Apache Sparkは、これまでHadoopが切り開いてきた大規模分散処理プラットフォームをさらに技術的に推し進めたものと言えます。 Hadoopは大量のデータをバッチ処理する非常に高い能力を備えていましたが、Apache Sparkではインメモリ処理などによってさら
瞳孔が開くほど簡単にredmineを構築できる「Bitnami」 (1) - harry’s memorandum
Redmineって便利だけどインストールが結構面倒じゃないですか。 特にCentOSにインストールする場合だと、rvmでrubyのバージョン指定して、passengerコンパイルして、apacheのconfいじって.....ええと正直きつい。 http://blog.redmine.jp/articles/2_3/installation_centos/ そこで「Bitnami」登場です。 BitNami Redmine Stack provides a one-click install solution for Redmine. http://bitnami.com/stack/redmine/installer 「Bitnami Redmine」はフルスタックソリューションです。bitnami-redmine-2.3.2-1の場合は以下すべてを含んでいます。デフォルトは/opt以下に
簡潔データ構造(Succinct Data Structure)で最初に読むと良さそうな論文 - EchizenBlog-Zwei
最近、簡潔データ構造(Succinct Data Structure)まわりの論文を色々読んでいる。その中で良さそうなものをいくつかピックアップしてみた。まだ調査中なので他に良いものがあったら教えてもらえると嬉しいです。 (1) Space-efficient Static Trees and Graphs(link) G. Jacobson; IEEE1989 まずはLOUDS論文。簡潔データ構造の元祖なので最初に読むと良さげ。 (2) Succinct Indexable Dictionaries with Applications to Encoding k-ary Trees and Multisets(link) R. Raman, V. Raman, and S. S. Rao; SODA2002 簡潔ビットベクトルは通常n+o(n)なんだけど、これをnH0+o(n)にしたよ、
2010年11月17日18:36 未 だ に 解 明 さ れ て な い も の 85 名前：以下、名無しにかわりましてVIPがお送りします[] 投稿日：2010/11/15(月) 22:53:41.22 ID:uxxnXBgs0 おしっこが尿道の先１?のところでなぜ１回転してるのか 98 名前：以下、名無しにかわりましてVIPがお送りします[] 投稿日：2010/11/15(月) 22:59:06.03 ID:1dX7/GyK0 >>85 そうすることでおしっこに切れが良くなる。 野球や銃弾の回転と同様の効果 進化の結果。 60 名前：以下、名無しにかわりましてVIPがお送りします[] 投稿日：2010/11/15(月) 22:42:17.78 ID:sxIBVINAO 出来杉くんの立ち位置 732 名前：以下、名無しにかわりましてVIPがお送りします[sage] 投稿日：2010/11
【アイドルマスター ミリオンライブ】「THE IDOLM@STER M@STERS OF IDOL WORLD!!2014」復習動画
2月22日,23日の2日間に渡って、さいたまスーパーアリーナで行われた 「THE IDOLM@STER M@STERS OF IDOL WORLD!!2014」のセットリストから、 ミリオンライブが披露した楽曲を集めた復習動画です！ 6月7日,8日に決定した、ミリオンライブ初の単独公演 「THE IDOLM@STER MILLION LIVE 1stLIVE HAPPY☆PERFORM@NCE!!」 の予習にも、是非是非お使いくださいねー！ 「THE IDOLM@STER M@STERS OF IDOL WORLD!!2014」特設サイト http://www.lantis.jp/imas/1stlive/ THE IDOLM@STER 公式HP http://idolmaster.jp/ ミリオンライブ 特設サイト http://www.lantis.jp/imas/
RepoForge (旧RPMForge) 終了のお知らせ RepoForge (旧名称RPMForge) は終了したようです。 2016年7月20日頃から接続できなくなっています。 公式アナウンスはありませんが、一時的なダウンと言うよりは完全に終了したものと見なすべきでしょう。 公式サイト RepoForge might be outdated. We have no updates since very long time. 「RepoForge は時代遅れかもしれません。非常に長期間、何の更新もしていません。」 ミラーサイトを確認する限り、一部のパッケージが2014年7月10日に更新されたのが最後のようです。 終了を告げる公式のアナウンスは今のところありません。 CentOS Wiki RPMForge/RepoForge - This is a dead project. Not
こんにちは、アソビュー！SREチームのkirimaruです。 コロナも少し落ち着き、皆さんもGWは大いに満喫していたのではないでしょうか。 残念ながら僕は本を読んで引きこもっていましたが......。 以前「アソビュー！がECSではなくEKSを選んだ理由」という内容でランサーズさんとのイベントでお話させていただきました。 speakerdeck.com 今回はこの時から約2年、アソビュー！がEKSとどう向き合ってきたのか、どう向き合っていくのかを採用している技術とともにご紹介できればと思います。 Intro 前述のイベントでは「大量のAWSアカウントとECSクラスターの管理が辛いから、整理してEKSに統合していくぞ！」とお話させていただきました。このイベントは2020年ですが、2019年に試験的にEKSを導入し、2020年に本格移行の意思決定を行っています。SREチームはまだまだ人数が少な
Google社とハンズオンワークショップを開催しました！～ANDPADの魅力を機械学習で爆上げしたい～ - ANDPAD Tech Blog
ANDPADでエンジニアをしている森です。先日Google社と機械学習（Machine Learning：以下、ML）についてのプライベートなワークショップを開催しました。その参加報告ということでテックブログを執筆しまして、社外の方にもその様子をお伝えできればと思います。 はじめに 私が所属するデータグループでは、２年ほどかけて社内のデータ基盤の構築を行い、データの蓄積を進めてきました。ある程度整備が進捗してきたところで、次はデータの分析にも力を入れていく方針を採っていて、MLやBusiness Intelligenceの分野がターゲットとなっています。直近のテックブログでは、Kaggleへの参加＆メダル獲得の記事もアップするなど、社内外の技術動向にアンテナを高く張って活動をしています。 Kaggleコンペティションの振り返り - ANDPAD Tech Blog H&Mコンペで銀メダルを
Airflowによるデータパイプラインのスケジュールとモニタリング - Speee DEVELOPER BLOG
こんにちは！WEBマーケティング事業部エンジニアの@hatappiです。 現在私のプロジェクトでデータパイプラインのスケジュールとモニタリングをAirflowというオープンソースのツールを使用して運用しています。 今回は導入や使い勝手の話です。 Airflowとは？ airbnbがオープンソースで開発したワークフロー管理プラットフォームです。 ※ 現在はApache Incubatorのオープンソースプロジェクトになっています。 Airflowはバッチ同士の関係を管理し、可視化することが出来ます。 また、実行した際のLogや実行時間の推移など、様々なデータの閲覧をデフォルトの機能として使用することが出来ます。 データパイプラインとは？ プロジェクトを運用していると、複数のテーブルにデータが入っており、それらのサマリーを作成するといった経験をしたことはありませんか？ これらの一連のプロセスの
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
RazyK - Rubyで実装した純粋関数型言語LazyK処理系 - ruby trunk changes
RazyK をリリースしました。RazyK は Ruby で実装した純粋関数型言語 LazyK の処理系です。 インストール rubygems.org に gems パッケージを登録してあります。gem コマンドでインストールできます。 $ gem install razyk 依存ライブラリ等 以下の gems パッケージに依存しています。 rack ruby-graphviz また ruby-graphviz を利用するためには GraphViz がインストールされていて、dot コマンドが利用できないといけません。 [追記]大事なことを書き忘れていました。Ruby 1.9 でしか動作確認していません。1.8 だと動作しないかもしれません。[/追記] [追記]1.8 で存在しないメソッドを利用していたところがあったので修正して 0.0.1 をリリースしなおしました。[/追記] 使いかた
【ありがとう任天堂】Wii本体とリモコンを移動させるだけで別の部屋でも遊べる神周辺機器が発売！ 本日20日に発売した任天堂の周辺機器が神だと話題に 209 名前：名無しさん必死だな[sage] 投稿日：2010/04/20(火) 09:57:45 ID:0HH9+DAg0 神すぎんだろこれ・・・ Wii移動接続キット - 周辺機器 - Wii 「Wii移動接続キット」は、『Wii専用ACアダプタ』『Wii専用AVケーブル』『Wii専用センサーバー』の３つがセットになった商品です（Wii 本体セットの付属品と同じものです） 。1台のWiiを、2つの部屋で移動させて遊ぶ場合にお使いください。 発売日 2010年4月20日 任天堂オンライン価格 4,200円（税込） セット内容 * Wii専用 ACアダプタ 1個 * Wii専用 AVケーブル 1本 * Wii専用 センサーバ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
I dagens digitalt framdrivna värld har mobilen blivit en oumbärlig följeslagare som hjälper oss att vara uppkopplade, produktiva och informerade. Vi spenderar timmar varje dag på att stirra ner i skärmen, kontrollera…
by Matthew Seal, Kyle Kelley, and Michelle Ufford At Netflix we’ve put substantial effort into adopting notebooks as an integrated development platform. The idea started as a discussion of what development and collaboration interfaces might look like in the future. It evolved into a strategic bet on notebooks, both as an interactive UI and as the unifying foundation of our workflow scheduler. We’v
OpenOfficeの素晴らしさはやはりここではないだろうか。オフィススイートの代替と言う地位は、現状のシェアを考えるとMS Officeが抜きん出ている。だが、それはクライアントサイドでの話だ。 OpenOfficeはサーバサイドで生きていくというのはどうだろう。Webアプリケーションが隆盛の今、サーバサイドは広大だ。 今回紹介するオープンソース・ソフトウェアはunoconv、OpenOfficeを利用したドキュメントコンバータだ。 unoconvはOpenOfficeの特性である、他のオープンソースとの相性のよさ、対応ドキュメントを多さを活かしたソフトウェアだ。30種類を越える画像形式、プレゼンテーション形式、ドキュメント、表計算形式のファイルを変換できる。 単なるテキストでも、XMLでも、PDFでも…なんでもござれだ。MS Officeの形式に変換する事だってもちろん可能だ。unoc
【コラム】OS X ハッキング! (100) LinuxをiTunesサーバに仕立てる | パソコン | マイコミジャーナル
先週末に国内デビューを果たした「iPod mini」は驚異的な売れ行きを示し、Apple Store, Ginzaの店頭はiPod miniを求める人で溢れかえった。うだるような暑さの中、開店前の行列は銀座1丁目付近まで続いたというのだから、その情熱たるや凄まじいものが……くれぐれも"熱中症"には御注意を。 さて、そのiPodだが、ほとんどの場合iTunesとセットで利用しているはず。ふと気が付けばハードディスクの大半がMP3かAAC、というユーザも多いことだろう。iPodと同期する必要のない曲はファイルサーバへ追い出せばスッキリするのだが、そうなるとiTunesで聴くときに不自由する。iTunesの音楽共有機能に対応したファイルサーバがあれば……今回はそんなiTunesヘビーユーザの願望を実現すべく、LinuxをiTunesのファイルサーバに仕立てる手順を紹介してみよう。 iTunesの
なぜRPMForgeを利用するのか tracとか基本リポジトリで提供されていないパッケージをyumで簡単にインストールできるようになるから。 RPMForgeをインストールすれば、以下の1行のコマンドでtracをインストールできる。 # yum install trac 昔地道に作業していたことを考えると、信じられないくらい便利。 RPMForgeのインストール 公式ページを見ること。ブログとかで紹介されているメモでも別にいいけど。 # yum install yum-priorities # wget http://apt.sw.be/redhat/el5/en/i386/RPMS.dag/rpmforge-release-0.3.6-1.el5.rf.i386.rpm # rpm --import http://dag.wieers.com/rpm/packages/RPM-GPG-K
ビートルズ『ノルウェーの森』謎の歌詞解釈と英語喉３ビートレッスン - 或る物書きの英語喉と小説まみれのジャズな日々
ビートルズ中期の名曲『ノルウェーの森』、原題 "Norwegian Wood (This Bird Has Flown)" は作家村上春樹が自作のタイトルにも使った（ただしそちらの書き方はノルウェーではなく『ノルウェイの森』）、多くの人が親しんだ楽曲であり、ジョン・レノンの気怠げなボーカルが最高だ。 この歌は歌詞の意味や言葉の解釈を巡って、さまざまな物議を醸した歌だ。 そもそも『ノルウェーの森』という邦題そのものが「誤訳」であることは有名だ。当時東芝EMIのビートルズ担当ディレクター高嶋弘之（バイオリニストの高嶋ちさ子の父君）が命名したものだ。 曲調とジョージ・ハリスンが奏でるシタールのイメージと「wood」で迷わず命名したらしいが、残念ながら「森」であれば「woods」であり、もし単数で森を表す場合は「the wood」のように定冠詞がつくようだ。 https://beatles.fa
Misakoandrosen.com
Alle kan komme i en situasjon hvor det kan bli nødvendig med raske penger. Det kan f.eks. være til en større reparasjon av bilen eller kanskje flere av hvitevarene har bestemt seg for en kollektiv streik. Da er gode råd dyre og en kan bli nødt til å komme opp med en løsning ganske kjapt. I slike situasjoner er et forbrukslån en løsning for mange. Hos langt de fleste utbydere av forbrukslån kan du
はじめに 今回は、Apache Hadoop上で動作する並列データ処理系Apache Tezについて解説します。 MapReduceの制約 本連載第13回で述べたように、Hadoop MapReduceは、MapとReduceからなる単純なインタフェースを有し、多くのデータ処理を記述できる汎用的な並列データ処理系（フレームワーク）である反面、その単純さによりいくつかの性能的な課題が存在すると考えられます。 たとえば、複雑なジョブをMapReduceで実行する場合、MapとReduceからなるMapReduceジョブを複数段連ねて実行する必要があります（図1）。当該ケースにおいては、MapReduceジョブの間において、分散ファイルシステムを介したデータの入出力が行われてしまい、当該入出力は、性能の観点においてはオーバーヘッドであるため、ジョブの実行時間を長くする原因の1つとなりえます。
6/24 に開催された 【東京】JJUG ナイトセミナー 「Reactive Streams特集」 に参加してきました。これはその感想エントリになります。 ここ最近は勉強会に参加しても、それについてのエントリを書くのをサボってましたが (^^;; 、今回の勉強会は自分にとって非常に考えるところが多かった内容でしたので、ちょっと思ったところをだらだらっと並べてみました。 勉強会について 勉強会の内容は 2 部構成になっていました。前半は岡本雄太 (id:okapies) さんによる「Reactive Streams 入門」で、Reactive Streams について、似た言葉である Reactive Programming や Reactive Manifesto と併せて、それぞれの概念の違い、関わりについて分かり易く説明してもらいました。 https://speakerdeck.com
要約 drakeパッケージは、GNU makeのようにあらかじめ定義されたワークフローを自動的に実施する仕組みを、Rユーザに馴染みやすいデータフレーム形式で提供する ワークフローの構築と管理、実行はRの関数として提供され、依存関係を可視化する関数も用意される drakeパッケージを使うことで、データ分析でありがちな「再実行」の負担（再計算、コードの保守）を軽減することが可能となる 各オブジェクトは自動的にキャッシュされ、コードや依存関係に変更のない場合はキャッシュが利用される ワークフローの各処理の状況、依存関係を可視化する関数も用意され、ワークフロー管理が容易になる 要約 はじめに シーシュポスの岩 既存の解決策 drake: Rユーザのためのワークフロー処理パッケージ ワークフロー管理の基礎 ワークフローと依存関係の可視化 ワークフローの変更 参考URL はじめに データ分析の作業は、
お久しぶりです。冬休みなので、以前Twitterでとったアンケートで一番人気だった内容について書きます。 今回は統計“モデル”を使うことの意味について因果推論の視点からまとめてみようと思います。普段なんとなく回帰分析を使っている人は一読をおススメします。なぜモデルを使うのか、（多くの場合無自覚に）置かれている仮定は何かなどを中心に書いていきます。 なお、本記事の内容はハーバード公衆衛生大学院でMiguel Hernan氏が教える中級因果推論の授業で教えられる内容を基にしています。来学期はこの授業のTAをしますので質問等あればご気軽に。 統計学をきちんと勉強した方であれば基本的な内容になりますので悪しからず、、、 因果推論における「推定(Estimation)」とは ノンパラメトリックvsパラメトリック 超シンプルな回帰”モデル” 層別分析で条件付き期待値を計算 ノンパラメトリックな“モデル
早くも蚊に刺されました nakamura です。きっとおいしそうなんでしょうねぇ。分かる分かる。 今日は CakePHP 連載の 7 回目！CakePHP のキャッシュをファイルではなく memcached に保存する方法を紹介します。 memcached って？ データやオブジェクトをメモリ上に保持する為のキャッシュサーバです。ファイルにキャッシュするよりも高速に動作し、PHP, Java, Perl 等を始めとするプログラミング言語や MySQL, PostgreSQL といった RDBMS など memcached を利用可能なクライアントアプリケーションはとても多岐に渡ります。 この辺りが詳しく解説してくれています。 memcached - Wikipedia 特集：memcachedを知り尽くす｜gihyo.jp … 技術評論社 memcached をインストールする 今回は C
![[ステップアップ！ CakePHP] キャッシュに memcached を使う | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f4390ea5b2b558adfd9c349b9a080aae407daff/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fshared%2Fpublic%2Fimg%2Fcommon%2Ficon_ogp02.png)
TOP > 芸能 > 憧れのGACKTにすがりつく金爆鬼龍院翔の喜びようがまるで犬のようだと話題にｗｗｗｗｗｗ Tweet カテゴリ芸能 0 ：ハムスター２ちゃんねる 2015年01月01日 22:45 ID：hamusoku 1999年のGACKT様ラジオに 電話出演した15歳の鬼龍院翔は こんなことになるとは あの時想像もつかなかっただろう。 1999年のGACKT様ラジオに 電話出演した15歳の鬼龍院翔は こんなことになるとは あの時想像もつかなかっただろう。 pic.twitter.com/9aHB6OMH4O— 葵@よがり余韻続いてます (@ao_kyan) 2015, 1月 1 当時のラジオ番組の録音 良かったね…ホント良かったね…！ 良かったね…ホント良かったね…！ pic.twitter.com/kJmxnU6VIV— にしう (@nishiu1118) 2015, 1月
菊池将和（きくちまさかず） 外資系証券会社で金融商品開発責任者を経て，ハーバード大学でソフトウェア・エンジニアリングの修士号を取得。ブロックチェーンエンジニアとしてSecuritize Japanに参画後，2020年のハッカソンでEthereum Foundation，Protocol Labsから賞を受賞したことをきっかけにConsenSys主催のアクセラレータに採択される。現在はWeb3メンターやETHGlobalハッカソンの審査員を務める一方，スイスを拠点にSecured Finance AGを立ち上げ，DeFi（分散型金融）・デジタル資産領域における革命的なFixed Income市場の整備を先導。設立半年で$4Mを調達。内閣府Trusted Web推進協議会のタスクフォース委員も務める。 第1章 IPFSについて 1.1 IPFSの概要 1.1.1 IPFSの概念と定義 1.1.
川から汲んだ水を再び川に戻してる無意味すぎる水車を見つけたが気になって仕方ない→様々な用途が考察される「バター作ってる？」 - Togetter
いけち @aoa30 水車が置いてあってのどかな雰囲気を演出しようとしてるんだけど、水車の仕事が虚無なのが気になって仕方がない。 pic.twitter.com/DAG9K5iN1w 2022-05-03 15:57:03
[DevOpsプラットフォームの取り組み #7] 独自のKubernetesカスタムオペレーターを用いたCI/CDエンジン - NTT Communications Engineers' Blog
DevOpsプラットフォームの取り組みを紹介する7回目の記事です。 Qmonus Value Stream 開発チームの奥井（ @HirokiOkui ）です。 連載第7回では、Qmonus Value Streamの中核を担うコンポーネントであるAssemblyLineについて深堀りします。 第2回 および 第6回 で解説したとおり、Qmonus Value Streamでは、AssemblyLineという独自のリソースを定義してCI/CDパイプラインを構成します。 AssemblyLineは、 Tekton と同様にKubernetesのカスタムオペレーターとして実装されています。 AssemblyLineは、Tekton Pipelineを実行するワークフローエンジンとしての責務に加えて、柔軟性の高いCI/CDパイプラインを構成・実行するために必要な様々な機能を有しています。 本記事
![[DevOpsプラットフォームの取り組み #7] 独自のKubernetesカスタムオペレーターを用いたCI/CDエンジン - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f6ffb293f07e5c63222cfd9c762437543954b40/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220916%2F20220916161541.png)
医学と仮説――原因と結果の科学を考える (岩波科学ライブラリー) 価格：￥ 1,260（税込） 発売日：2011-09-17 津田敏秀さんの最新刊。 これまで津田さんの本を読んだことない人、最近、あちこちで聞かれるようになった疫学って？？？興味あるけど、入門書読むのは腰が重たい！ってな人などにはお奨めできる内容。 箇条書きします。***** ・ピロリ菌の発がん性についてどのように認定されたか学びつつ、疫学について触れることができる。日本現状と、世界標準の理解との違いも（さらに知識を深めるための入り口となる）。 ・WHOの機関である国際がん研究所（IARC）や、発がん物質の基準について知ることができる。 ・科学において、因果関係とはなんだろう、と考えるきっかけになる。 ・メカニズムを追及することが因果関係の追及だと思っている人は、誤解を解くことができる。 ・要素還元主義なるものへの批判は、
CentOS 4.4 + nagios-2.5-1インストールメモ - my Linux Life
CentOS 4.4でのnagios-2.5-1 設定手順 現時点(2006/11)での最新環境での簡易設定メモ nagiosの稼動にようやく成功したので再度メモを書き直す。大まかな手順は以下の通り0.httpdをインストールしてFWを設定 1.yumのリポジトリにDAGというのを追加 2.nagios,nagios-pluginをyumでインストール 3.各種設定ファイルの編集 0.httpdの設定 nagiosインストール時に自動的にapacheに関連するユーザーやグループが追加されるので最初にapache(httpd)をインストールしてきちんと動作確認しておくこと。 1.yumの設定 こちらのサイトを参考にさせてもらいました。ありがとうございます。 nagiosなどのサードパーティ製パッケージもyumのリポジトリに追加できるようになっている。rikenなどの有名サイトでも配布している
1：以下、名無しにかわりましてVIPがお送りします：2012/05/29(火) 18:00:20.24 ID:da+w4F4s0 3：以下、名無しにかわりましてVIPがお送りします：2012/05/29(火) 18:01:19.09 ID:huHjrslUP 見てるこっちが恥ずかしくなる 4：以下、名無しにかわりましてVIPがお送りします：2012/05/29(火) 18:01:23.43 ID:yiTylO27i 確かに。 7：以下、名無しにかわりましてVIPがお送りします：2012/05/29(火) 18:01:51.90 ID:0Z5JIQsB0 そもそもそいつが見てんのまだ一般人向けの範疇じゃね 8：以下、名無しにかわりましてVIPがお送りします：2012/05/29(火) 18:02:14.71 ID:VS9bK4Yoi パパ聞きスレ 11：以下、名無しにかわりましてVIPがお送
TB越えのMySQL 巨大テーブルを 1日で BigQueryへLOADする | メルカリエンジニアリング
こんにちは!! 私はメルカリでSREをしている k-oguma ( ktykogm ) です。 ちょうど1年くらい前にジョインしました。 よろしくお願いします! 今日は、タイトルの件で対応した方法をご紹介したいと思います。 それはある日突然やってきた TL;DR BigQueryへLOADさせる方法を考える 初期の検討 見直し Embulk Embulk 説明 Digdag Digdag 説明 Digdag呼び出し処理 Dry-run いざ、実行 補足: もっと高速化させたいなら 終わったあとは 最後に 参考にしたURL それはある日突然やってきた ある日、ETL作業 (データ分析基盤運用)の依頼がUSチームからやってきました。 要件は次のようなものでした。 1.4TB サイズの MySQL innodb tableを1つをBigQueryに上げる 約1年分。期間指定。 期限数日、なる早
Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使
Hadoopソースコードリーディング 第17回に参加してきました。今回のテーマは7月にApacheのTop-Level Project入りしたばかりのApache Tezについてでした。なお、全体的にApache Sparkと比較する形での説明が多かったので、Sparkについてご存じない方は前回のHadoopソースコードリーディング 第16回に参加してきましたをご参照下さい。 NTTデータ濱野さんの冒頭の挨拶 今日は別のイベントも多いためいつもの半分ぐらいの参加者だが、その分Deepにやれれば いつもの会場だと途中からピザとお酒だが、今回の会場は飲食禁止なので最後までシラフで Tezに関する勉強会は初回なのにいきなりタイトルがInternalsとかになってますねｗ Tez Internals （@oza_x86 さん） @oza_x86 さんからはTez Internalsということで、S
tl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly i
Web制作やBlogのカスタマイズでよく起こりがちなのが、「あるブラウザでは思った通りに表示されるが、別のブラウザで見ると表示が崩れている。もしくは思った通りに表示されない。」という現象。 私もBlogのカスタマイズで新しいテンプレートを土台にあらゆる場所を変更したのですが、様々な表示の違いにかなり悩まされました。自分が調べている範囲でもIE以外の利用者が相当増えてきていますから、IEだけでちゃんと表示されればいいと割り切るわけにもいきません。(そもそも自分はFirefoxを使ってますからね。) 今回はそのようなクロスブラウザ対応で困らないための基礎知識がテーマです。起きるトラブルで大体の原因の予想がつけば、解決する手段を見つけるのはそう難しくありません。もちろん個々のトラブルの原因はケースバイケースですから、条件に当てはまらない場合も多々ありますのでご注意を。 1. すべてのブラウザで表
Rクックブック 作者: Paul Teetor,大橋真也,木下哲也出版社/メーカー: オライリージャパン発売日: 2011/12/22メディア: 大型本購入: 9人 クリック: 61回この商品を含むブログ (13件) を見る はじめに 統計的処理と結果のグラフ化をするために学生時代はmatlabを利用していました。matlabは行列演算に優れ使い易い言語だったのですが、一番の難点はMathWorks社の商用製品である事です。しかも高い。MathWorks 日本 - MATLAB / Simulinkによる数値計算 - マスワークス公式日本語サイト matlabと同様の機能をもつ(互換性は無い)scilabというFreeの言語もありますが、イマイチ流行っている感はありません。Home - Scilab WebSite Freeの言語で統計処理をやるのはR言語が主流のようなので、それに習ってR
たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第9回［最終回］ データパイプラインのためのワークフロー管理 | gihyo.jp
カオスちゃんねる : 未 だ に 解 明 さ れ て な い も の
RPMForge (RepoForge) 終了のお知らせ - Qiita
アソビュー！でのEKSクラスターの今までとこれから - asoview! Tech Blog
【ありがとう任天堂】Wii本体とリモコンを移動させるだけで別の部屋でも遊べる神周辺機器が発売！ : はちま起稿
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
Mobilnyheter - Nyheter inom det mobila segmentet
Part 2: Scheduling Notebooks at Netflix
OpenOfficeを経由したドキュメント変換·unoconv MOONGIFT
RPMForgeの設定 - radio-keiosの日記
第16回 並列データ処理系 Apache Tez | gihyo.jp
JJUG ナイトセミナー 「Reactive Streams特集」の感想 - AOEの日記
データ分析のワークフローをdrakeで管理して効率的に作業を進めよう - 株式会社ホクソエムのブログ
回帰分析を使った因果推論の仮定：パラメトリックモデルを使うということ - Unboundedly
[ステップアップ！ CakePHP] キャッシュに memcached を使う | バシャログ。
憧れのGACKTにすがりつく金爆鬼龍院翔の喜びようがまるで犬のようだと話題にｗｗｗｗｗｗ:ハムスター速報
実践IPFS入門
リヴァイアさん、日々のわざ: 「医学と仮説」について
【画像】こういうオタクの願望丸出しの漫画って気持ち悪いよな : 妹はVIPPER
Digdagのアーキテクチャとコンセプトを理解する #digdag | DevelopersIO
Hadoopソースコードリーディング 第17回に参加してきました | DevelopersIO
Open-Sourcing a Monitoring GUI for Metaflow
クロスブラウザの基礎知識 〜原因とその対応方法〜 : WebとPCのメモ帳
CentOSでR言語を使ってみたことのまとめ - Y's note