結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
1662年から2010年まで３５０年にちょっと足りない期間の、アメリカ合衆国でのベストセラー書をリストにした。 これだけの期間だと、さすがに一貫したソースがないが、次の文献を参照した。 （～1945年） Mott, F. L. (1947). Golden multitude: : the story of best sellers in the United States. New York: Macmillan Co. （1946年～） Korda, M. (2001). Making the list: A cultural history of the American bestseller, 1900-1999 : as seen through the annual bestseller lists of Publishers weekly. New York: Barnes
ちと仕事であるといいなーと思ったのでメモです。 そもそも ftp://ftp.redhat.com/pub/redhat/linux/enterprise/4/en/os 普通はここらへんからRPMやらSRPMを拾って来ます。公式なんである程度信頼して良いでしょう。 RHEL4用のyum repositoryはあるのか 答えはあります！ ＠IT：Fedora Coreの非公式リポジトリをyumで利用するには のかなり下の方にサードパーティ用のyum reposがあるんですけど、 定義ファイル名 名前 URL atrpms.repo ATrpms http://atrpms.net/ dag.repo Dag's repository http://dag.wieers.com/home-made/apt/ dries.repo Dries RPM Repository http://dri
【ビルド高速化！】AWS CodeBuildが次世代高速コンテナビルドのBuildKitをサポートしました | DevelopersIO
【ビルド高速化！】AWS CodeBuildが次世代高速コンテナビルドのBuildKitをサポートしました AWS Code Buildで採用するDockerのランタイムバージョンがバージョンアップされ、遂にBuildKitに対応しました。従来のDockerビルドが高速化される可能性大なのでぜひ一度お試しください。 「え？これまじか、やばいやろ」 年明け、正月休みモードでのんべんたらりとFacebookを眺めていたら、驚きのニュースが！しばらく、全然更新される気配がなかったCode BuildのDockerランタイムバージョンが、いきなり最新にアップデートされたとのことです。 AWS CodeBuild で Docker 18.09 が使えるようになったので BuildKit をためしてみた BuildKitは次世代高速コンテナビルドで、ちょっとした設定変更で皆さんのDockerビルドも高
本当にスポーツが上達しそう？武井壮の「ヤッてる理論」が凄すぎると話題に Tweet 1: ダークホース ★＠＼(^o^)／ 2015/11/26(木) 09:48:44.57 ID:CAP_USER*.net １１月２４日放送の『マツコの知らない世界』（ＴＢＳ系）にタレントで陸上選手の武井壮（４２）が出演。 「百獣の王」を目指す武井のスポーツ哲学を語った。 武井は１０歳で「アスリートとして生きる」として決めてから、酒もタバコもやらず、栄養にならないキュウリやこんにゃくは一切食べないという武井は「水は飲もうと思ったら飲める。 野球はホームラン打とうと思っても打てない。それが子供の頃ずっと不思議だった」という。 ビデオで自分のフォームをチェックしたら、プロの選手とはまったく違うフォームだったことに衝撃を受け、武井が編み出しのが「自分の頭の中のイメージと、身体が同じ様に動くトレーニング」。 まず
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の「MapReduce」というものからはほど遠い。むしろ「任意」の分散処理実行フレームワークにたいして、適切なリソースを
dag_vector: ランダムアクセス可能な圧縮配列 - Preferred Networks Research & Development
こんにちは、この夏はシルキードライで乗り切りたい岡野原です。 今日は最近公開したC++のオープンソースであるdag vectorについて紹介します。 github: dag_vector ライセンスは修正BSDライセンスです。 dag vector (direct accessible gamma code vector) は値を圧縮して格納したまま任意の場所の値を高速に参照可能な配列ライブラリです。しかもデータ末尾への追記が可能です。 dag vectorはstd::vectorのように利用できます。下にいくつか例を見ていきましょう。 dag_vectorの例 #include "dag_vector.hpp" // dag_vectorは0以上の正整数の配列を扱う配列。 dag_vector dv; // 値はいつでも追加可能。追加された値は圧縮して格納される // 正整数xは2lg(
DPの話 - aizuzia
この記事は Competitive Programming Advent Calendar のために作成されました。 「DP (Dynamic Programminng: 動的計画法) がよく分からない」というつぶやきをよく目にします。何から何まで分からないというわけではないけど、 「こういうDPをすれば解けるよ」と説明されれば理解できるけど、一からそれを思い付けない メモ再帰だと書けるけどループだと書けない、またはその逆 とかいう。 この記事は、DPという技法をより深く理解する手助けをすることを目的として書かれています。これを読めばどんなDPの問題もさくさく解ける・・・ことはないと思いますが、あんまり悩まずに実装できるようになるぐらいの効果はあるんじゃないかなと思います。想定する読者層は、簡単なDPの問題をいくつか解いたことがある、TopCoderレーティング 1500 未満ぐらいの人と
lighttpd 日本語セットアップサイト
2022年8月、ホームページを全面リニューアルしました！ 情報を分かりやすくお伝えできるサイト作りを目指してまいります。 Preface ： LightTPD （Light footprint + httpd = LightTPD） とは、セキュリティ、スピード、操作性、および柔軟性−−これらすべての事柄において、ウェブサーバの効率を最適化します。そんな LightTPD を説明します。LightTPDは、高性能環境のために設計され、最適化されているので少ないメモリによるフットプリントを他のサーバと比較すると、LightTPD はcpuロードアベレージの効果的な管理、そして、高度な機能セット(FastCGI、CGI、Auth、出力圧縮、URL-Rewriting、およびその他多く)を持つことで現在負荷問題を抱えているあらゆるサーバのための完全な解決策になりえます。 そして、それは最もよく、
機械学習による実用アプリケーション構築
機械学習は翻訳、推薦システム、異常および不正検出など、さまざまなアプリケーションで利用されており、今後も機能強化のために、機械学習を組み入れるサービスはますます増えていくと考えられています。しかし機械学習はモデルの学習や評価など、これまでのアプリケーションにはない処理が必要となるだけでなく、正常に動作しているかを単純なテストだけでは検証できないなど、特別な配慮が必要となります。本書は機械学習を利用するアプリケーションを設計、構築、デプロイするために注意すべき点をまとめました。繰り返しによりデータやモデルを漸進的に改善する方法、モデル性能の監視やモデルのデバッグを行う方法など、アプリケーションを構築、運用する上で、その品質を左右する一連のプロセスを詳しく解説します。 訳者まえがき まえがき 第Ⅰ部 適切な機械学習アプローチの特定 1章 製品目標からML の枠組みへ 1.1 何が可能であるかを
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
17:55 Keynote 分散ワークフローエンジン『Digdag』の実装 ワークフローエンジンは、依存関係のある複数のタスクを実行するツールです。古典的なMakefileを始め、Python製のLuigi、商用のJP1/AJS3など、様々な実装があります。Digdagは、現在活発に開発が進んでいる新しいワークフローエンジンです。このセッションでは、ツリー構造を持つワークフローの状態遷移を効率的に実行する手法、ワークフローの実行状態の永続化と分散実行、タスクスケジューラ、Dockerによるサンドボックス化など、その実装手法を紹介しながらワークフローエンジンの構成技術について解説します。 必要となる知識 SQLの基本的な知識と、Rubyのリフレクション、オプティマイザなどの知識があると、より楽しめると思います。 古橋 貞之 Treasure Data, Inc. Founder & Soft
「典型問題」という言葉。競技プログラミングにおいて、皆さん絶対聞いたことがある単語だと思います。少し長くやっている人であれば「典型とか言われているけど全然わからない」みたいなことも、よくあるんじゃないでしょうか？ そこで、今回は、「典型問題って何なのか？」みたいな話を、ちょっとしっかり書いていこうかな、と思います。 誰もが「典型問題」と疑わない問題について 例えば、こんな問題が出たら、誰もが「典型問題」という言うでしょう。 N個の地点があり、M本の道路で結ばれている。各道路には、反対側の地点に行くためにかかる時間が与えられている。 A地点からB地点に行くまでの時間を出力しなさい。 これは、最短経路問題そのままですし、ダイクストラ法などのアルゴリズムをそのまま適用して解くことのできる問題です。これが、一番分かりやすい典型問題です。 まとめ：「名前をついているアルゴリズムをそのまま実装」が、一
ALGORITHM NOTE
X×Y個のセルから成るグリッド上のスタート地点から出発し、全５種類のパチクリ（生物）を捕まえた状態でゴール地点まで行く最短コストを求める問題です。各パチクリはそれぞれ、火、氷、木、土、水の属性を持ち、火のパチクリは氷のパチクリを捕まえることができ、氷のパチクリは木のパチクリを捕まえることができ、といったように火→氷→木→土→水→火というような属性の関連があります。スタート地点で最初に持つパチクリを１つ選ぶことができます。グリッドのサイズx, y はそれぞれ2以上1000以下で、各属性のパチクリの数はそれぞれ0以上1000以下です（全体の数は5000以下）。 最初に１つのパチクリを選んだ後のパチクリを捕まえる順番は、上記属性の関連の順番になります。例えば最初に火の属性をもつパチクリを持っていれば、氷、木、土、水の属性をもつパチクリを順番に捕まえてゴールに行けばよいので、下図に示すDAG（Di
Modus
Modus uses logic programming to express interactions among build parameters, specify complex build workflows, automatically parallelise and cache builds, help to reduce image size, and simplify maintenance. Install Modus Read Tutorial A Modus program is a set of rules that define how new images are built from existing images by adding filesystem layers. Images and layers are represented using pred
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
こんにちは。3/17のABC091で無事水色になる事ができたので、今までにやってきた事と水色になるために必要だと感じた事をまとめようと思います。 この記事に載っている内容はあくまで個人の意見なので、あくまで参考程度にお願いします。 また、私自身が水色最底辺の人間なので知識が浅く、いくつか間違っている点があるかもしれません。ご容赦ください。 自分語り 塚本@shibh308です。執筆時点でのレートは1215で、今までのレート推移はこんな感じ(下画像参照)です。 競技プログラミングを本格的にやり始めたきっかけは去年の12月ごろ、JOI予選で300点爆死をキメたのがきっかけでした。当時はアルゴリズムについての知識が全くなかったので、200点問題ですら解けるか怪しいようなレベルだったと記憶しています。 当時のコードはこんな感じですね。この時はB問題を時間いっぱい使ってやっと解けたみたいな状態でした
2014年は第一次世界大戦の勃発から100年、そしてスウェーデンの外交政策にとって2014年は1814年以来200年にわたって戦争をしていないことになる、節目の年である。 トルストイがクリミア戦争での従軍経験を題材にした短編小説『セヴァストーポリ』は1854年の同地を舞台に物語が始まる。それから160年経ったいま、クリミアの地をめぐって、自国の安全保障か、それとも国際貢献かを天秤にかける議論がスウェーデンで沸き起こり、スウェーデン外交が大きく揺れている。 スウェーデンの外交といえば、長らく「中立政策」の代名詞として語られてきた。しかし確固たる理念があって「中立」が導入されたものではなく、歴史の流れの中で国是として掲げられてきたものにすぎない。 スウェーデンの外交に初めて「中立」という概念が導入されたのは、1834年にスウェーデン王カール14世ヨーハン（Karl XIV Johan）が将来の
AIの進化から学ぶ会話型UIの課題
UIを考える前に本質を探る 人と情報の関係が会話（チャット）のようになることに伴い、コンテンツだけでなく UI デザインも、会話の中でどのように表示すると適切なのか考える必要があります。会話型になる UI デザインについて2年前に記事にしましたが、今は状況が大きく異なります。 Facebook Messenger はボットの開発やコンテンツの最適化ができるプラットフォームを発表していますし、Slack Bots は開発者にとって馴染みの深いものになっています。 また、友人のように振る舞うことができる Xiaoice（微软小冰）も多くの方に利用されるようになりました。Xiaoice は、昨年 WeChat でリリースされて以来、数百万のフォロワーがいる人気ボット。同じ技術が採用されているりんなは、 LINE で楽しむことができます。ボットが友達と呼べる日は遠い未来の話ではありません。 チャッ
Asakusa on Spark AsakusaがSpark上で動くようになりました。 Asakusa on Spark (Developer Preview) — Asakusa Framework Developer Preview 0.2.2 documentation すでに実際に本番に利用しています。 ノーチラス・テクノロジーズがさくらインターネットにAsakusa Frameworkで開発した大規模データの高速処理基盤を導入し、顧客単位での精度の高い原価計算を実現高速処理基盤はApache Spark™で構築 | NAUTILUS OSSとしての公開を行いましたので、内容や位置づけをまとめておきます。例によってノーチラスは社内でいろんな意見は当然出ていますが、今回は概ね一致している感じです。 パフォーマンス 概ね「業務バッチ処理という観点で見れば、すべからくHadoopMapR
今回の電王戦第二局、いろいろお騒がせして申し訳ない。明日は、私はこのブログを通じて実況をするつもりだが、将棋ファンの方々には、やはり将棋の内容そのものに目を向けていただきたい。 今回の騒動で、差し替えによって「棋力があがること」「指し手の性質が変わること」を私が事前に知っていたかどうか(私が悪意を持って強いソフトに差し替えようとしたのか)というのを議論の争点としている人が多い。私には自分に悪意がなかったことを証明する手段はないし、そういう視点で私が何かを説明をすることは出来ない。 だから、そのとき私がどのように考えていたかを、ざっと書いておく。 (いま、東京に移動する新幹線のなかなのできちんとした文章になっていなかったら申し訳ない。明日の対局のときにこの話題を引きずって欲しくないので、今日中に書いてしまいたいのだ。) やねうら王2013は、Bonanza(6.0)ベースとは少し違う。Bon
海野です。 自然言語処理などで機械学習を行おうとすると、非常に疎なベクトル表現を使いたくなります。疎、というのはほとんどの要素が0である、という意味です。前々から疎ベクトルライブラリのパフォーマンスに関して気になっていたので、幾つか調べてみました。 Jubatus Workshopでも話したとおり、機械学習を適用しようとすると、普通は対象のデータをベクトル表現に落とします。特に言語データの場合は、それぞれの単語や文字などを特徴次元とするため、非常に疎なベクトルとなってしまいます。純粋な配列（C++で言えばstd::vector）を使ってしまうと、大量にメモリを食ってしまうため疎ベクトル専用の表現を使うのが普通です。 今日は様々な疎ベクトルライブラリのパフォーマンス比較を行おうと思います。比較したライブラリは以下のとおり。真の意味で、疎ベクトルのライブラリは、Eigenとublasだけで、残
解説: Life Universe
公開からだいぶ時間が経ってしまいましたが、Life Universe の技術解説を書きます。 English version is here. Life Universe について その前に、いくつか知っておくとよい事柄があるので先に説明します。 OTCA Metapixel について ライフゲームの説明については割愛します。ライフゲームはチューリング完全なので様々なパターンが存在し、その中に OTCA Metapixel というものが存在します。OTCA Metapixel は（メタ）セルのオンとオフの状態が視覚的に分かる特殊なパターンで、ライフゲームのみならず outer totalistic なルール[1]で動く全ての[2]２次元セルオートマトンを再現できます。 つまり、ライフゲームの中で動くライフゲームを見ることができます。 こちらは有名な動画ですが、実際にこういう計算が可能になり
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
和む外国人のコピペください『パーーーーン！WAOOOOOOOOOOO!!!!!!』 : 哲学ニュースnwk
2014年12月15日16:00 和む外国人のコピペください『パーーーーン！WAOOOOOOOOOOO!!!!!!』 Tweet 1: 以下、名無しにかわりましてVIPがお送りします 2010/03/30(火) 12:07:34.64 ID:ZVOBVr+30 673 :おさかなくわえた名無しさん :06/02/14(火) 21:32:00 ID:JYUXceAg 友人が居酒屋にイタリア人の友達を連れてきた。 飲み進むうちに食べ物を追加しようという話になり、 じゃあこれにしようとなった中の一つが「めんたいこピザ」。 それを食べたイタリア人が 「これはピザじゃない!! ピザというのはモッツァレラチーズが～～～!!!」とピザに対する講釈を始めた。 「日本じゃこういうのもピザって言うんだよ」 「違う！これはけしてピザじゃない！」 やはりピザの国の人からしたらこういうのは邪道なんだろうなと皆で納得
最近、vimの設定をやり直すスイッチが入って大分更新されたので改めて久々にvimrcを晒す。 ファイル自体はjoker1007/dotfilesにある。 もし参考にされる方が居たら、丸々コピーすると色々問題あるかもしれないんで、適当に一部を抜粋するのが良いと思います。 特にキーマッピングは慣れがあるので、自分で決めた方が良いです。 実際には必要無いけど、環境に依って使うかもしれない設定とか混じってます。 文字コード周りは正直微妙。もうちょっと良い設定があったら知りたい。 macvim-kaoriya向けのlibrubyのローディングはファイル名調整しないと駄目かも。 最近は自分でコンパイルオプション弄ってrbenvで入れたrubyとリンクさせてるので、自分自身は使っていない設定。 vimrcの下にsnippet定義も書いてあります。 set nocompatible " 文字コード, 改行
提供：Bogdan Burcea IPFS があれば、他の全てのものが一定のやり方で見えるようになり、全てをすっかり置き換えられることに気づく – Juan Benet IPFSへのあまり技術的でないアプローチ 執筆：John Lilic 本稿の後半では、同僚のChristian Lundkvist博士が 踏み込んだ技術的概要 を紹介していますので、その導入となる大まかな考え方をこのセクションでお話ししたいと思います。 IPFSは、バージョン管理された科学的データを巡回する高速システムの構築を目的として、Juan Benetの取り組みによって始まりました。 バージョン管理 が行われていると、ソフトウェアの変更履歴を追跡できるのです（ Gitのような仕組み ）。その後、IPFSは 分散された永続的なWeb として考えられるようになりました。「 IPFSとは、あらゆる端末を同じファイルシステム
はじめに YAML について 基本的な書き方 配列 ハッシュ 配列とハッシュのネスト ブロックスタイルとフロースタイル コメント スカラーとデータ型 複数行の文字列 アンカーとエイリアス タブ文字について その他 XML との比較 表記法について 概念について インライン要素について データ型について 改行や半角スペースの扱いについて データバインディングについて ツールについて その他 終わりに 参考文献 著者について プログラマーのための YAML 入門 連載一覧 書いた人：kwatch はじめに YAML とは、構造化されたデータを表現するためのフォーマットです。 目的は XML と似ていますが、XML と比べて「読みやすい」「書きやすい」「わかりやすい」という利点があります。 また YAML はあくまで「仕様」であり、それを処理するライブラリの「実装」が必要です。 Ruby 1.8
githubにリポジトリを作りたいので、さくらVPSのCentOS5.5にgitをインストールします。どうやらyumでインストール出来るようです。 リポジトリの追加 デフォルトのyumのリポジトリにはgitが含まれていないようなので、リポジトリを追加します。 CentOS5.5にRuby on Railsの環境をつくるー - 俺の作業ログ ↑以前こちらでやりましたので、こちらを参考にしてください。 # ファイルの取得 $ cd /usr/local/src $ sudo wget http://dag.wieers.com/packages/rpmforge-release/rpmforge-release-0.3.6-1.el5.rf.i386.rpm $ sudo wget http://dag.wieers.com/packages/RPM-GPG-KEY.dag.txt # rpm
ABEJAでReseacherをしている白川です。 以前、Poincaré Embeddingsという双曲空間への埋め込み手法をご紹介しました。当時、木構造データを5次元の空間に精度良く埋め込めるということで話題になったのですが、その後双曲空間での機械学習手法が多数研究・提案され、双曲空間での機械学習についての理解をバージョンアップする必要があるなと感じたので、最近の研究の進展を中心に理論背景含めてご紹介したいと思います。 tech-blog.abeja.asia Tl;dr 本記事で伝えたいのは、論文の各論というより、各種論文で共通/独自に主張されている下記のような内容です。 木なら2次元で十分 双曲空間では指数写像/対数写像が明示的に計算され空間全体に拡張されるので取扱が容易 Gyrovector space: 双曲空間における線形代数のような代数構造 Riemann幾何とGyrove
9. MapReduceでWord Count 9 Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua Ut enim ad minim veniam, quis nostrud exercitation ullamco lorem 2 lorem 1 ipsum 1 dolor 1 lorem 1 lorem 1 sit 1 amet 1 consect.. 1 do 1 eiusmod 1 tempor 1 adipisic.. 1 elit 1 sed 1 ipsum 1 ipsum 1 ipsum 1 dolor 1 ipsum 3 sit 1 sit 1 sit 1 dolor 1 si
米グーグルは2014年6月25日（米国時間）、ビッグデータ処理のクラウドサービスである「Google Cloud Dataflow」を発表した。グーグルの並列データ処理技術「MapReduce」の後継技術をベースにしたサービスで、バッチ処理だけでなくストリーム処理やリアルタイム処理を実行できることが特徴。25日から同社が米国サンフランシスコ市で開く開発者会議「Google I/O 2014」で発表した。 今回の発表で最も興味深いのは、基調講演に登壇した同社のウルス・ヘルツル上級副社長が「我々は既に、社内でMapReduceをほとんど使っていない」と明らかにしたことだ。MapReduceはグーグルが2004年に論文発表した技術で、開発からすでに10年以上を経過している。グーグルは近年、並列パイプライン処理技術である「FlumeJava」や大規模ストリーム処理技術である「MillWheel」な
cactiを使ったサーバ監視
こんにちは、牧野です。 今回はサーバ監視の話です。普段からサーバの状態を把握しておくと、いつの間にかハードディスクの残容量がなくなっていた、負荷が大きくなっていてサーバが落ちた、というようなトラブルを防げる確率が上がります。またサーバの異常がすぐにわかれば対応も早くでき、サービスの安定稼動につながります。 cactiはサーバやルータ等の機器監視を行うプログラムで、機器の様々な状態を調べて記録し、webページできれいなグラフを出してくれます。 …このテストサーバの画像だと多少寂しいですが、監視期間が長くていろんなグラフを追加していくともっときれいに見えます。。 また、監視対象の機器を追加するといった設定変更もwebから行うことができます。（監視対象機器の設定は、別途必要ですが。） それでは、cactiの設定について紹介していきます。ちなみに、僕の環境はcolinuxのCentOS4.5です。
【画像】 福岡市の黄砂がやばいと話題に 1 名前： オセロット(兵庫県)：2013/03/08(金) 13:37:14.46 ID:A7qQWMYE0 ＜黄砂予測＞９日にかけ九州、山口に ＰＭ２．５付着も 黄砂やＰＭ２．５などでかすむ福岡市上空。写真奥が天神方向＝福岡市西区で ２０１３年３月８日午前９時３７分、徳野仁子撮影 http://dailynews.yahoo.co.jp/photograph/pickup/?1362711803 4 ： ヨーロッパオオヤマネコ(関東・甲信越)：2013/03/08(金) 13:39:31.48 ID:KBwGS208O 敵の化学兵器か 5 ： ヒョウ(愛知県)：2013/03/08(金) 13:39:50.89 ID:gNlgoodF0 死の灰に包まれたか 6 ： ボンベイ(石川県)：2013/03/08(金) 13:40:13.04 ID:3l
あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行
ニューコアとは、2010年代中盤から増えてきた、新しいタイプのポストハードコアです。 その音楽性を端的に表現するなら、「ポップでモダンなポストハードコア」といえるでしょうか。あるいは多くの日本人には「ONE OK ROCKをヘヴィにした音楽」という表現の方が分かりやすいかもしれません。 ハードコアの一種でありながら、美しいクリーンヴォーカル、叙情的なメロディ、キラキラとした輝度の高いギターサウンド、ピアノやストリングスを使ったドラマティックなアレンジ、シンセやデジタル的なエフェクトを多用した広がり空間処理などを特徴としています。 表層的にはオルタナティブ・ロックに近く、従来のハードコアやポストハードコアのような激しい音楽を好まないリスナーでも楽しめる、聴きやすい音楽です。 メインストリームとの対立を存在意義とするハードコアに属しながら、商業主義的なサウンドへの接近を恐れないのが、ニューコア
sebook.pdf - 「ソフトウェア工学」 東京大学大学院総合文化研究科 玉井哲雄
ソフトウェア工学 東京大学大学院総合文化研究科 玉井哲雄 平成 15 年 9 月 11 日 目 次 第 1 章 ソフトウェアとソフトウェア工学 5 1.1 ソフトウェアとは 5 1.2 ソフトウェア工学とは 5 1.3 ソフトウェア工学の歴史 7 1.4 ソフトウェア工学の範囲 8 1.5 ソフトウェア工学の工学としての成熟度 8 第 2 章 ソフトウェアプロセス 11 2.1 ライフサイクルモデル 11 2.2 落水型モデル 11 2.3 落水型に代わる開発モデル 12 2.4 ソフトウェアプロセスの評価 14 2.5 ソフトウェアプロセスの観察と改善 15 2.6 プロセスプログラミング 18 第 3 章 開発計画と要求分析 21 3.1 何を作るか 21 3.2 システム化計画 21 3.2.1 実際的な開発標準工程における初期フェーズ 21 3.2.2 コスト見積り 23 3.
absolute performance guarantee abstract data type (a,b)-tree accepting state Ackermann's function active data structure acyclic directed graph: see directed acyclic graph acyclic graph adaptive heap sort adaptive Huffman coding adaptive k-d tree adaptive sort address-calculation sort adjacency-list representation adjacency-matrix representation adjacent admissible vertex ADT: see abstract data typ
私のブックマーク ： 簡潔データ構造
田部井靖生（科学技術振興機構 ERATO湊離散構造処理系プロジェクト研究員) はじめに 近年、Web技術や計測技術の発展により言語やゲノムデータは大規模化しています。従来のデータ構造は大規模データを扱うにはサイズが大きくメモリに載らない、 しかし、圧縮するとランダムアクセスをすることができないという欠点があります。 簡潔データ構造とはデータを小さく保存かつ高速な操作が可能なデータ構造です。 近年、集合、文字列、木、グラフデータを扱うための簡潔データ構造が提案され注目を集めています。 私たちの身近なアプリケーションとして、Google日本語入力では簡潔木LOUDSの実装が使われ、実際に使われはじめています。 また、有志によるそれらを解説したサイトやライブラリなども利用可能になりつつあります。 そこで、このページでは簡潔データ構造を用いた研究開発のためのいろいろなリソースを紹介します。 解説記
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モダンなタスク管理を可能にするSnowflake Python API
1662年から今までのアメリカのベストセラーをリストにした
RHEL4でもyumを使いたい場合 - Yet Another Hackadelic
本当にスポーツが上達しそう？武井壮の「ヤッてる理論」が凄すぎると話題に : 暇人＼(^o^)／速報
Mapreduce2.0 - 急がば回れ、選ぶなら近道
古橋貞之さんインタビュー - Tokyo RubyKaigi 11
競技プログラミングの強みと「典型力」について - chokudaiのブログ
殺人犯の視聴率 | Netflix (ネットフリックス) 公式サイト
AtCoderで水色になるまでにやった事とかをまとめる - shibh308’s diary
スウェーデンはいかに危機に対処してきたか――すべては自国の安全保障のために/清水謙 - SYNODOS
Asakusa on Spark - 急がば回れ、選ぶなら近道
棋力と指し手の性質とは何か？ - やねうらおブログ(移転しました)
最速の疎ベクトルはどれだ - Preferred Networks Research & Development
【2024年】AWS全サービスまとめ | DevelopersIO
Rubyist向けのvimrcを晒す - Qiita
IPFS入門 : 新たなP2Pハイパーメディア分散プロトコル | POSTD
プログラマーのための YAML 入門 (初級編)
CentOS5.5 gitインストール - pirosikick's diary
双曲空間でのMachine Learningの最近の進展 - ABEJA Tech Blog
Sparkを用いたビッグデータ解析 〜 前編 〜
グーグル、MapReduce後継のビッグデータ処理サービス「Cloud Dataflow」を発表
【画像】 福岡市の黄砂がやばいと話題に : 痛いニュース(ﾉ∀`)
2015年のHadoopとビッグデータ活用 | gihyo.jp
新型ハードコア「ニューコア」は2020年代のロックのメインストリームになるか？
Dictionary of Algorithms and Data Structures
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし