HDFS on Kubernetesの検証 - Qiita
概要 HadoopやSparkで用いられるデータを格納するストレージとしてHDFSがあります。このHDFSをKubernetes上に構築することで、Rookに代表されるCloud Native Storageの構築検証を行います。 以前、Apache Spark on Kubernetesの検証にて、Sparkの計算処理についてKubernetes上での実行を検証しました。今回構築するHDFSにより、Apache Spark on Kubernetesの検証でのspark-submit コマンドの--filesオプションで指定するHDFSもKubernetesで管理できるようになります。 (spark-submit コマンド例) $ bin/spark-submit \ --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-p
ヘルパを使ってLuigiワークフローの依存関係をスッキリ書こう！ - ロコガイド テックブログ
みなさん、ととのってますか〜？ 最近サウナにどっぷりハマってしまった id:ar_tama です。このエントリは名古屋・栄のサウナラボで サ活 リモートワークをしながら書いています。 さて、最近ロコガイドでは社内の業務改善として、今まで手動で行っていた業務を自動化するプロジェクトが行われており、そのワークフロー管理にPython・Luigiを用いています。 日本語では2016~2017年のエントリが多く見られ、最近のアップデートに関する（日本語の）記述が少なく感じたため、何回かに分けて知見を書き溜めていこうと思います。 ※ このエントリは主にこちらの ドキュメント の焼き直し+αです。 更に理解が深まるはずなので、ぜひ併せて読んでみてください:) パラメータ爆発をなんとかしたい 以下の例（ドキュメントから抜粋）では、TaskCを起点としたワークフローで受け取ったパラメータを、TaskB→T
カナダ・バンクーバーにきて5年。得たもの、失ったもの。 | chan_memo
CHANGAMI NO CHAN MEMO_ chan_gami's memories as a passionate core gamer. 2023 2024 5年前の2014年10月2日、その日も今日と同じような曇り空だった。右も左もわからない僕は、少し…ではなく、ある程度の貯金を持ってカナダ・バンクーバーの地を踏んだ。 今日でちょうど5年。 いい区切りなので、今の僕がこの5年間で得たもの・失ったものを綴ることとする。いや、綴っちゃう！ 自分の状況を正直に書いているので、夢を見てる人をがっかりさせることもあるかもしれないし、むしろもっとバンクーバーに行きたいと思う人がでてくるかもしれない。とりあえず、海外生活ってどんなものか気になっている人は読んでみてください。 バンクーバーで得たもの 永住権 永住権ホルダーになりました。住み放題、働き放題でございます。渡航を決意したときの最大のマイ
【小ネタ】Lambda Layersのパッケージ作成に便利！！pipenvでsync対象ディレクトリを指定する方法 | DevelopersIO
CX事業本部＠大阪の岩田です。 Lambda Layers用のパッケージを作成する際にpipenv syncでライブラリをインストールする対象のディレクトリを指定したかったのですが、それらしきオプションが見つからず色々と試行錯誤していました。最終的にpipの環境変数を使うことでうまく制御できたので手順をご紹介します。 注意！！ こちらの記事で紹介している手順ですが、pipenvのバージョンv2020.5.28からは意図通りに動作しなくなりました。以下のコミットで既にインストール済みのライブラリについてはインストール処理をスキップする最適化処理が追加されたのですが、この処理では常にデフォルトのディレクトリ(.venv/lib/python3.x/site-packages/ 等)をチェックしてライブラリがインストール済みかを判定しています。そのため、デフォルトのディレクトリにライブラリがイン
年末が近づくと Python/C API を無駄に使いたくなるので準備 - Qiita
KLab Engineer Advent Calendar 2018 の 3 日目 これは？ 年末になると Python マニュアルだけでなく CPython のソースを読んでみたり改変してみたり C でライブラリを書いてみたりして遊ぶのが自分の中で恒例となっていまして。今年もそうやって過ごすつもりなので毎年のように調べなおしている Python C/API の事柄のうち記憶がしっかりしているものを事前に書き出しておきます。そして本来自分用のものだけれども隠すものでもないと考え直したので見えるところにおいてみます。 C/C++ で CPython のモジュールを書くことができる、 C/C++ アプリに CPython を組み込むこともできる Python C/API 。これは役に立つのか？ 先達によって書かれた Python ライブラリ、 Cython, ctypes など既存ツールが手厚
海外から学ぶ投資としての健康診断｜石坂 ブランドデザイナー
君はハイヒールを履きながら、身長を測る人を見たことがあるか？ 私はあります！ 皆さんは海外で就労ビザを得たことがありますか。 わたしは幾度かあるのですが、それは海外での健康診断をパスすることを意味します。日本でも健康診断シーズンで、わたし自身明日に健康診断（人間ドッグ）を控えておりますので、なんとなく書いてみようと思いったところであります。 だいたい優秀なデザイナーは毎年行われるカンヌなどのアワードは毎年獲りますし、実力やアイディアは富んでいます。 しかしながら、そういったスターたちが失脚する理由は、だいたい『ハラスメント系』、『年齢と体力』、そして『健康問題』によるものが多いという認識です。 わたしはもともと会社などによって提供される健康診断以外には、20代前半までは触れる機会がありませんでした。しかしながら、デザイナーという商売は、本当は体力や精神力が必要なこともありますので、20代後
自動着色style2paints使ってみた - ふぎのモノづくりにっき
AIを使った自動着色アプリstyle2paints v3をWindowsローカル環境下でアナログ絵に試してみました！ せっかくなので、PaintsChainerも少しだけ試してます。 style2paints style2paintsはGUI形式で視覚的に自動着色できるアプリです。 ”まずはざっくり塗って、次により詳細に塗る”という２ステップで着色することで精度良く色を塗っているそうです。元論文(Two-stage Sketch Colorization, LVMIN ZHANG et al.)はこちら⇒ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.pdf こういうAIを学習させるためのデータセットってどこから持ってきてるのだろうと気になる僕ですが、これについてはDanboroo databaseのイラストを使って
Apache Arrowの最新情報（2019年9月版） - 2019-09-30 - ククログ
Apache ArrowのPMC（Project Management Commitee、プロジェクト管理チームみたいな感じ）のメンバーの須藤です。 みなさんはApache Arrowを知っていますか？Apache Arrowは数年後にはデータ処理界隈で重要なコンポーネントになっているだろうプロジェクトです。データ処理界隈に興味がある人は知っておくと役に立つはずなので1年ほど前にApache Arrowの最新情報（2018年9月版）をまとめました。この1年ですごくよくなったので2019年9月現在の最新情報を紹介します。 私は、PMCの中では唯一の日本人1で、コミット数は2番目に多い2ので、日本ではApache Arrowのことをだいぶ知っている方なはずです。Apache Arrowの情報は日本語ではあまりないので日本語で紹介します。 ちなみに、英語ではいろいろ情報があります。有用な情報源は
機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ
こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その周辺ライブラリとなる「cookiecutter-gokart」「thunderbolt」「redshells」について紹介したいと思います。よろしくお願いします。 はじめに Pipeline化のメリット・デメリット Pipeline化のメリット Pipeline化のデメリット gokart 共通化のための出力ファイル形式の制約と拡張 強力かつ簡易な再現性のためのデータ保持 クラウドサービスやSlack通知のサポート gokartのメリット、デメリ
ホームページデザインの変化
Webデザインは安定している。平均的なホームページは1年前の状態から約40％しか変わっていない（完全なデザイン変更には2年半かかることになる）。 Homepage Design Changes by Jakob Nielsen on September 24, 2012 日本語版2012年10月5日公開 私たちは19年間、さまざまなホームページのスクリーンショットを1年に1度収集してきた。スクリーンショットを各々、前年のものと比べれば、ホームページのデザインの年率変化率を見積もることができるからである。 では収集期間を通しての典型的な例をいくつか見ていくことから始めよう。 1994年から1995年にかけてのMicrosoft： 100％の変化 これらはウェブ創世記における古典的なホームページである。つまり、図とデザインを多用し、GUI（グラフィカルユーザーインタフェース）に関する伝統的な約
完了の定義 - tomykaira makes love with codes
ソフトウェア開発プラクティス的な本を読んでいると、よく「完了」が問題になる。気になったら手近な本の索引を引いてみてほしい。かならず「完了」が含まれているはずだ(『実践テスト駆動開発』には完了の説明はあったが、索引にはなかった)。 「完了」について一緒に働いている人に理解してもらう必要があったので、手近にあった書籍から「完了」をとりだしてきた。 継続的デリバリー 継続的デリバリー 信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化 作者: David Farley,Jez Humble,和智右桂,高木正弘出版社/メーカー: アスキー・メディアワークス発売日: 2012/03/14メディア: 大型本購入: 22人 クリック: 456回この商品を含むブログ (32件) を見る pp.65-66 実は、フィーチャが完了したと言えるのは、価値をユーザーに届けた時だけなのだ。
Flash Player 実装のための描画モデル変換 - ushiroad
最近Flashムービー(swf)の仕様に関する情報が増えてきましたが、シェイプの描画方法についての記事を見かけないのでここに書いておきます。 Flash Player内部の描画モデル 図1のように、Flashのシェイプは、パスの右側と左側を同時に、別々の色で塗ることができる特殊な描画モデルを採用しています。対して、Apple CoreGraphicsやcairoといったライブラリや、その上に実装されているSVGやcanvasは、一つパスが一つの塗色のみを持つモデルを採用しており、これは一般によく使われています。 以降、Flash内部で使われている特殊な描画モデルを「double-fill モデル」、canvas等の一般的な描画モデルを「single-fill モデル」と呼びます。 ややこしいことに、FlashがActionScriptに提供しているベクタ描画APIは、single-fill
「分散システムのためのメッセージ表現手法に関する研究」 - 筑波大学大学院を卒業しました - Blog by Sadayuki Furuhashi
このたび筑波大学大学院を卒業し、修士号を取得しました。卒業にあっては本当に多くの方々にご助力いただきました。この場を借りて御礼申し上げます。ありがとうございました。 現在は起業して、12月からアメリカに在住しています。新たな価値を生み出すべく "下から上まで" システムの設計と開発に携わっており、エキサイティングな毎日を送っています。 修論シーズンに日本にいなかったので、修士論文はメールで送って提出し、卒業式にも出席していないというありさまなので、本当に卒業できたのかどうか実感がないのですが、友人によれば「学位記はあった」らしいので、きっと大丈夫でしょう。（写真はカリフォルニア州マウンテンビューにて） さて、せっかく時間を割いて書いたので、修士論文を公開することにしました。 分散システムのためのメッセージ表現手法に関する研究と題して、バイナリ形式のシリアライズ形式である MessagePa
暦本純一教授「デザインの身体性 身体性のデザイン」ノート - A Successful Failure
2010年11月08日 暦本純一教授「デザインの身体性 身体性のデザイン」ノート Tweet 11月3日に秋葉原UDX マルチスペースで開催された第三回インタラクションデザイン研究会(SIGIXD)では、大変興味深い講演、質疑応答が行われた。本エントリでは、東京大学暦本純一教授（@rkmt）による「デザインの身体性 身体性のデザイン．Augmenting Real, Augmenting Humans」についてまとめたい。なお、本エントリは講演テキストではなく、必要に応じて改変、注釈の付与等を行ったノートである。講演内容自体は、こちらでUST録画が公開されているので確認して欲しい。なお、本エントリ中で掲載している図表は全てリンクを示している、各論文、紹介ページからの引用である。 一番伝えたいこと Augmented Human、つまり人間をテクノロジで拡張できるとしたらどうなるか。 究極の
はてなブックマークコメントの非表示がはてブ数等に与える影響 - Cube Lilac
はてなブックマークには、エントリーページのコメント一覧を非表示にする機能 が存在しますが、この設定の有無によってはてなブックマーク数等がどの位変わるのかについては、個人的に気になる点の一つです。そんな事を考えていると、Chikirinの日記 と言う人気ブログを運営している方がこの機能を使用するようになったと言う話を聞きました。 はてなブックマークページのデフォルトを非表示に変更した。さらばブックマーク！って感じかなー。良くも悪くもこの制度なしに今の「ちきりん」はありえなかったのはわかっているけど、そろそろ潮時ということで、腐れ縁をぶち切ってみる。 2012-03-27 09:43:59 via HootSuite これは、はてなブックマークコメントの非表示がはてブ数に与える影響を検討する上での良いサンプルになるような気がしたので、ざっくりとデータを取ってみました。 調査方法は、記事一覧 -
Javaプログラマが catch すんの忘れるのは計算機に探させよう
Java Pathfinder (jpf) というツールがあって、これは汎用バグ検査ツールなのです。特に、 catch し忘れた例外を、あんた忘れてはるで、と調べてくれるので簡単に紹介してみました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
InnoDBのすゝめ（仮）
Clarity 2019 で デザインシステムの課題は人なんだと痛感した話