Windows上にApache Spark環境を作ってみた - Qiita
はじめに Apache Spark勉強用に、Windows上にSpark環境作ってアプリケーション(とりあえずScala)を作成/コンパイル/実行する、という所までやってみます。 色々眺めていると開発環境としてはIntelliJ, Eclipseあたりが主流なようです。あとはJupyter Notebook？ 合わせてビルドツールとしてsbt, mavenなどが使われたりするようです。が、素人には初モノの要素が盛りだくさんすぎてアワアワしはじめたので、最低限sbtだけ使ってまずは動かす所までの手順を整理しておきます。 環境構築 Apache Sparkのインストール この辺の記事を参考にSparkをインストールします。 Sparkアプリケーションの基本と、はじめに押さえておきたい重要な概念 まずはApacheのサイトからダウンロード。 https://spark.apache.org/do
日本国憲法第22条、知らないんすか？ 「職業選択の自由」っすよ――エンジニアに「退職の自由」はあるのか？
連載目次 2018年がスタートして1カ月。今年、転職や独立をして新しい人生を歩もうと考えている方もいるかもしれない。IT業界は以前から労働力の流動性が高く、私がまだ駆け出しだった20年以上も前から、エンジニアの転職は珍しくなかった。最近は、IT企業間の転職に加え、ユーザー企業でもIT人材の需要が高まり、ベンチャー企業の設立も増えてきたことなどから、その傾向は一層強くなっていると思われる。 IT訴訟事例を例にとり、トラブルの予防策と対処法を解説する本連載。今回は、IT企業の人材流出を巡る訴訟を考える。簡単にいうと、「システム開発プロジェクトの途中で退職したエンジニアに、仕事を完成させる義務はあるのか」という裁判だ。 他の業種であれば、どれほど中途半端な状態で仕事を放り出したとしても、会社を辞めればその責任を問われることはまずない。しかしIT業界では、エンジニアの退職時に知識やスキルを移管でき
kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新)
Beautiful Soup¶ Beautiful Soup はHTMLやXMLファイルからデータを取得するPythonのライブラリです。あなたの好きなパーサー(構文解析器)を使って、パースツリー(構文木)の探索、検索、修正を行います。 これはプログラマーの作業時間を大幅に短縮してくれます。 (訳注)石鹸は食べられない¶ この文書は Beautiful Soup 4.2.0 Documentation の日本語訳です。”Beautiful Soup”を”ビューティフルソープ”と読んでしまう英語が苦手でちょっぴりHな後輩のために翻訳しました。 2013年10月29日からこの文書の翻訳をはじめました。11月1日現在まだ全てを訳し終えていませんが、スクレイピングに使う主な部分はとりあえず訳したので、一旦これで公開して、あとは年内を目処にまったりと翻訳をすすめ、あわせて質を高めていこうと思っていま
「女は大学に行くな、」―― 神戸女学院大学のメッセージに「泣きそうになった」と反響 胸を打つ広告はいかにして生まれたか
「女は大学に行くな、」――。神戸女学院大学がこの4月から掲出している電車内広告に、「電車の中で泣きそうになった」「ぐっとくる」といった声が寄せられています。 話題になっている広告 前半部分だけ読むと一瞬ドキッとするキャッチコピーですが、続きまで読むと「女は大学に行くな、という時代があった」という1文であることが分かる仕組みです。 女性をとりまく環境が変化し、選択肢が広がった今だからこそ、逆に迷いや葛藤に直面することも増えた。そんな正解がない時代を謳歌するために、「学ぶことができる」という、決して当たり前ではない幸福を忘れないで――。 イラストなどは一切使っていない、文字だけのシンプルな広告であるにもかかわらず、Twitterではこのメッセージに対し「かっこいい広告だなあ」「まじまじと読んだ」など、さまざまな反応が寄せられました。中には「日本はまだ女性への“重力”が強すぎる」など異を唱える声
あの日見たYARNのお仕事を僕達はまだ知らない。 - Qiita
あなたが実行したジョブのこと考えてない間、ずっとYARNがジョブのこと考えててくれてたんだ みなさんはYARNの存在をどれだけ気づいてあげられているだろうか。 よくSparkと一緒にYARNって単語はよくみるよねー 知ってる知ってる、よく図とかでMapReduceとかの下にいるやつだよね？ クラスタのリソースを管理してるんでしょ、たしか？ いや、間違ってはいないし、やっていることをあたっているんだけど、実はいつも頑張ってくれているYARNのことをもっと理解してあげてもいいじゃないか! ただ、 いざ調べてみると日本語の情報が少ない なんかざっくりリソース管理を行うぐらいしか書いてない もしくはいきなり細かい話から始まってよくわからない というのがちまたの現状なので、聖なる夜に暇を持て余した私が、いつも頑張ってるYARNのお仕事を紹介しようと思います。 YARNの素晴らしさを熱く語りたいところ
3年利用したQiita:TeamをやめてCrowiを使う理由 - Qiita
本記事は「Silbird Advent Calendar 2017」の9日目の記事です。 https://qiita.com/advent-calendar/2017/silbird Silbirdでは社内のドキュメントについてQiita:Teamを3年間利用していましたが、2017年10月よりCrowiを利用しています。 そこで、なぜCrowiに移行することになったのか、良かった点悪かった点をまとめていきます。 前提 Webサービスの開発・運営事業を行っている 30名程度の規模の会社 3年で生まれた記事377記事 記事を書くのはほぼ固定のメンバー3～4名 エンジニア、プランナー、デザイナー、イラストレーター、バックオフィス（うちエンジニアが10名程度 Qiita:Teamの主な用途 エンジニア、プランナー、デザイナー向けの初期セットアップマニュアル エンジニア向けTips 各サービスの仕
技術の力で運用を楽にする ほか3本 - YDiary
はじめに さて、今年ももう残り少なくなりましたが、いかがお過ごしでしょうか。 今日の記事は、次の3本立てです。 技術の力で運用を楽にする 手軽に画面をGIF動画でキャプチャする バックアップは忘れずに 技術の力で運用を楽にする ※主に非エンジニア向けのお話です よく「エンジニアは楽をするための努力は惜しまない」と言われています。 しかし、エンジニアが触らなかったり、使ったりしない箇所の場合は、あまりそうした意識を持てない場合があります。 そのような場合は、思い切ってエンジニアに相談してみるとあっさりと解決出来ることがあります。 今回はそのような例で、エンジニアに相談することで運用コストを下げることが出来た例を紹介しようと思います。 ことの発端はこのようなやり取りでした。 アプリに表示するお知らせを管理画面から作成することが出来るのですが、その並び順を決めるために disp_order とい
シリコンバレー101(750) "ポストWindows"に踏み出したMicrosoftの組織再編
米Microsoftが3月29日に、2014年以来となる大規模な組織再編を発表した。CEOのSatya Nadella氏が社員に送ったメッセージを公表した形の発表だったが、それを読んで私は自分の目を疑った。そうとはっきりと書かれていないものの、これまでずっとMicrosoftという企業の中心にあり続けてきたWindowsが降格している。 前回の再編はNadella氏がCEOに就任してから打ち出した「モバイルファースト、クラウドファースト」戦略に沿ったものだった。そして今回は、モバイルやクラウドが普遍化したことを踏まえてMicrosoftが新たな戦略として新たに打ち出した「インテリジェントクラウドとインテリジェントエッジ」に向けた再編である。 そうした戦略の大きな転換があっても、これまでMicrosoftの事業編成はWindowsを軸に組まれてきた。ところが、新しい組織では従来のWindow
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hadoop : Hive 2.1.0 install on Ubuntu 16.04 - 2020
Find Open Datasets and Machine Learning Projects | Kaggle