とびきりのハッカーと同じチームで仕事をすることは福利厚生である - 科学と非科学の迷宮
先日、社長の moriyoshi と一緒にある案件を行っていました。 リリース直前の前夜、どうしても現在のライブラリでは技術的に不可能な問題が発覚しました。 入社して一ヶ月も経てば、仕事の場でmoriyoshiがどう動くのか大体わかるようになります。 「じゃあ作るしかないな」 「できそう？」 moriyoshiは答えません。次の答えはもう分かっていたので、私はmoriyoshiが作成しているであろうプラグインを組み込むことを想定したテストコードとそのデプロイ手順を確認します。 私がテストコードとデプロイの準備を整えた頃、moriyoshiはSlackに再び現れました。 「できた」 予想通りの答えでした。私はすぐさまプラグインをリポジトリに取り込み、テストを実行し、デプロイ作業を実施しました。 ～～～ 最近は、特に外資系ではどの会社も様々な福利厚生を用意しています。 Googleのランチや育
Freeleticsで半年間自宅トレーニングしたら食制限なしで6kg痩せた - 科学と非科学の迷宮
2021年版のFreeleticsガイドができました！この記事より新しいので、そちらを参照してください。 shiumachi.hatenablog.com 前回の投稿からさらに四ヶ月弱経ちましたが、未だにFreeleticsを継続できています。 shiumachi.hatenablog.com 半年間自宅で運動を続けた結果、なんと体重がピーク時差分で6.2kg、7日移動平均で4.5kg減りました。画像はFitbitの体重の記録です。 半年で体重6.2kg減 ジムも行かず、何かを我慢するような食制限を一切せず(食生活の変化はあり、後述)、毎朝30分程度、自宅で運動するだけでここまで痩せることができたのは自分でも驚きました。 なぜ継続できているか 「そりゃ毎日運動してたら痩せるだろ」って思うかもしれないでしょう。それはその通りで、この生活を継続できた理由が一番重要です。 理由は主に3つあります
Clouderaを退職しました - 科学と非科学の迷宮
2018年11月30日(金)は、Cloudera株式会社への最終出社日でした。2011年4月1日に入社したので、勤続日数は2800日でした。 Clouderaオフィス2011年 Cloudera Japan オフィス 2012年 日本にオフィスも同僚もいない状態からのスタートでしたが、今日、多くの同僚たちに見送られる形で会社を出ることができました。 退職するときは、最後の一人として会社を去るか、自分がいなくても会社が回るようになったときか、そのどちらかにしよう、と決めていました。皆が退職することを惜しんでくれましたが、私がいなくても会社は問題なく続いていくでしょう。私が理想とする結末にたどり着くことができて、本当に嬉しいです。 7年前、ごく一部の人しか知らなかったHadoopは、今や多くの人が知るソフトとなり、Hadoopに限らず、様々なデータ基盤を活用することが当たり前の時代となりました
「女性エンジニア」発言についての私的見解 - 科学と非科学の迷宮
2018年4月21日に開催されたイベントの一セッションについての書き起こしについて発生した一連の論争について、私の思ったことをまとめます。 まず始めに、セッション発表者に対し攻撃的なツイートを行ってしまったことに対し、謝罪します。私のツイートによって多くの人が声を上げることとなり、それによって発表者の方の反論の機会を奪ってしまいました。 謝罪の証として、以下の事柄について約束します。 本件について直接言及していて、かつ発表者に対して攻撃的な内容となっている全てのツイートの削除、及び発表者の方からの指定したツイート削除申請の受諾 発表者の方のいかなる反論に対しても、その意見の場を守るための支援 本記事は、上記を踏まえた上で、何が起きたのか、何が問題なのか、なぜ私がここまで問題視しているのか、問題を防ぐためにはどうすればいいのか、について記述していきます。 何があったのか 2018年4月21日
進捗ヤバいプロジェクトに直面した経験がある人なら（多分）楽しめるカードゲーム「Not My Fault!」 - 科学と非科学の迷宮
エンジニアがプロジェクトがオンスケであると嘘をつき続けるゲームは盛り上がった pic.twitter.com/aWkKIPtAAS— Yoshifumi Yamaguchi (@ymotongpoo) 2017年7月30日 @ryushi さんの主催で仲間内で集まってボードゲーム・カードゲームで盛り上がったのですが、その中で @tokoroten が持ってきた「Not My Fault!」というカードゲームが非常に衝撃的でした。 まず、背景設定がすごい。 残り30日で絶対に完成させなければいけないプロジェクトに、プレイヤー達はプロジェクトメンバーとして参加しています。 進捗は絶対に遅れてはいけません。 もし、プロジェクトの進捗が報告されていたよりも進んでいないとしたら？ それはもちろん、進捗を過大報告したヤツの責任です。 監査を入れて、そいつを追い詰めよう！ というのがゲームの設定です。
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
セールスエンジニアという仕事 - 科学と非科学の迷宮
現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアのキャリアパスとしては面白い仕事の一つだと思います。マネージャーになるかどうか考える前に、是非一度読んでください。 この記事では、ClouderaのようなB2BのITソフトウェアベンダーのセールスエンジニアを想定して執筆しています。他の業界のセールスエンジニアについては確実に状況が異なりますのでご注意ください。 要約 セールスエンジニアとは、お客様が自分たちの製品を正しく活用できるよう情報を提供していき、営業が製品・サービスを販売するのを助ける仕事です。お客様への製品紹介と提案が主要業務ですが、その方法は様々です。お客様の要望を満たすようなサンプルプログラムを
HBase論争に釣られてみる - 科学と非科学の迷宮
HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。 著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した。MapR の Michael Hausenblas は HBase の事例に「賛成」の論陣を張っており、Apache Cassandra の Jonathan Ellis とベンダーである DataStax は「反対」の側だった。 この「ディベート」をベンダーのセールストークとして却下し、Apache HBase に立ち戻り、HBase を使用し、改善していくのは、簡単な話である。しかし、この記事は特別に問題のある例だった。記事では、「賛成」と「反対」の双方と
Hadoopのディスクあふれ対策(補足) - 科学と非科学の迷宮
最近流行りのディスク容量があふれたときの挙動、Hadoop編を書こうと思ったらwyukawaさんが既に書いてくださったのでやめました。 ……と思ったのですが、せっかくなので id:wyukawa さんが書いてない箇所を補足してみようと思います。 ( この記事は @kernel023 にレビューしてもらっています。ありがとうございます ) wyukawaさんの記事へのコメント まずHBaseを使っている場合はcompactionがある関係上Disk使用率は50%以内に抑えておくのが無難だと思います。この辺はCassandraと同じですね。 全データを同時にコンパクションするケースはまずないので無理に50%以下に抑えなくていいとは思いますが、意識はしておいた方がいいですね。 私は60%での警告を推奨しますが、この辺はケースバイケースです。 MapReduce の出力結果など、いきなり容量増える
今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 - 科学と非科学の迷宮
Fabric は、Python 製のデプロイ・システム管理ツールです。 最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプルなツールで、今からすぐに使うことができます。 Fabric はデプロイ・システム管理ツールで、類似のツールとして Ruby 製の Capistrano があります。 Fabric の最大の特長は、シェルスクリプトを書き慣れた人がいきなり利用できるところです。 シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや sudo() メソッドで囲むだけで、使うことができます。 シェルスクリプトを使っていていると、いくつもの問題に遭遇します。 名前空間の管理 変数の扱い 複雑なデータ構造がない(せいぜい
勉強会発表「プログラマのためのHadoop入門」 - 科学と非科学の迷宮
id:kaigai の主催する勉強会で発表してきました。 Hadoop for programmerView more presentations from shiumachi. 答えられなかった質問 Shuffleフェーズって、ソートをどういう仕組みでやってるの？ データ全部をなめてるの？ Partitionerというクラスでデータを振り分けてる。タスクごとは独立してるのでデータをまたがってアクセスすることはないと思う。でも細かいことはちょっとわからない。 Map中にデータ追加したらどうなるのか？ さすがに扱うデータは最初に決めていると思うが、やったことないのでわからない。 Streamingって具体的にどんな処理してるの？ jarファイルは投げてるけど、実行時に使うスクリプトはどうやって投げてるのかわからない。 あとで調べときます。 今の世の中に出てるHadoop本って構築とか運用の話
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
The Economistで「非実在青少年」の記事 - 科学と非科学の迷宮
The Economistで「非実在青少年」の記事が書いてあったので紹介しようと思います。The Economistについてご存知ない方は山形浩生さんの記事を読むといいです。読むのも面倒という人は、「世界の政財界のトップが読んでるすごい新聞」という程度に思っておいてください。 で、肝心の記事です。 Child pornography in Japan: Outraged innocence | The Economist いきなり綾波の大きい画像でびびります。普段職場でインテリきどってThe Economist読んでた人はさぞかし肝を冷やしたことでしょう。っていうか綾波関係ないだろいくらなんでも、って思ったのですがよく考えたら設定年齢14歳だし裸シーンとかあった気がするし*1……。とはいえ、向こうさんでもなかなか議論が白熱してるようなので読んでみましょう。はじめは翻訳の要約だけにしようと思
自作サーバカンファレンス - 科学と非科学の迷宮
自作サーバカンファレンス : ATND 自分用メモなので他の人が読んでもきっと役に立ちません。 全体 基本は「クラウド(EC2)高い、ベンダサーバムダに高い、だから自作にしよう」 ほとんど皆1Uハーフ、たまに2Uハーフ ディスクは2.5inch、DBスレーブにはIntel SSD使うところ多し 用途はAPサーバ、DBスレーブ、ストレージサーバなど サーバ代は大体5-10万/台 最大1Aを少し超えるぐらい、アイドル状態で0.5Aとか ソフトの話だが、皆当たり前にLVS使ってた はてな 物理オペレーションをほとんどアルバイト任せにしている点が印象的。大手SIだと子会社や派遣の人を使ってやらせる作業。 ベンダ製サーバに全く頼っていないためか、自作サーバの中では最もまともに見えた。 APサーバで8万、DBサーバ(SSD)で16万、ネットワークサーバで10万ほど。 材料は値段の高騰等を見据えて2,3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
