AWS Batchの基本的な機能とユースケースについて #reinvent | DevelopersIO
バッチ処理 世の中のITシステムのほとんどは、データが発生し、流れて、処理し、蓄積されるジョブの繰り返しです。AWS Batchは、このようなバッチジョブを効率的におこなうための管理サービスです。Pegasus WMS、Cromwell、Luigiといった主要なワークフローエンジンをサポートしています。実際のジョブの実行は、EC2やSpotインスタンスが動的にアサインされて実行されます。 データフロー図（DFD） データフロー図で表現できるようなバッチ業務処理を管理するサービスとイメージしました。。 AWS Batchの基本機能 単ジョブの定義 CPU、メモリー、IAM Role、ボリューム、コンテナ、環境変数、等について、ECS上でアプリケーションを実行するために設定します。 ジョブの依存性モデリング 異なるジョブ間での依存関係を設定できます。例えば、３つのステップでデータを圧縮するジョ
エンジニア個人が自主的に成長するように促す - エンジニア組織の自律的成長 - 人間とウェブの未来
この記事は、Pepabo Managers Advent Calendar 2016の3日目の記事です。2日目は、弊社チーフエンジニアhsbtさんの「マネージャが仕事の仕組みを作る」でした。 僕自身は、エンジニア専門職の主席研究員兼シニア・プリンシパルエンジニアではありますが、特にペパボ福岡のエンジニア組織を現場でまとめる人間として、エンジニア組織を成長させる中で個々のエンジニアの成長をサポートしているという意味では、マネージメントに関する活動も兼ねております。 しばしば、インターネットサービスの高度化と複雑化の速度が早過ぎるため、グランドデザインができない、人が多過ぎても成立しない、少な過ぎても難しい、とういうような類のサービスを作り上げないといけない状況があります。その際に、厳密過ぎない役割を持たせ、それぞれが横断的にそれぞれのスタイルで、まるで、攻殻機動隊の世界におけるスタンドプレー
vimをパイプにする - 余白の書きなぐり
この記事は Vim Advent Calendar 2016 (その2) の3日目の記事です。 ノーマルモード以外をパイプとして使う際の情報を追記しました (2016/12/04) UNIXのテキスト処理 UNIXでテキストを自動整形する際、パイプ機能は欠かせない。 $ cat a.txt 1 hoge 2 piyo 3 fuga $ cat a.txt |sed 's/piyo/foo/' |grep '2' 2 foo シェル上で | というパイプ記号を使ってコマンドを次々繋げることで、複雑なテキスト処理をこなすわけだ。 パイプは便利だが、テキストエディタをパイプとして使う人はあまり見かけない。 テキストエディタ=対話的 という常識があるため、パイプのような自動処理とは相性が悪いと思われているのだろう。 しかし今日はあえて、シェルスクリプトやワンライナーの中にvimを埋め込み、パイプと
freee初の開発合宿（60人規模）を行いました - Qiita
この記事は freee Engineers Advent Calendar 2016 の 3 日目です。 こんにちは、freeeでエンジニアをやってます @yo_waka です。 先日弊社で初の試みとなる開発合宿を1泊2日で実施しました。初めてなのに小規模開催ではなく開発全員で開催した結果いろいろと得たものも多かったので、そのときのブログでも書こうと思います。 やりたいこと みんなが楽しんで開発だけに集中できること 開発全員（およそ60人）で行うこと 初ということもありまだ実績がないので予算はなるべく抑えること 1番目のは開発合宿なので当然として、2番目と3番目は予算と規模は相反するものなので折り合いをつけるのが大変なやつ。 予算の具体的にいくらだったのかはお弁当制度（会社の社食に招待できる）があるので直接聞いてくださいw 場所について 前述の予算感などと合わせ、今回の拠点は千葉県にあるリ
URLをコピーしたらQRコードに自動変換して表示するMacアプリをSwiftで作った - Qiita
まずはこちらをご覧ください。 URLをコピーすると自動でQRコードに自動変換して表示してくれてますね。動作としてはURLと思われるテキストをコピーした後、Cmd + Ctrl + CのショートカットでQRコードを表示するようにしています。つまり Cmd + C → Cmd + Ctrl + C のキーボード操作だけでいけます。便利ですね。 名前は LightningQR⚡️ です。ライトニングさんは関係ありません。 今回はこのMacのステータスバーに常駐するアプリをSwift3で作ったので、簡単に作り方を解説しようと思います。似たようなアプリを作ろうと思っている誰かのお役に立てれば幸いです。 なお実際に使ってみたい人は、下記からダウンロードしてください😀 またソースコードもGitHubで公開しているので見てみてください。Macアプリ初心者が作ったのでハッキリ言って雑コードです。ごめんなさ
はてなで役立ったSIer時代の経験・スキル - はてな2代目社長のブログ
この記事は、はてなディレクターアドベントカレンダー2016の3日目です。昨日はid:yashitani_wの「これからマネージャーになるエンジニアのあなたへ」という記事でした。 ここ2年ほどは社長としての仕事ばかりで（当たり前ですね）、ディレクターとしての業務を離れて久しいですが、ディレクターに関することというお題なので、ディレクターだったときに「SIerで培った経験・技術で、はてなに転職して役立ったこと」について書いてみたいと思います。 私は2008年10月に東京の大手SIerを退職し、はてなの京都オフィスへと転職してきました。SIerとひとことで言っても、実に色々なプレイヤーがいますので、私がSIerでどんなことをしていたかをざっくりと紹介しておきます。 SIer時代 私が所属していた部署は「旅行系システム」を担当していました。いわゆる旅行の予約サイトはもちろん、特殊な端末での予約シス
golang で始める Slack bot 開発 - at kaneshin
この記事は Slack Advent Calendar 2016 - Qiita の3日目の記事です。 昨日は Kinoppyd さんの「今そこにあるSlack」でした。 さて、今回、この記事では golang で Slack bot を実装する方法を紹介しようと思います。 世に蔓延る Slack bot これから bot を世に放とうとしている人は、是非、１日目と２日目の記事を読み、事前知識を頭に叩き込んでおくと良いと思います。 Slackで業務チャンネルの平穏を維持するbot、そして人間のトークンをbotに与える話 - Qiita 今そこにあるSlack 基本的に、自身で作成した bot はもちろん好きになると思いますが、人によっては理解不能な bot や、意味不明な場面で反応したりと、「邪魔だな」と思われてしまうことがあります。そのため、bot を開発する人は「謙虚・尊敬・信頼」（T
くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
成宮寛貴さんのコカイン疑惑、画像をよく見るとキメてるのはあのお菓子なんじゃないかという可能性が浮上
烏丸ぴんちゃん🍕 @UmeuMeumE_P @c102_21j いや、ほんと。帰宅して画像見せられて笑ったよねwwww しかも意気揚々とこれが1の粉でこれが少量の水！と言われたwww少量の水てwwwww 2016-12-02 20:22:32
集中力の続かない人は｢仕組み化｣ができない
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
そろそろプログラマーもFPGAを触ってみよう！ - Qiita
##そろそろプログラマーもFPGAを触ってみよう！ これはbuilderscon tokyo 2016の発表スライドです。 ##自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 ##これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP M
重量5kgオーバー、お値段3万円オーバー。全オタクに突き刺さる「Appleの超絶写真集」に失神しまくった話。 | 超音速備忘録
未組立プラモ写真家。稀に組む。山登る。からぱたへのお問い合わせ、文章・写真・DJ・飲酒のオファーはTwitter @kalapattar からどうぞ
富士通がAdvent Calendarに参加することになった理由 - blog
これは、 qiita.com FUJITSU Advent Calendar2日目の記事です （はてブコメント付いて気が付きましたので追記しました。ありがとうございます） 急遽12/1の夕方に決まって始まったばかりで、どんな経緯だったかと少し 技術的内容じゃないって突っ込まれそうですが、大目に見てもらえることを期待して・・・ あと、これ書いて置かないと、社内からも何してんの？って内部から刺されるのでご理解をｗ Qiitaのadventじゃなくて、adventarで良かったんじゃないかとも思いつつ さて、始まって２日目ですが、すでに一日目がツッコミを食らっていたりしますね 富士通にアドベントカレンダー知ってる人なんていたんだな / “Fujitsu Advent Calendar 2016 - Qiita” https://t.co/z154mlNTZ3— よしなに (@hiragram)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
