第2回 Kubernetesの歩き方
Kubernetesはどこから学ぶのがよいですか？とか、よい資料やサイト無いですか？とかよく聞かれるのでまとめてみました。(この記事はKubernetes Meetup Tokyo#5の発表内容です) あらすじ 次の6つのパターンのとき、どこを見にいくとどんな情報が置いてあるのかを紹介していきます。また、よりよい情報源があれば教えていただけると嬉しいです :) 入門する アプリケーションを管理する Clusterを使う＆作る k8sユーザの動向を追う KubernetsをDeepDiveする 困った時は 入門する Kubernetesは独自用語がたっぷり含まれているので、いきなりアプリケーションをドキュメント読みつつ構築しようとするとハマります。まずはKubernetesのコンセプトをざっくり読んだ後に素晴らしいインタラクティブなチュートリアルを触ってみるのがよいです。 Concepts
先日Japan Container Days v18.12の基調講演で話をさせていただく機会があった．内容としてはMercari のMicroservices Platformの基盤として「なぜ」Kubernetesを選択したか？ついて現状や今後の展望を踏まえて紹介をした． Microservices Platform on Kubernetes at Mercari 「なぜ」の回答としては，CRDやAdmission webhookといった拡張機構を使うことで今後起こりうる様々なWorkloadに特化したPaaSや抽象化レイヤーを書いていけるExtensibilityの高さとそのBuilding BlockとしてのEcosystemの強さを挙げた． このトークのExtensibilityの文脈で話したくて時間がなかったのが「Kubernetesがいかに我々の自動化に対する考え方を変えたか
「私が滑っていく先はパックが向かう所であり、パックがあった所ではない」－Wayne Gretzky CoreOSとDockerの間で 最近 、 騒動 がありました。DockerはCoreOSのクラスタ管理の領域に入り込むために構築している製品の範囲を広げています。それにより、CoreOSがDockerと競合する独自のコンテナランタイム Rocket を発表したのです。そういった動きは、Clayton Christensenの『 Law of Conservation of Modularity 』を読んでいれば十分に予測できるものでした。 我々がコモディティ化に関する研究から洞察したのは、コモディティ化がバリューチェーンのどこかで進んでいる時はいつも、脱コモディティ化という逆のプロセスがバリューチェーンの別のどこかで進んでいるということです。（中略）この2つのプロセスが相互関係にあるという
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
はじめに DockerでコンテナイメージをbuildするときにはDockerfileにOSイメージの指定や導入パッケージ、実行したいコマンドなどを記述してパッケージングします。 このDockerfileはほぼコマンドべた書きのような形なので難しいわけでは無いのですが、実行処理が多くなればなるほど長く読みづらくしまうし、テストも大変です。また既にChefやPuppet、Ansibleなどの構成管理ツールを用いているのであれば、既存の資産をうまく流用したほうが楽が出来ます。 ということで、Dockerfileにはほとんど仕事をさせずに、Dockerfileからchef-soloをキックしてコンテナをプロビジョニングしてみました。 やってみた ファイル構成は以下のような形です。今回はopscode謹製のbuild-essentialをレシピとして用意しました。 . ├── Dockerfile
CloudBees BlogExploring the frontiers of product delivery and technology Mastering Pipeline Management - Making Complex Workflows Transparent with Pipeline Explorer Achieve seamless DevOps pipeline management with Pipeline Explorer! Streamline troubleshooting, enhance visibility, and boost collaboration in DevOps. →
2023年12月 (1) 2023年11月 (116) 2023年10月 (79) 2023年9月 (28) 2023年8月 (7) 2023年7月 (6) 2023年6月 (101) 2023年5月 (229) 2023年4月 (201) 2023年3月 (206) 2023年2月 (147) 2023年1月 (193) 2022年12月 (146) 2022年11月 (54) 2022年10月 (1) 2022年9月 (1) 2022年8月 (1) 2022年7月 (3) 2022年6月 (1) 2021年9月 (1) 2021年8月 (8) 2021年6月 (3) 2021年4月 (4) 2021年3月 (6) 2021年2月 (1) 2021年1月 (3) 2020年12月 (2) 2020年11月 (2) 2020年10月 (5) 2020年9月 (12) 2020年8月 (40
チームによる継続運用を意識したAWS環境におけるTerraformの活用 - LIVESENSE ENGINEER BLOG
概要 背景 複数人数で一つの環境をコードで管理する場合の移行期と運用期の特性 移行期 運用期 Terraformの採用理由 実際の運用 ディレクトリ構成 stateファイルの配置 環境の定義 tfvarsによる切り替え 環境固有のリソース定義 GitHubのPRフロー よかったこと・課題 よかったこと 課題 概要 どうも。篠田です。 「特定の"インフラ担当"・"開発メンバー"」や「古の記憶」に頼らず、『開発メンバー全員が拡張や移行作業を気軽にできるインフラ』を実現するために、私のチームで採用しているTerraformを使ったAWS環境運用フローをご紹介いたします。 Terraformで移行および運用するフローにしたことで、構成全体に対する変更の柔軟性が高まり、コードがあることで運用および拡張期において設計の変更や手戻りを恐れずに開発を進められるようになりました。 次は概要図です。 背景 先
ansible の設定ファイルは YAML なのですが、 ansible の説明では YAML 由来のいろんな書き方についてはあまり説明がないので、 ansible の設定ファイルを書く時に知っておくと便利な YAML の知識についてまとめてみました。 YAML のバージョン The Official YAML Web Site によると YAML の仕様としては YAML 1.2 (3rd Edition) まで存在するようですが、 ansible は PyYaml を使っていて、 libyaml binding なので 対応している YAML のバージョンは YAML 1.1 (2nd Edition) になります。 コレクション 参考: 2.1. Collections 配列 - で列挙すると配列になります。 YAML は空白に敏感なので、 -foo のように書くとエラーになります。
ようやくSICPが終わった。念願の夢の1つを叶えた。「ポインタを理解する」「コンパイラをつくる」とかから始まり 今年に入って 技術者として個人的にやりたかった事を3つ実現できた。良い調子。 サムネは記念にマッカーシー先生(再使用が許可された画像)。 完了までの期間 3.5ヵ月程度。平日は帰社後に2～3時間ほど、毎週土日はSICPに費やした。 学んだこと・できるようになったこと 1. より抽象的に物事の仕組みが考えられるようになった。 (「言語」という制約されたドメインを取っ払って純粋に実装について考えられるようになった) 2. 再帰のコードは悩まなくてもスンナリ頭に入るようになった。 3. Eval & Apply の陰陽によるプログラムの成り立ちを理解した。 4. 数学・コンピュータ科学に関する以下のことが人に説明できる程度には身についた。 - Newton法 - エラトステネスの篩 -
nanapi勉強会でVagrant + Berkshelfについて発表しました | Engine Yard Blog JP
第1回 nanapi勉強会にてVagrantとBerkshelfについて話してきました。今回のテーマは開発環境ということでVagrantの話は他の誰かがするのかなと思っていたのですが、誰もVagrantについて話さなかったので時間配分が難しかったです。 スライド サンプルコード yandod/omusubi Single file Vagrntfile which spin up Ubuntu 12.04 + PHP5.5 + Nginx + MySQL Vagrantはキャズムを越えた 開発環境としてVagrantを使うというスタイルは2013年で急速に市民権を得たようです。今回の参加者の中でもVagrantを使っている人が半数を超えていたのでこの点については是非使いましょうという事になります。ただ仮想マシンの部分についてはVirtual Boxは手軽でいいのですがパフォーマンスが高
みなさん、こんにちは。サイオステクノロジー武井です。今回は、Azure OpenAI ServiceによるRAG実装ガイドを公開しましたので、ご紹介させてください。 ※ このブログでのご紹介ととも以下のイベントでもガイド […]
SREチームの@cubicdaiyaです。今回はDockerとMakeを利用したメルカリの自作RPMパッケージのビルド環境について紹介します。 メルカリの自作RPMパッケージ事情とVagrant、そしてDocker メルカリの開発およびプロダクション環境では現在CentOS6と7を利用しており、随時CentOS7へ移行中です。そのため、自作RPMパッケージをビルドする際はCentOS6と7向けにそれぞれビルドしています。ビルドしたパッケージはyumリポジトリサーバにアップロードした後、必要に応じてyumでインストール、Ansibleのplaybook化を行います。 RPMパッケージの作成はSREチームのメンバーが行っており、各自のローカルマシン上において make {パッケージ名} を実行するだけでCentOS6と7向けのRPMパッケージをビルドできる環境をDockerで構築しています。
free-programming-books/free-programming-books.md at master · EbookFoundation/free-programming-books · GitHub
Removal of "Learn Python in Y Minutes" from free-programming-books.md and addition to free-programming-cheatsheets.md Co-authored-by: Eric Hellman <eric@hellman.net> Index ABAP Ada Agda Alef Android APL Arduino ASP.NET Assembly Language Non-X86 AutoHotkey Autotools Awk Bash Basic BETA Blazor C C# C++ Chapel Cilk Clojure COBOL CoffeeScript ColdFusion Component Pascal Cool Coq Crystal CUDA D Dart DB
DockerとAnsibleの使い分けを手探りで考えてみた - Taste of Tech Topics
皆さんこんにちは。 アキバです。 久しぶりにエントリ書きます。 突然ですが、今、システムをデプロイすると言ったら自動化しますよね。 そこで、皆さんは何を使っていますか？ 私は、最近、DockerとAnsibleを仕事でガチに触る機会がありました。 ※本番運用のサーバもDockerを使って動作させました。 今回は、そこで得たことについて書きます。 皆さんの参考になればと思います。 命題：Dockerを使うべきか、Ansibleを使うべきか。 作るべきシステムは、いわゆるWebシステムで、WEBサーバとAPサーバで構成しています。 WEBサーバとAPサーバはそれぞれN台のクラスタ構成です。 ※以下の図は、本番運用で想定しているサーバ構成を今回の説明用に抽象化したものです。 N台のクラスタ構成ということで、Dockerを使おうとなりました。 コンテナでスケールアウト出来るから…ですね。 さてここ
こんにちは。こむろ＠東京です。 2017/05/23に気づいたのですが、curlやwgetで実行しているOracleJDKの取得でエラーが出るようになっています。先日(2017/05/22)からChefでも同じような現象があることをStackoverflowで確認しました。 わたしが担当しているプロジェクトで、GoldenAMI作成で使用しているAnsibleでOracleJDKのインストールに失敗したため、原因を調査していましたので共有します。自動スクリプトなどでOracleJDKを自動的にインストールしている構成を取っている方は高い確率で失敗すると思われるため、注意が必要です。 AnsibleのJDKインストールで突然の死 AnsibleでOracleJDKのインストールを行っています。2017/05/23突然死しました。 amazon-ebs: TASK **************
![[Java] OracleJDKの取得方法が大きく変わりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/30a2d47409e2c1d5a3c01b1ecbba01690af9a821/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fjava.png)
Mac OSX をクリーンインストールしてからの環境構築メモ
Macbook Air の OS をクリーンインストールしたので、OS 起動後に行った環境構築のメモです。 1. OSX 環境設定 OSX 関連の設定は、以前に書いた下記エントリの内容で行います。 下記は Moutain Lion のものなので、若干、設定項目の表記や位置が異なりますが、概ねこの通りで。 http://www.1×1.jp/blog/2012/06/macbook_air_system_preferences.html 2. Homebrew、コマンドラインツール、XCode インストール アプリは、Homebrew cask と Brewfile を使ってインストールしたいので、Homebrew をインストールします。 $ ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"
Mac mini増殖中！iOSアプリのビルドをマスター・スレーブ化して時間を短縮する - pixiv inside [archive]
チームでiOSアプリの開発をしていると、ビルドのコストが肥大化しがちです。ピクシブでは、ビルドとテストをMac mini上に構築したJenkinsで行っているのですが、ビルドキューが詰まり、開発速度が上がりにくくなっていました。 これを改善するため、最近、iOSチームのビルドサーバーを、Mac mini 1台から3台に増やし、マスター・スレーブ環境でビルドできるようにしました。今回、そのための設定について、エンジニアの @anchan から紹介します！ ビルドサーバーの環境設定は、GitHubに公開しています！ モチベーション Xcodeは1台のマシンでビルドを並列化できません。チームメンバーとアプリの数が増えるにつれ、それに比例してJenkinsのビルドキューが詰まるようになりました。 Mac mini 1台では厳しくなってきたので、Mac mini 3台でJenkinsのマスター・スレ
![Mac mini増殖中！iOSアプリのビルドをマスター・スレーブ化して時間を短縮する - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/becdf3af7bbff0decc2bf9fe5e40e4be5ab0824f/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fd%2Fdevpixiv%2F20161122%2F20161122105741.jpg)
ISUCON6の予選問題作成メイン担当のSongmuです。皆さん予選はいかがでしたか？至らぬ点もあり申し訳ない部分もありましたが、楽しんでいただけたようであれば嬉しいです。 さて、遅くなりましたがISUCON6予選に使用した参照実装、ベンチマーカー、その他諸々を含むリポジトリを、このエントリと共に公開します。 https://github.com/isucon/isucon6-qualify 謝辞問題作成にあたり、多くの人に協力いただきました。以下に役割分担を書き出してみると非常に豪華な面々です。これらの方々の協力なしには予選は開催できなかったでしょう(本当に!)。ありがとうございました。 問題アイデア出し: Songmu/motemen/wtatsuruコンセプト実装: motemen初期実装: Songmu参加者用ポータル作成: motemenベンチマーカー及びワーカー: Songmu
はじめに SIerで働いてます。周りを見渡すとまだまだオンプレだけのシステムが多いですね。 少し前はクラウドは選択肢にすら入ってきませんでしたが、今はどんなに固いシステムでも必ずクラウドが選択肢に入ってくるようになりました。そして、この1～2年くらいはクラウド、特にAWSを利用したシステムの構築案件が増えてきたなぁと実感しています。 社内の人と話していても、「AWSなにそれ？」とか「AWS安くなるらしいから使おうよ。」という人もさすがに減ってきて、オンプレ脳から徐々にクラウド脳にシフトしていってるのかなと感じます。 この記事は、社内のAWSのイベントでLTで話した内容をベースに書いています。ただSWFについてはマニアックなので避けました。少しでも若手や興味を持っていただいた方の勉強になればと思いまして、その考えに至った背景などをかなり寄り道しながらできるだけやさしく書いてみました。 なぜ自
NextDNSというサービスは子持ち家庭のインターネットを安心安全にする - kuenishi's blog
tl:dr; 子供にも安全にインターネットさせたいが、なるべく親がコントロールしたい いままで /etc/hosts を工夫して狭い範囲でブラックリスト管理していたが運用が辛かった NextDNS.io というサービスがやりたいことを全部実現していたので課金した 我が家には小学生と幼稚園の男児がいて、どちらもラップトップを持ってネットサーフィンをする。分からないことは自分で調べさせたりScratchでプログラミングさせたりして遊ばせれば、これが結構な時間潰しになる。わたしの古いMacBook Airを使わせたりしていたが、予算に余裕が出たタイミングで上の子にはMacBook Proを買い与えた。いちどそのMacにMinecraftをインストールしてやったらすぐに廃人になったので、さすがにそれはアンインストールして禁止した。おおよそ自由にネットサーフィンはさせているのだが、インターネット上で
はじめに Developer Roadmapsの内容が興味深く、自分の経験を元に日本のインフラエンジニア向けの学習ロードマップを作ってみました。 これからキャリアをスタートする駆け出しエンジニアの参考になれば幸いです。 ※私自身の限られた経験のもとに作成した学習ロードマップです。偏った内容や、時代の流れで主流が変わってしまった部分もあると思うので、色々な方のご意見コメントを頂けると嬉しいです！ [2020/8/12追記] 図中の技術選定や学習順序について解説を追記しました。 前提条件 以下の前提条件で作っています。自身の置かれている環境に合わせて、学習内容は適宜取捨選択することをお勧めします。 1〜3年目の新人エンジニア向け SI業界で使われるエンタープライズ系技術を想定 オンプレとクラウドはどちらも扱う オンプレ機器は経験上よく見かける製品を代表して記載 ファシリティ、アプリケーションの
少人数でサービス開発をしていると、サーバーのアカウント管理を疎かにしてしまいがちです。良くないことだとわかっていながらも、共用ユーザーのログイン情報を数人で共有していたりだとか、rootばかり使っているなんてこともあるのではないでしょうか。 それだとオペレーターが増えたり、退職者がでたりした時に困ることになるので、最初からルールと仕組みを決めておいた方がトータルで楽になります。 前提 パスワードやログイン鍵の共用、ダメ！絶対！ rootを常用するの(・A・)ｲｸﾅｲ!! パスワードやログイン鍵を共用していると、人数が増えた時に誰が作業しているのか把握するのが大変になりますし、退職者が出た時に一斉変更をせざるを得なくなって混乱してしまいます。逆に一部のスタッフを別扱いして権限を制限したユーザーをアドホックに作ったりしてしまうのも管理が煩雑になります。じゃあどうすればよいかというと、個人ごとに
Twitterフォロー&条件付きツイートで「バリーくんぬいぐるみ」を抽選で20名にプレゼント！ 応募期間は2019/11/29～2019/12/31まで。詳細はこちらをご覧ください。 今すぐツイートするならこちら→ フォローもお忘れなく！ 【IIJ 2019 TECHアドベントカレンダー 12/12（木）の記事です】 久しぶりに書きました。 どうもこんばんわ。九州支社で働くとみです。お久しぶりです。 実は2016年に一つ記事を投稿したのですが、実に3年半経過した今になってアドベントカレンダーの話が聞こえてきたので、久方ぶりに書いてみることにしました。 当時はこんな記事なんかを書いてたわけですが、この記事を書いてから3年間色々あったので、その中の一つを書いてみようかなと思います。 3年間で覚えたことを並べてみる 2016年当時はTHE ON-PREMISEと言われてもおかしくないような、どイ
8月27日に開催されたISUCON12 本選にチームNaruseJunとして参加し、スコア341,258点で優勝しました。（ISUCON12 本選の結果発表と全チームのスコア） メンバーは @sekai と @takashi_trap でした。 この記事はその参加記です。 チームについて このメンバーでのISUCONへの参加は10(予選敗退), 11(準優勝)から3回連続です。 それぞれのISUCON参加回数は @to-hutohu, @sekaiが6回目、@takashi_trapが5回目です。 予選準備 7月9日と7月17日に予選のために集まって作戦会議をしました。 7/9 1時間程度集まって素振りに向けた作戦会議 素振りの環境準備、チートシート、初動のAnsible整備、Goを思い出すなどがそれぞれ宿題として持ち帰ることに 7/17 素振り会（ISUCON11予選） 5時間くらいで初
Server Side React with PostgreSQL¶ Reactjsいいですよね。うちでもすでにReactで書いたサービスを動かしています。 さて、Reactjsの売りの一つはServer Side Renderingだと思います。すでに各種言語で動かしている方がいらっしゃいます。一例: Java: http://www.slideshare.net/makingx/reactjs-meetupjavassr go: https://github.com/olebedev/go-react-example python: https://github.com/markfinger/django-react でも、ちょっと待って下さい。サーバー側でレンダリングするなら別にAppサーバーにやらせる必要はないですよね。むしろ、データを保持しているDBにやらせれば、データの移動がな
ようこそdotfilesの世界へ - Qiita
はじめに 少し前から話題になっているが、日本の労働生産性はG7で最も低いらしい。 日本生産性本部資料より https://www.jpc-net.jp/intl_comparison/intl_comparison_2018_press.pdf 日本は人口減少に突入していることもあって、「作業の効率化」や「自動化・省力化」をいうフレーズをあらゆる業種で聞くようになった。 ITエンジニアは、あらゆる職業の中でも最も効率化、自動化をして生産性を高められるといっても過言ではないだろう。プログラマの三大美徳(「怠惰」「短気」「傲慢」)にもあるように、同じことを何度もやらない、楽をするためにがんばるという生産性を意識した感性が重要視されているからだ。 生産性を高めることで、勉強する時間が作れたり、新しいことを経験したりするなどしてさらにスキルアップができ、さらに生産性が上がるという好循環を作り出すこ
PHPカンファレンス 2014 & WordCamp Tokyo 2014 講演資料まとめ #phpcon2014 #wctokyo
ホーム 記事 PHPカンファレンス WordCamp Tokyo PHPカンファレンス 2014 & WordCamp Tokyo 2014 講演資料まとめ #phpcon2014 #wctokyo 2014.10.11 2014.10.23 PHPカンファレンス 2014 & WordCamp Tokyo 2014 講演資料まとめ #phpcon2014 #wctokyo PHPカンファレンス2014 & WordCamp Tokyo 2014 10月11日（土）に開催された「PHPカンファレンス2014」&「WordCamp Tokyo 2014」の講演資料まとめです。 ※捕捉次第追加します。追加情報などございましたらコメントまたは@unsoluble_sugarまでお知らせいただけるとありがたいです。 タイムテーブル PHPカンファレンス2014 WordCamp Tokyo 201
ふと自分がベテランエンジニア(おっさん)になってしまった、、、と感じたので書いてみる。 Javaとか普通に使われてると思うし、makeもC系だと普通だとおもうし、メッチャ偏見を入れて書いていることをご了承ください (笑) バージョン管理ツール 新人 Gitしかやったこと無い SVN聞いたことあります CVS？CSVじゃなくて？ おっさん SVNやCVSって言うのがあってだな VSSって知ってるか？ ファイルサーバで上書きされることとかあったよー サーバインスタンス 新人 ポチポチ (AWS、GCP、さくらVPS) Herokuでいいっすか？ GAEでいいっすか？ おっさん 納品まで時間が掛かるから、早めにスペック確定して発注しないと サーバルーム行ってくる ソコのおいてあるのが開発用サーバだから電源消しちゃダメだよ プログラミング言語 新人 PythonとScalaなら触ってました Swi
第16回 Hadoopソースコードリーディング(2014/05/29) 発表資料 『Apache Sparkのご紹介』（前半：Sparkのキホン） NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 土橋 昌 (Masaru Dobashi) http://oss.nttdata.co.jp/ 後半はこちら → http://www.slideshare.net/hadoopxnttdata/apache-sparkRead less
「サーバ/インフラエンジニア養成読本 DevOps編」にて Ansible 2 について書きました。 - Shin x Blog
2016/02/26 に出版される「サーバ/インフラエンジニア養成読本 DevOps編」というムック本にて、Ansible 2 について書きました。 本書は、昨今では普及してきた DevOps や Infrastructure as Code といったキーワードに関心がある方向けの本です。はじめに概念の定義や現状をおさえた後に、Ansible、Circle CI、Docker、Kubernetesなどツールを活用して実践する構成となっています。 Ansible 2 によるサーバ環境の構築 特集 1 である「Ansible 2 によるサーバ環境の構築」を担当しました。ここでは、Ansible の基礎をベースに、Vagrantを利用したサーバ環境の構築を解説しています。 Ansible には多くのユーザがおり、すでに多くの Playbook が公開されています。そこで、Playbook のシン
サーバの構築・運用の効率化の為に Test-Driven Infrastructure をする手法として、 Serverspec が登場して 1 年近く経ちました。 そして最近、Infrastructure Behavior Testing Framework として、 Infrataster が登場しました。 今日は、上記で紹介した 2 つを組み合わせて使用し、 実際にどのようにサーバのテストを行うかについて書きます。 書くこと・書かないこと - 書くこと Serverspec と Infrataster を両方使った Test-Driven Infrastructure の一手法に関して 今日書くのは、Serverspec と Infrataster を組み合わせることで、 Serverspec がカバーしている領域と Infrataster がカバーしている領域の両方をテストする一手
第2回Webスクレイピング勉強会@東京（全3回） - connpass 2014/08/17 第2回Webスクレイピング勉強会@東京 #東京スクラッパー - Togetterまとめ お仕事の都合上、ビッグデータ周りの『環境』については割と頻繁に作成したり関連する情報を調べたりしているのですが、環境に取り込む『データ』についてはお客様の要件によって様々。お客様個別のデータに絡める場合然り、また業務とは別に、個別に何か独自のネタを使ってビッグデータ的な取り組みを行いたいとなった際には、選択肢のひとつとして『Webからデータを収集して分析に使う』というものも考えられるかと思います。 では、そのデータはどうやって取得してくる？となった時にひとつの案として浮上してくるのが、今回のブログテーマにもなっている『Webスクレイピング』。イベントについては情報を把握していたものの前回は都合により参加出来ず、
MacBook Proを買って最初にしたこと
継ぎ足しを繰り返して複雑な味になった設定ファイルや、入れてみたけど結局使っていないアプリ等を見直しつつ、今まで使っていたMacBook Airから違和感なく乗り換えられることを目標に、やったことのメモ。 デスクトップには何も置きたくないし、Dockはこう しておいて、こんな感じ で今使っているアプリだけが表示されるようにしたいタイプです。 GUI アプリ 基本的にはMacBook Airに入れていたもののうち、日常的に使っていたものだけ残した。 Webブラウザ 以前は、Googleのアカウントを切り替えるのが面倒だったので、いくつもブラウザをインストールしてブラウザとGoogleアカウントを1対1で紐付けていたけど、Chromeでアカウント切り替えが楽になったので、そういうダサいことはやめた。 Google Chrome Canary インストールしたExtensionは以下。 Evern
Home > Ansible | AWS > Ansible で EC2 インスタンスを起動して、Route53 に Public DNS を登録する Ansible は、構成管理ツールとして認知されていますが、AWS 関連のモジュールが多数実装されており、各コンポーネントの起動や設定ができます。 このエントリでは、Ansible で、検証環境用の EC2 インスタンスを起動して、その Public DNS をRoute 53 に登録してみます。 以前書いたこのエントリの内容 を Ansible で自動化するイメージですね。 準備 今回は、AWS を操作するので、Python の AWS SDK である boto をインストールしておきます。boto は、pip なり、yum なりでインストールできます。 OSX $ pip install boto RHEL / CentOS $ rpm
他人の技術に興味や関心を持つということ - Line 1: Error: Invalid Blog('by Esehara' )
暫くスタートアップのお手伝いをしている。最近やったのだと、下のような感じ。 jeffh/sniffer · GitHubを使ってSphinxでDocstringをぶん投げる DjangoとJenkinsを連帯させ、ローカルでテストを廻す blockdiagを使ったモデル関係の整理 Muninを導入して、落ちる原因になってるサーバーリソースの監視 Hipchatを使っているので、GitHubやPivotal Trackerを連携させる Hipchatの遊び心としてHubotの導入 django開発の基礎としてBeProud社の『Pythonプロフェッショナルプログラミング』を薦める そんな感じ。上のことがどれだけ効いているかはわからないけれど、自分が楽しんでやれる環境に整備し、あとは他の人にも「だいぶ楽になったなー」という気持ちになれれば、こっちとしては万々歳。もしかしたら半分くらいは自己満
はじめに 最近、Dockerが大人気ですね。GoogleやMicrosoftも参入してることはもちろんですが、Oracle Weblogicのサポート対象に入ってたりとミドルウェア側、それもエンタープライズ系製品が対応してきたのは面白い動きです。 とはいえDockerって何？っていう人もまだまだ結構多いと思います。 Dockerとはvmwareなどの技術の先にある軽量な仮想マシンである、と捉えてもあまり間違ってないと思いますが、個人的にはJavaEEコンテナの類似品というか、それと同じ文脈で考えたほうがしっくりきました。 なので、自分の理解を深めるためにも、JavaEEエンジニアはどのようにDocker及びその周辺技術を理解すればいいのか、という視点でまとめてみました。 そもそもDockerって？ Dockerとvmwareのような従来の仮想化で何が違うかですが、vmwareがOSの仮想化
ansibleで実行対象を切り替える方法¶ 本番環境、検証環境、開発環境など、複数の環境を持っており、それごとにサー バーや設定が異なる、ということはよくあると思います。 ansibleで、これらの対象を切り替える方法は複数ありますので、それを紹介 したいと思います。 サーバーが異なるだけで、設定が同じ場合¶ この場合は、inventoryファイルでグループを分けて切りかえればいいと思い ます。 [stg:children] stg_Web stg_DB [prod:children] prod_Web prod_DB [stg_web] stg_web_01 [stg_DB] stg_db_01 [prod_web] prod_web_01 [prod_DB] prod_db_01
すっかり年の瀬ですが、今年最後の発表を DevLove 関西にて行いました。 Docker 実践編ということで、CI の一環でビルドサーバに使っている Docker についてお話してきました。 発表資料 Jenkins サーバに Docker を入れており、ビルドの環境として利用しています。構成や使い方は、わりとベーシックな内容です。 プロビジョンには Ansible を使っており、ローカルコネクションで ansible-playbook を実行しています。 使い捨てできる環境なら実用的 勉強会の最後に、発表者への QA の時間があったのですが、多数の質問があり、Docker に対する関心が高いのをあらためて実感しました。 今回、参加された方は、これから Docker を使ってみようという方が多いようで、導入に関することや、安定性などに対する質問が多かったです。（安定性に関しては、私のセッ
「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬から移動し、新規立ち上げのインフラ環境の構築からCI/CDの整備などに取り組み、リリースを行いました。 業務外では来年開催の「SRE Kaigi」のコアスタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetesがいかに自動化の考え方を変えたか? | SOTA
なぜDockerとCoreOSの決裂は予測できたか | POSTD
CentOS 7(RHEL 7) 初期設定 Ansible 編 - Qiita
Dockerイメージをchef-soloでプロビジョニングする | DevelopersIO
CloudBees | Enterprise Software Delivery
Google、Eclipse用ADTの開発とサポートの終了を発表、Android Studioへの移行を呼びかけ | juggly.cn
ansible使いのためのYAML入門 - @znz blog
『計算機プログラムの構造と解釈』(SICP)を読み終えて - きのこる庭
VPN(Point To Site)接続する際の注意点 – SIOS Tech. Lab
DockerとMakeを利用したRPMパッケージのビルド環境 | メルカリエンジニアリング
[Java] OracleJDKの取得方法が大きく変わりました | DevelopersIO
ISUCON6 予選問題 参照実装ならびにベンチマーカー等の公開 : ISUCON公式Blog
AWSの保守運用を自動化するためのアーキテクチャ - Qiita
インフラエンジニア学習ロードマップ | 電算星組
Linuxサーバーのアカウント管理について | おそらくはそれさえも平凡な日々
分散SNSを使って技術を覚える | IIJ Engineers Blog
ISUCON12で優勝しました(チーム NaruseJun)
Server Side React with PostgreSQL — そこはかとなく書くよん。 ドキュメント
新人エンジニアとのジェネレーションギャップ - Qiita
Apache Spark の紹介（前半：Sparkのキホン）
Serverspec と Infrataster でサーバのテストをする - rrreeeyyy.com
第2回Webスクレイピング勉強会@東京 に参加してきた #東京スクラッパー | DevelopersIO
Ansible で EC2 インスタンスを起動して、Route53 に Public DNS を登録する
Dockerってなんですか？ それ、JavaEEで分かるよ。 - ブログなんだよもん
ansibleで実行対象を切り替える方法 — そこはかとなく書くよん。 ドキュメント
「Jenkinsサーバで使う Docker」を発表してきました - Shin x blog