LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
「Apache Zeppelin」のインストール方法まとめ - Qiita
次世代データ分析基盤としてApache Sparkが非常に注目されていますが、データ分析の重要な要素としてデータの可視化（Visualization）が挙げられます。 PythonやRではその辺のツールも充実しています。（Matplotlib, ggplot etc...) さらに、インタラクティブ環境下でコード実行したり、グラフを描画することが可能なiPython NotebookやRStudioなどは分析者にとって非常に便利です。 Apache SparkをiPython Notebookのような環境で動作させるソフトウェアとして、現在Databricksが「Databricks Cloud」を開発しています。 しかし、現在一部のユーザにしか公開されていないため、誰でも気軽に使える環境にはなっていません。そこで、Databricks Cloudと同じような環境を提供してくれる「Apac
Jupyter 環境設定補足 #pythontokai - Qiita
前置き 先日（2015/05/30）、Python東海 第27回勉強会で、「Jupyter + RISE による ライブデモ＆プレゼンテーション」という発表をしてきました。 発表は、資料を Jupyter（IPython Notebook）で大枠を作り、RISE でリアルタイムスライド表示しながらその場で編集し、その場で Gist にアップ → nbviewer に登録 → nbviewer でのスライド表示、という流れで実施1。上記の発表資料は最終的に nbviewer で公開したスライド（後で少しだけ再編集したもの）です。 で、スライド関係は良かったのですが、主にそれ以外の環境設定周りについて、短い発表時間の中でだいぶ端折ったり、発表資料も最低限のことしか書いていないので、自分がやったことを補足しておこうと思います。 なおこの記事は、先日の記事「IPython + IJulia → J
Scalaのspecializedアノテーションを使いこなすための基礎知識 - Maverick's tech blog
こんにちは、アドテクエンジニアーのトデス子です。ふだんスカラを使っているのでスカラの話をします。 ScalaはJavaと同様、型パラメータを使用したコードは内部的にObject型を通して使用されます。 そのため、IntやDoubleといったプリミティブ型を指定した場合は boxing/unboxingのオーバーヘッドが発生します。 このオーバヘッドは多くの場合大した問題になりませんが、数値計算などの特定領域においては パフォーマンスのボトルネックになるケースがあります。 Scalaにおいては、@specializedアノテーションを使用することでこのオーバヘッドを軽減する機構があります。 この記事では、この機構の詳細と使用時の注意点などについて紹介します。 はじめに @specializedアノテーションについては公式なドキュメントがかなり乏しく、また将来的に挙動が変更される可能性がありま
Go 言語のプロジェクト構成 - fugafuga.write
Go のプロジェクトのディレクトリ構成などについて プロジェクト構成 プロジェクトディレクトリをgo_workとする。 go_work ├── bin -> go install 時にバイナリが格納される ├── pkg -> 依存パッケージのオブジェクトファイル格納場所 └── src -> ソースコード格納場所 上記3つのディレクトリがあることが前提。 環境変数$GOPATHにプロジェクトディレクトリを指定することで、依存パッケージの解決が自動的に行われる。 % cd go_work % export GOPATH=`pwd` パッケージについて Go のパッケージは、Ruby で言うところの gem にあたる。 パッケージは自分で作ったり、Git などでリポジトリが公開されていれば、それをgo get コマンドでコピーして利用できる。 パッケージの作成 gosample というパッケ
HadoopStreaming で xml ファイルを処理する - しろかい！
HadoopStreaming で xml ファイルを扱う方法の解説です． この記事では，しろかい！のRSSフィードから <title>~</title> を抽出することを目標とします． また，言語は Python を使用します． 実装にあたっては以下の記事を参考にしました（英語です）． http://davidvhill.com/article/processing-xml-with-hadoop-streaming RSSフィードを取得してHDFSに転送 $ wget http://shirokai.hatenablog.com/feed -O feed.xml $ hadoop fs -put feed.xml mapper.py <entry>~</entry> 間をまとめた後，xml をパースして <title>~</title> を出力します． #!/usr/bin/env p
Ottoに既存のVagrantfileを食わせて仮想マシンを起動した - Qiita
はじめに 2015-09-28に発表されたHashicorpの新プロダクトであるOttoはVagrantの後継となることを予定されたものである。 そこで現時点でVagrantの代わりになるかを、既存のVagrantfileを食わせることで確認してみた。 先に結論を書くと、今のところはVagrantのラッパーになっているだけで、このような用途ではVagrantの代わりに使う意味は特にないだろう。 Ottoの簡単な説明をしながら試していく OttoはVagrantの後継として作られたものだが、Vagrantで行う開発環境の構築だけでなく本番環境の構築からデプロイまで一貫して行うことまでを目的としている。 そのため、現時点ではOttoはVagrant, Packer, Terraformのラッパーとなって動作する。将来的には少なくともVagrantは取り込まれることになるのだろう。 この記事では
Linux Advanced Routing & Traffic Control HOWTO
Table of Contents1. 献辞2. はじめに2.1. 免責およびライセンス2.2. 事前に必要な知識2.3. Linux にできること2.4. この文書の管理についてのメモ2.5. 取得、CVS およびアップデートの投稿2.6. メーリングリスト2.7. この文書の構成3. iproute2 入門3.1. なぜ iproute2 なのか?3.2. iproute2 の概略3.3. 事前の必要条件3.4. 現在の設定を調べてみる3.5. ARP4. Rules - ルーティングポリシーデータベース4.1. 簡単なソースポリシールーティング4.2. 複数のアップリンク/プロバイダに対するルーティング5. GRE トンネル、その他のトンネル5.1. トンネルに関する一般的な事柄5.2. IP in IP トンネリング5.3. GRE トンネリング5.4. ユーザランドのトンネル6.
Airbnbのメインデータベースをどうやって2週間で分割したか | POSTD
スケーリング＝時速160㎞で走行しながら自動車の全ての部品を取り替えること －Mike Krieger Instagramの共同設立者＠ Airbnb OpenAir 2015 Airbnbのピーク時のアクセス数は、毎年夏のピーク時で見ると年率3.5倍で増加しています。 2015年夏の旅行シーズンを前に、Airbnbの基盤チームは、夏季のアクセスで予想されるデータ通信量に対処するため、データベースのスケーリングで忙殺されていました。中でも特に全体への影響が大きかったプロジェクトが、特定のテーブルを、アプリケーションの機能に従ってそれぞれのデータベースに分割することを目的としたプロジェクトでした。これは通常、アプリケーション層のフォームの変更やデータ移行、データの整合性を保証する堅牢性テストなど、最小限のダウンタイムで多大な技術的投資を必要とするものです。何週間もかかるエンジニアリング時間
zsh から fish にした。 - yoshiori.github.io
3ヶ月くらい前からシェルを fish にしてみてるので、適当に設定など共有。 先に行っておくけど zsh より良い所とか聞かれても知らない。 気分転換&頭の体操で zsh のカスタマイズの延長くらいの気分で乗り換えた。 インスコ 1 $ brew install fish 以上 oh-my-fish インスコ fish-shell の良い所は特に設定などをしなくてもユーザーフレンドリーであることです。 zsh のように oh-my-zsh などを入れたり、過度にカスタマイズをしなくて済みます。 とかそういう説明がされてるのにその利点を一気にぶち壊す oh-my-fish というのがあるので入れる 1 $ curl -L https://github.com/oh-my-fish/oh-my-fish/raw/master/bin/install | fish そうすると omf コマンドが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「体系的に学ぶ 安全なWebアプリケーションの作り方」の仮想環境をVagrantで動かす