Git - Book
The entire Pro Git book, written by Scott Chacon and Ben Straub and published by Apress, is available here. All content is licensed under the Creative Commons Attribution Non Commercial Share Alike 3.0 license. Print versions of the book are available on Amazon.com. The version found here has been updated with corrections and additions from hundreds of contributors. If you see an error or have a s
14 Minimal Web Frameworks for Python
Hello World in Python You might have forgotten how to do it, here is a reminder. print "Hello World!"; I also enjoy this one, while True: for i in ["/","*","|","\\","|"]: print "%s\r" % i, It’s easier to work on something when you’ve got the basic stuff covered for you, this is why frameworks have become so popular within the developer communities around all of the programming languages, you can’t
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ
※普通は「教師なしLDA」という言い方はしないです モチベーション 元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。 ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。 ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。 そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す
都立大 自然言語処理研究室 - 自然言語処理を学ぶ推薦書籍
自然言語処理を学ぶ推薦書籍を紹介します。2021年03月現在、自然言語処理を勉強したい理工系の学生・エンジニアの人は、以下の本を推薦します。 （概要）自然言語処理（放送大学出版） （理論）言語処理のための機械学習入門＋深層学習による自然言語処理 （実装）Python 機械学習プログラミング 第3版 自然言語処理を勉強したい、非理工系・非エンジニアの人には、以下の本を推薦します。 （数式なし）自然言語処理の基本と技術 （数式あり）自然言語処理（放送大学出版） オライリーから出ている「入門 自然言語処理」は特殊な本（詳しい人がこれを使ってレクチャーしてくれるならともかく、独習に向いていない）で、Python 2 で書かれているだけでなく、すでに動かなくなったコードも多々あり、2019年時点では読まない方がいい本です。（それでもどうしても、意地でも読みたい人は、本家にある Python 3 対応
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Maintainable Gruntfile.js - from scratch
さてさて、前回の続きです。 オレはgruntのエコシステムに乗って楽をしたい、でもGruntfile.jsが長くなりすぎて辛い、grunt taskが時間がかかりすぎて辛い、という話は話で分かります。また、それに対する色んな解決策もあります。 最近出た、HTML5Rocksで紹介されてたやり方もあるし、いくつか先人の知恵もあるので、解決していきましょう。 Gruntfile.jsが長くなりすぎて辛い時 https://github.com/firstandthird/load-grunt-configを使いましょう。 いろんなtipsを見てきましたが、このライブラリが一番分かりやすく、かつGruntfile.jsをメンテナブルに保つことができます。 load-grunt-configには3つの機能があります。 grunt pluginの自動ロード機能 grunt configのファイル分割
BerkshelfとVagrantでmongodbサーバを構築する · DQNEO日記
作業用ディレクトリを作る mkdir -p ~/tmp/vagrantmongo cd ~/tmp/vagrantmongo 以下、この作業用ディレクトリを起点にして作業します。 Berksfileを作る 作業用ディレクトリにBerksfileを作成します。 Berksfile cookbook 'mongodb', git: 'git://github.com/edelight/chef-mongodb.git' 記述するのはこの１行だけでOKです。 berksコマンドでcookbookたちを取得する $ berks vendor cookbooks Fetching 'mongodb' from git: 'git://github.com/edelight/chef-mongodb.git' with branch: 'master' building universe... Usi
AGPL ライセンス（GPLとは似ているが違いもある）
AGPL ライセンスについてです。 互恵ライセンス AGPL は互恵ライセンスです。GPL と大筋は同じで、ソフトウェアの改変や商用利用が許可されたライセンスです。GPL と異なる点は、ネットワーク経由の利用であっても、利用者に自由を保証することです。 たとえば、発注者がウェブ制作会社にウェブサイト制作を依頼し、ウェブ制作会社の契約するサーバー上でCMSが動いている場合を考えて見ましょう。このような場合の発注者は、GPLライセンスでは「自分がどんなソフトウェアを使っているか」を知る権利が保証されません(この弱点はASPループホールと呼ばれています)。一方、AGPLでは、このような場合の発注者も権利が保証されます。 つまり、利用形態を問わず、利用者は、自分がどんなソフトウェアを使っているか、知る事ができます(ウェブサービス等に自分が登録した個人情報がどう管理されているか分からなくて不安になる
ゲームサーバ開発現場の考え方
【Unite Tokyo 2019】Unityだったら簡単！マルチプレイ用ゲームサーバ開発 ～実践編～ 2019/9/25-6に開催されたUnite Tokyo 2019の講演スライドです。 小端 みより（株式会社ミクシィ） こんな人におすすめ ・Unityでより本格的なマルチプレイのゲームを作りたい方 ・そもそも通信や同期処理ってどうやって実装するの？という方 受講者が得られる知見 ・Unityで専用サーバを開発するメリットやその方法 ・Unityでサーバとクライアントを同時に開発するテクニック ・通信に関する知識、専用サーバを運用する方法 Unityのイベント資料はこちらから： https://www.slideshare.net/UnityTechnologiesJapan/clipboards
Aggregating NBA data, PostgreSQL vs MongoDB
When reading the article Crunching 30 Years of NBA Data with MongoDB Aggregation I coulnd’t help but think that we’ve been enjoying aggregates in SQL for 3 or 4 decades already. When using PostgreSQL it’s even easy to actually add your own aggregates given the SQL command create aggregate. *Photo Credit: [Copyright All rights reserved by Segward Graupner](https://www.flickr.com/photos/57426425@N07
Hadoopを10分で試す
ブログの総集編です。下記にあるリンクを参照してください。 Hadoopを使ってみたい！ 新しく何かを始めようと思った時、面倒だなぁと思うことは多いものです。書籍やブログをみて「これは役立ちそうだ」と思っても、ちょっと試すことにさえにも辿り着けず、頓挫しているものがTODOリストやPocket（旧Readitlater）に大量にあります。 ＃書いていて嫌な気持ちになってきた、、、 Hadoopはそんな面倒なものの一つかもしれません。書籍を読んで「よし、やってみるか」という強い決意を持ったすぐ後、 「試すにはマシンを買わないといけないのかなぁ」 「いや、EC2でいけそう。アカウントどうしようか」 「なんか仮想マシンでもできそうって書いてある」 という第一の壁があります。 運良く壁を乗り越えたあと、 「ソフトはどこからダウンロードすればいいだっけ？」 「コマンドラインでやるの？」 「設定面倒そう
HDFSが高速に？mmapによるzero-copyでの読み込み
通常、アプリケーションはread()などのシステムコール経由でファイルを読み出します。 このHDFS-4953はmmap()システムコールを使用することで、読み取り時にかかるオーバーヘッドを減らそうというもののようです。 参考までに、通常アプリケーションがファイルを読み出す場合、以下のようなフローでカーネルからの読み込み処理が行われます。 アプリからの読み込み要求 v fread()など (stdlib) v read()システムコール(glibc) v （以下カーネル空間） v sys_read() v vfs_read() v …. 参考資料：ページキャッシュのメモ P.12 アプリケーションからの読み出し要求によりシステムコールが呼ばれるのは上記の通りですが、問題となるのは、 read()が頻繁に呼びだされる場合、コンテキストスイッチが多く発生してコストがかかる※コストの計測には s
fluentdとシステム設計の小ネタ - たごもりすメモ
あるいは http://yugui.jp/articles/879 へのreply。 システム監視をfluentdに統合してしまうべきか否か システム監視は分けておいた方がいいと思う。分けるべき、とまでは言わないけれど。 それらの仕組みには相応の必要な機能セットがあり、それらは長い歴史の中で比較的決まった機能セットに収斂してきており、その収集・モニタリング・可視化・アラート通知など決まりきったパターンを様々な項目について停止なく行う必要がある。 Fluentdの各種プラグインを用いることで同じような機能は実現できる。そのプラグインのうち数割は自分が書いものだったりする。とはいえ各ホストのシステム監視までそこで行うことを想定して書いたかというと、もうちょっと高いレイヤでの監視・集計、つまりサービス単位などを目的としたものが多い。サーバ単位で行おうとしたときに設定が雑多なものになるのはおそらく
20140212 develove テスト自動化のアプローチ拡張トレンド 〜Excel項目定義手動テストから自動テストへ〜
Webサーバを利用したサービスの増加に伴って，Webサーバ上で生じるインシデントも増加している．これらの問題を解決するために，Webサーバソフトウェアの機能拡張が必要である．Apacheを利用していた場合，機能拡張のためにはC言語やApache内部の仕様を深く理解している必要があり，開発の敷居が高く，コンパイルが必要となって保守性が低い．そこで，現在注目されてきている組み込みスクリプト言語mrubyを利用して，Apacheに機能拡張のためのmruby用インターフェイスを実装し，mrubyスクリプトによって簡単にApache内部の機能拡張を行える機構mod_mrubyを提案する．mod_mrubyは，Apache内部に存在する各種リクエスト処理フェーズにおいて，任意のmrubyスクリプトを任意のフェーズでフックして実行できるインターフェイスを提供している．フックする際には，Apache内部で
elasticsearch勉強会で発表してきました - Advanced Technology Lab
皆様はじめまして．リクルートテクノロジーズでエンジニアをしている相野谷と申します． 先週開催された第3回Elasticsearch勉強会で「Elasticsearch+DynamoDB+Node.jsで作る全社基盤」というタイトルで，独自開発したシステムでのElasticsearchの利用例を紹介させていただきました． 発表スライド自体は既にupされていますが，それだけでは初見の人に分かりづらいと思いますので，解説記事を上げさせていただきます． スマホアプリのためのプッシュ通知基盤 今回開発したシステムは，「リクルートグループが開発するスマホ用のアプリでプッシュ通知を送るための基盤」です．このプッシュ通知基盤が提供する条件指定プッシュという機能のために，Elasticsearchを使用しています． システム構成 本システムはリクルートで開発される全アプリから利用されることを想定しているため
LXCベースのDockerとホストマシンのディスクI/O性能を比較検証（Bonnie++編） - Y-Ken Studio
dotCloudが開発しているLinuxコンテナ型仮想ソフト「Docker」が巷で話題ですね！ これはLXCにストレージドライバとしてunionfsから派生したaufs（CentOSではLVMのThin Provisioning）を組み合わせた所がキモで、つまりファイルシステムの差分管理が出来る特徴があります。 なんだか仕組みを想像する限りディスクI/Oが遅そうな印象ですが、どの程度のものかベンチマークを取りました。 ストレージドライバ Dockerは元々aufsで作られていたのですが、それはAUFS対応のカーネルを入れる前提です。 これはRedHat系ディストリビューションへの対応を行う上での大きなハードルでした。 そこで同様にCoW(CopyOnWrite)を実現出来るLVMのThin Provisioningが採用されています。 ドライバがaufsなのかLVMを扱うためのdevice
Your Docker image may be broken and you don't even know it
YOUR DOCKER IMAGE MIGHT BE BROKEN without you knowing it Learn the right way to build your Dockerfile. You learned about Docker. It's awesome and you're excited. You go and create a Dockerfile: FROM ubuntu:16.04 RUN apt-get install all_my_dependencies ADD my_app_files /my_app CMD ["/my_app/start.sh"] Cool, it seems to work. Pretty easy, right? Not so fast. You just built a container which contains
Automated deployment with Docker - lessons learnt
2013-12-26This post is over 2 years old and may now be out of date (The information in this article pertains to Docker v0.7. I have also a written a more recent post on using Docker) Recently for my client's project we decided to automate our staging server deployments using Docker, as a pre-cursor to rolling out Docker deployments across our production servers is everything worked out well. For t
NaviPlusのサーバ構築
どもです。インフラ池田（@mikeda）です。 今日は『NaviPlusではどういうふうにサーバ構築作業をしているのか』について話します。 ※編集長注：以下は記事執筆時点のものです。将来的に弊社がこの手順を使用することを保証するものではありません。 まずNaviPlusでは今のところクラウドは利用していないので、 サーバ構築は基本的に以下のどっちかになります。 物理サーバ KVMのゲスト OSはCentOSの6系です。 作業は以下の技術を使って自動化しています。 PXE Boot + kickstart chef-solo それではさっそく、ザックリとした実際の構築手順から。 構築手順 物理サーバとVMに分けて説明します。 事前にローカルDNSの登録と、chefのnode定義の作成だけやっておきます。 物理サーバ まずは物理サーバの構築手順です。 以下の作業は並列実行可能、 またiLO/i
プライベートYUMレポジトリを作ろう | SONICMOOV LAB
RPMに関する支援ツールは豊富にそろっていて、レポジトリの作成ツールである createrepo コマンドをインストールし、作成済みのRPMを入れたディレクトリをYUMレポジトリとして構築します。 [sourcecode lang="bash"] $ yum install createrepo $ createrepo test.repo/ Spawning worker 0 with 1 pkgs Workers Finished Gathering worker results Saving Primary metadata Saving file lists metadata Saving other metadata Generating sqlite DBs Sqlite DBs complete $ tree test.repo/ test.repo/ ├── bash-co
blog.ryotarai.info
Developers Summit 2014 での発表（スライド）後、Chef のログを Fluentd に投げてる部分についてツイートをいただいたので、すこしまとめておきます。 GREEさんが昨日発表した， …Developers Summit 2014 での発表（スライド）後、Chef のログを Fluentd に投げてる部分についてツイートをいただいたので、すこしまとめておきます。 GREEさんが昨日発表した，ChefのハンドラからFluentdに投げてMongoDBでデプロイか何かの情報収集してるの，どこかに記事とかあるのかな？ユースケース的には便利なのだけども #fluentd— Mr. Fiber (@repeatedly) 2014, 2月 14 Report (Exception) Handler Chef の Report(Exception) Handler という仕組
さくらのクラウドフォーメーション with Chef [XEgg session]
Innovation EGG 第二回 XEgg 1st『クラウド未経験者向けITコミュニティ＆クラウドベンダー合同勉強会』 の発表で使用した資料です。Read less
![さくらのクラウドフォーメーション with Chef [XEgg session]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4951e57b0dcd1efdae792fa93a9200e155c2bc5a/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fxegg01-chef-140214221012-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Vagrant で作ったり壊したりできる Windows 環境を手に入れるまでの手順
最近話題の Vagrant さんは「Linux の環境を作ったり壊したりして開発とか試験が楽になるよ」と紹介されることが多いけど、Windows の環境だって作ったり壊したりしたい！ いろいろ調べつつ環境を作ってみたので、その手順を共有しておく。 完成イメージはこんな感じ。コマンドプロンプトから vagrant up をしたら VirtualBox 上に Windows Server 2012 R2 の環境が準備されて、そこにリモート デスクトップで接続している。 いろいろいじったあとに vagrant destroy したら環境は消え去って、vagrant up したら、また、まっさらな状態から使える。 ちょっと注目してほしいのは、ゲスト OS の C:\vagrant にホスト側の Vagrantfile がマウントされているところ。このあたりの処理は Vagrant-Windows
EC2インスタンス 時間単価選手権 | DevelopersIO
よく訓練されたアップル信者、都元です。みなさん、安いの好きですよね！ ボクも好きです！ さてその昔、EC2は特殊用途でない限り、m1シリーズを使っておけば大体OKでした。スペックをストレージ側に寄せたいとか、メモリ側に寄せたいとか、そういう要件はそんなに多くないため、いわゆる「平均的な」スペックとしてm1シリーズが大変重宝されていました。っていうか今も重宝されてます。 そんな状況であるため、インスタンスのサイジングというのはt1.microの検証用からはじまり、あとはm1.small, m1.medium, m1.large, m1.xlargeと大きくしていけばいいんだよね。まぁ、この順で強く、そして高くなって行くんでしょ。というのが世間一般的なゆるーい認識であるかと思います。 しかし最近は「m1は一世代前のスペックで、m3シリーズこそが現行世代なんだ」とか、「c3シリーズのコスパがマジ
Lang-8で使っているサービス一覧&社内制度 - 世界最高の語学学習サービスを作る
【2014年10月1日更新】 内容が古くなってたので少し更新しました。 Hipchat: Hipchat便利ですね。Qiitaと同じように僕らもDeploy情報とかもここに流しています。→3月くらいからはSlack使っています Facebook messanger: 緩い会話や外出中に急ぎで伝えたいことは、Facebookのメッセージでやりとりしたりしています。あと、事務のアルバイトの方々ともFacebookメッセンジャーでやりとりしています。 →今は全く使ってないです。Slack一本 [sqwiggle.com:title=Sqwiggle]完全リモートで働いてる方が何人かいるので軽く話をしたい時はSqwiggleでやっています。 リモート勤務&カフェ代支給: 1日のうち数時間はリモート勤務も可能で、上限はありますがカフェ代支給も行っています。 →9月から完全リモートの社員が加入しました
aws-podcastで英語とAWSのお勉強をする | DevelopersIO
こんにちは。社内の一部で英語勉強熱が高まっている気がします。そんな貴方におすすめするのがAWSで毎週アップデートされるポッドキャストです。 http://aws.amazon.com/jp/apac/awspodcast/ AWSのアップデートやTIPSなどを20分程度で紹介します。もちろん英語です。 今週はEpisode #74ですね。 技術的にはそれほど難しい話題はありませんが、ネイティヴ向けの放送なので、英語的には自分にとってはかなり歯応えがあります。機能の概要説明は理解できますが、細かい部分や慣用句、特にジョークはまったくわからないです。(今週の放送にあった Func Engineって何だったのでしょうか?) まぁ独りで聞いているのでわからなくても笑われるわけではありません。 何度も聞いているとそのうちわかるようになってきます(たぶん)。 今回から、担当の一人が変わり、日本にもよく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミング言語Dartの基礎
SparkRを使ってRでSparkを動かす
Fluentd でプラグインごとにログレベルを設定できるようになった件 : sonots:blog
【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）
Log Analysis System And its designs in LINE Corp. 2014 early
[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例![[よくわかるクラウドデータベース] CassandraからAmazon DynamoDBへの移行事例](https://cdn-ak-scissors.b.st-hatena.com/image/square/4042572650e9a9ced105f9c34962020e62c5c70f/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcassandraamazondynamodb-140216194358-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
[よくわかるクラウドデータベース] Amazon RDS for PostgreSQL検証報告![[よくわかるクラウドデータベース] Amazon RDS for PostgreSQL検証報告](https://cdn-ak-scissors.b.st-hatena.com/image/square/2acfb2d9a4a3f72d83035aaffad24b89be76f63f/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140117rdsforpgsqlbenchreport-140216194106-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)