あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの? Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
public class Server extends VerticleBase { public Future<?> start() { return vertx.createHttpServer() .requestHandler(req -> req.response() .putHeader("content-type", "text/plain") .end("Hello from Vert.x!") ) .listen(8080); } } class Server : VerticleBase() { override fun start(): Future<*> { return vertx.createHttpServer() .requestHandler { req -> req.response() .putHeader("content-type", "text/
新年あけましておめでとうございます。昨年一年は自分の(体重の)成長を実感できて大変残念ですね。この野郎。今年一年は減量の方ももうちょっと頑張ろうな。俺。 というわけでタイトルの話です。既にSphinxドキュメントで「.rst」ファイルが更新されたら、自動的にビルドを走らせる方法は偉大なる先人達の手によってとっくに道が開拓されているのですが、あえてまた開拓したいと思います。というか他の方法を僕がちゃんと理解できなかったので、僕の知ってる一番簡単な方法でやってみました。 先人達の足跡 特にやり方が決まってるいる話ではないので、omakeが好きな人、Makefileだけでやりたい人とかは下記記事が参考になると思います。 OMakeでSphinxドキュメントをビルドする - 偏った言語信者の垂れ流し omake を使わずに、Sphinx ドキュメントの継続的ビルド: Addicted To Ind
HibariというErlangによる分散KVSがあるようです http://hibari.github.com/hibari-doc/hibari-app-developer-guide.ja.html 流行りのEventualConsistencyではなく、高い一貫性を守りつつスケールするという代物です。 インストールする http://hibari.github.com/hibari-doc/hibari-app-developer-guide.ja.html に従っていけばできます。Repoというソフトウェアに依存しています。 比較的新しいErlang環境を要求するところも注意が必要です。 逆に、repoさえあれば $ repo init -u git://github.com/hibari/manifests.git -m hibari-default.xml $ repo syn
PasteScriptは依存モジュール多くて好きじゃないとか、ドットで始まるファイルが使えないとか、virtualenvと相性悪い、もっとシンプルなツールがほしい、などとワガママを言ってたら、 @aodag せんせいがサクっと作ってくれました。 aodag.scaffold 0.2.1 : Python Package Index ヒャッホウ 何ができるの ひな形(テンプレート)からディレクトリとファイルを作成できる scaffoldコマンドのインストール $ pip install aodag.scaffold zipファイルのテンプレートを作る とりあえずhelloworldをやるためテンプレートを作る。ファイル名の末尾が _tmpl になっているものは string.Template で処理される。 hello.py_tmpl print 'hello, $name!' このファイル
非常に色々と応用が利きそうで面白かったので自分用のメモ。 昔の専攻がらみで焼けぼっくいに火が付きそう。 HadoopのMapReduceとPythonとmecabを組み合わせてテキストマイニングの取っ掛かりのお話。 条件としては 分散のHadoop環境が構築できていること データノードでpythonが正常に動くこと データノードにmecabがインストールされていること。 です。 Hadoop構築はHadoopのドキュメントを参照しました。 Hadoopで動くPythonのMapReduce環境はこのblogを参照しました。 mecabはmecabの公式ドキュメントを参照しました。 環境構築の話を書くと長くなるので端折ります。 実行したmapperが以下のスクリプト mapper.py #!/usr/local/bin/python # -*- coding: utf-8 -*- impor
発端 モナドの正体が分かると、 次はモナドを実装してみたくなるものです。 という訳で試しに Python でモナドを実装してみましょう。 別にどんな言語でも構わないのですが、 クロージャや部分適用が簡単に使えない言語では本質的でないところで苦労する羽目になるので、 今回は Python を使うことにしました。 なお、今回作成した Python によるモナドの実装は GitHub で公開中です。 方針 モナドの具体例で一番簡単なものは Maybe でしょう。 まずは Maybe を Python のクラスとして実装して、 そこから一般的なところを括りだして Monad クラスを作ることにしましょう。 モナドの構成要素は以下の3つです: 普通の値をモナドにラップするための型 m普通の値を m にラップするための関数 returnモナドでラップされた普通の値を取り出して処理を行う演算子 >>=
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
なんかgcネタが続いてしまうが、先日のPython Hack-a-thon で発表した中で、「ジェネレータオブジェクトが解放されない場合がある」というのは、あまり知られていないようだ。Python公式ドキュメントを確認してみると、どうやらこちらにも書かれていない。知らないとハマってしまう場合もあるので、もうちょっと詳しく解説しておこう。 ガベージコレクションで解放されないオブジェクト まず、ちょっと復習しておこう。Pythonのガベージコレクション機構では、__del__() メソッドを持ったオブジェクトで循環参照を作ってしまうと、そのオブジェクトは自動的には解放されなくなってしまう。 例えば、次のように __del__() メソッドを持つクラスを定義する。 class UnCollectable: "__del__()メソッド付きクラス" def __del__(self): print
The document discusses the use of Sphinx for documentation generation in various programming environments, particularly with Python. It includes installation instructions, examples of usage, and different output formats like HTML, PDF, and ePub. Additionally, it mentions various Sphinx extensions and tools for enhanced functionality.
Perlのperlbrewってツールが凄く使いやすくて羨ましかったので、Pythonで使えるpythonbrewってツールを作ってみました。 perlbrew? perlbrewとはPerlをバージョン毎にインストールして、それらをswitchして使ったりできるツールのこと。 既存の環境を壊さずに最新のPerlを簡単に試すことができます。 PerlからCPANモジュールまでホームディレクトリ以下に全部インストールしてくれるので、自分専用のPerl環境を構築することができます。 perlbrewの作者の劉康民さんは、本当にすばらしいアイデアの持ち主。 pythonbrewとは 基本的にperlbrewをパクったと同じ思想なツール。 Pythonインタプリタのインストールから、それらの管理まで面倒をみてくれます。 例えば、一からPython2.6.6、2.5.5、2.4.6の環境を構築したいな
いまさらながらに Google App Engine をちょろちょろと触っている。DataStore を対話シェルから使えると便利そうなので、やり方を確立してみた。結論としては次のコードを対話シェル上で実行すれば使えるようになった。(Google App Engine SDK for Python Windows 版 1.4.0 にて確認) import os import sys import tempfile DIR_PATH = r"C:\Program Files\Google\google_appengine" APP_ID = "helloworld" sys.path += [ DIR_PATH, os.path.join(DIR_PATH, 'lib', 'antlr3'), os.path.join(DIR_PATH, 'lib', 'django'), os.path.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く