ゼロから始めるDagster・すぐに使える実践ガイド
はじめに 本ドキュメントは、Dagsterのシステムコンセプトについて基本的な内容を要約・再整理した、Dagster導入のガイドです。 Dagsterの概念は、データオーケストレーションに特化されているところから独特のコンセプトを用いているところがあります。そのため、特に難しく重要な内容を要約し、理解の助けにするところを目指しました。また、公式ドキュメントの構成も十分に整理されていない部分もあり私なりに再構成してあります。用途に応じ目次を参照しつつ拾い読みしながらご活用いただけると幸いです。 Dagsterのシステム概要 以下は公式から引用したDagsterのシステム概要図です。Dagsterのサービス(Long-runnning services) とサービスから生成される Job(Ephemeral Process) の関係を示します。 図にはk8s(Kubernetes)とありますが
Aptana
Register now for Axway Summit 2024 and get energized to accelerate your digital transformation. Learn More Aptana Studio 3 is an open-source web development IDE, and while we are no longer actively maintaining the repository, it is still open-source and public so if you wish to download Aptana Studio 3 you can do so on GitHub.
Python で Xcode のビルドスクリプトを書く方法
以前こんな記事を書きましたが、今回はもっと実践的なお話。PythonでXcodeのビルドスクリプトを書いてハッピーになろうというお話です。 ■なぜXcodeのビルドスクリプトを書くのか Xcodeのビルド機能だけでは出来ないことをやりたいからです。たとえば、特定のディレクトリの中に入っているリソースを、ビルド時にアプリにパッケージングしたい。ビルドする前に、特定のリソースを暗号化して、アプリにパッケージングしたい。といった要望が結構ありますが、これらはビルドスクリプトを使えば簡単に可能になります。 手でいちいちやるより楽で安全ですね。 ■なぜPythonか 理由はいくつかあります。Windows, Mac, Linux, 全ての環境で動く。したがって、万が一のときにはビルドスクリプトだけを移植できる。sh とか csh とか非力すぎてやってらんない。 zsh もつかえるけど Python
Python入門者に贈る16の鍵 « python練習帳
このエントリーは、Python入門者と、Python入門予備軍の方を対象としています。 どうしてPythonやるの？ Pythonって覚えやすい言語なんです。といっても、それなりに使いこなせるようになるには、数十時間程度はかかるわけです。なんとなく・・で勉強するなら、やらないほうがましです。ちゃんと、自分なりの目標を設定してから勉強しましょう。私の目標は、2011年中に、Pythonで日本国内でそこそこ有名になることです。そこそこでいいです。pythonでぐぐって10番ぐらいに表示されれば満足です。それぐらい有名になったら、来年はPythonで仕事しつつ、他のこと勉強してると思います。 実は世界的にはPHPより人気がある Pythonは、Java、C、C++に次いで人気のある言語です。決してマイナー言語ではありません。 2011年2月のランキング GoogleAppEngineで使える ク
Google提供の python ライブラリで Google Reader API を使ってみた
Google のサービスと連携するには Google Data API を使う。Googleが公式にサポートしているので、とても安心して使える。RSS リーダーとしてよく使われている Google Reader 用のAPI も。。。は、まだ公式には無い。 まぁ、色々な人が解析しており、GoogleReaderAPIのページが、詳細にまとまっている。 なので、Google 提供の python ライブラリで、Google Reader API を叩いてみた ただ、サンプルを書いたあとで、pyrfeed内にGoogleReader 用のライブラリが含まれていたのに気付いたので、そっちを使うのがいいのかも。 インストール MacPorts を使っているので、さくっとインストール。 % sudo port install py27-gdata そうでないならば、gdata-python-clien
Ubuntu(on VMWare)にApache2.2、MySQL5.0、PHP5.2.6、Python2.6をインストールしたときのメモ - Cheese Pie
全てソースからインストールした。 まずはApache2.2のソースを落としてconfigure。 $ tar zxvf httpd-2.2.10.tar.gz $ cd httpd-2.2.10 $ sudo ./configure --prefix=/usr/local/apache2 --with-mpm=worker --enable-module=so --enable-rewrite=shared --enable-ssl=shared --enable-dav=sharedうっ、いきなりエラーが。 Cコンパイラが無い・・・ なのでapt-getでインストール。 $ sudo apt-get install build-essentialなぜかaptがCD-ROMを見に行ってるみたいでエラーになったので、設定ファイルを編集。 $ sudo vi /etc/apt/source.l
【無料】GAE使ってみない？【無広告】 « python練習帳
みなさん、Google App Engineって聞いたことありますか？ あっ、それしってる。Google Docsとかでしょ？って思った方。惜しいけど違います。 Google App Engineとは、Googleが運営している宇宙最強のデータセンタを、一定量まで無料で使える仕組みなのです。 ほんとに無料なの？ Google App Engineを使って無料でサイトを立ち上げる方法にもありますが、無料割り当て分(Free Quota)だけで、かなりの規模のサイトを運営できます。1日の通信量が1GBまでなら基本的にお金はかかりません。100kB/pvとして、1日1万PVまで無料です。個人運営のサイトなら、たいていは無料利用分で足りるのではないでしょうか。 プログラム必要なんでしょ？ Google App Engineを使って無料でサイトを立ち上げる方法の方法を使えば、プログラムを一切書かずに
CoffeeScript
☕ CoffeeScript CoffeeScript is a little language that compiles into JavaScript. Think of it as JavaScript's less ostentatious kid brother — the same genes, roughly the same height, but a different sense of style. Apart from a handful of bonus goodies, statements in CoffeeScript correspond one-to-one with their equivalent in JavaScript, it's just another way of saying it. Disclaimer: CoffeeScript i
Pythonでゲーム作りますが何か？ - 人工知能に関する断創録
このサイトでは、プログラミング言語Pythonと Pythonのゲーム用ライブラリPygameを用いてゲーム制作の過程やテクニックをまとめています。主に自分の知識の整理に使うつもりですが、これからPythonを学んでゲームを作ってみようという方の参考になれば幸いです。 Pygameは知らなくても大丈夫ですが、Pythonの基本は知っていることを前提にしています。 Pythonで書いたプログラムはWindowsでもMacでもLinuxでも動きます。 ソースコードの著作権を主張することはないので自由に使ってください。 記事下方にあるナビゲーションはほとんど役に立ちません。このページを起点としてリンク先へ、読んだら戻るといった使い方が楽だと思います。 NEW! 全ソースコードをGitHubのリポジトリとして公開しました。右下のDownload ZIPからまとめてダウンロードできます（2014/9
scipyを使ってPageRankを爆速計算する - SELECT * FROM life;
PythonPython用の科学技術演算用ライブラリとして有名なscipyに含まれている疎行列の計算用のモジュールを使ったPageRank計算用のモジュールを書きました。https://github.com/taka84u9/u9library/blob/master/link_analyser.py僕の研究室にある計算用サーバで動かしたところ、ノード数130万強のグラフに対しても30回の反復に対して約35秒程度で完了しました。詳しい使い方はdoctestとREADMEを参照してください。u9libraryには今後個人的に研究目的で作成したモジュールを順次追加していく予定です。関連エントリPageRankアルゴリズムの大規模実装における注意事項 - SELECT * FROM life;
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Torishima / INTP on X: "これは私が実際に複数の Python 製ソフトウェアを Windows / Linux 両対応でポータブル化した際に苦心して得た大変貴重な知見＆持論情報ですが、 ・PyInstaller はマルウェアに使われ過ぎたせいでウイルス判定されやすいが、yt-dlp がやっている (https://t.co/PjfYtERhX6) ように自前ビルドの…"
Google Code Archive - Long-term storage for Google Code Project Hosting.
Home | djangoproject.jp