第10回 データ処理の最適化 | gihyo.jp
はじめに 前回は、これまで説明してきたアルゴリズムの性能を定量的に見積り、比較しました。今回は、これらの性能見積りを用いて行うデータ処理（問い合わせ）の最適化方法について説明します。 データ処理（問い合わせ）の最適化 第4回で述べたように、HadoopのSQL処理系であるHiveをはじめとし、ImpalaやPrestoなどの宣言型言語を用いるデータ処理系においては、利用者は何を（What）処理してほしいかを処理系に指示するのみであり、どのように（How）処理をしてほしいかは指定しません。すなわち、当該処理系においては、どのように処理をするかは処理系自体が決める必要があり、与えられた問い合わせ（クエリ）を最も良いと思われる方法で処理します。このように、問い合わせにおいて最良と思われるデータ処理の方法を見つけることを「（問い合わせ）最適化」と呼びます。 最適化においては、問い合わせを実行す
イベントループなしでのハイパフォーマンス – C10K問題へのGoの回答 | POSTD
この投稿は、私が去年OSCONで行ったプレゼンテーションを基に作成しています。プレゼンよりは簡潔に編集し直し、プレゼン後にいただいたいくつかのフィードバックに応える形で記事を書いています。 Go言語に関してよく言われるのは、Go言語はサーバでうまく機能し、静的なバイナリや強力な並行処理、高いパフォーマンスを見せくれるということです。 この投稿では、その後半の2つの項目に関して焦点を当てます。プログラマとってGo言語とそのランタイムは、スケーラブルなネットワークサーバをスレッド管理やブロッキングI/Oを気にせずに書くのにどんなに有効かを説明していきます。 効率的なプログラミング言語に関しての議論 技術的な話に入る前に、Go言語をターゲットにしたマーケットを説明する2つの議論に関してお話したいと思います。 ムーアの法則 画像は以下より引用； 2005年5月にHerb Sutter氏が書いたDr
画像を描画する-HTML5編
画像を描画する命令drawImage() まずcanvasに画像を描画するdrawImage()の使い方を３通り見ておきましょう。 context.drawImage(画像,X1,Y1) 画像を指定座標に描画する X1は画像を描画するX座標,Y1は描画するY座標 context.drawImage(画像,X1,Y1,W1,H1) 画像を指定した座標に、幅と高さも指定して描画する W1は画像を描画する際の幅、H1は描画する際の高さ context.drawImage(画像,X0,Y0,W0,H0,X1,Y1,W1,H1) 元画像の一部分を切り抜いてcanvasに描画する X0,Y0は切り抜く元画像の座標、W0,H0は切り抜く画像の幅と高さ 今回描画する元画像は649×433ピクセルの下のものです。この画像を3通りの方法でcanvasに描画していきます。 元画像を切り抜いてcanvasに描画す
俺も エクストリームプログラミング入門
17. 木下史彦 株式会社永和システムマネジメント アジャ イル事業部 事業部長。 2005年頃からエ クストリーム・プログラミングを開発現場 で実践。2010年には「価値創造契約」を 提唱し、ソフトウェア受託開発の新しい形 を示した。 ソフトウェアの利用者への《共 感》と《アジャイルなプロセス》と《妥協 のないエンジニアリング》をもって、お客 さまに価値を提供し続けることを目指して いる。 Web日記 : http://fkino.net 21. XPエクストリーム・プログラミング実行計画 Planning Extreme Programming Kent Beck, Martin Fowler (October 26, 2000) Foreword by Tom DeMarco XPエクストリーム・プログラミング検証編 Extreme Programming Examined Gian
詳細PDF入門 ー 実装して学ぼう！PDFファイルの構造とその書き方読み方 - プログラムモグモグ
PDFのファイル構造を理解すると、テキストエディタでも直接PDFファイルを作ることができるようになります。このエントリーではPDFファイルの基礎要素を説明し、簡単なPDFファイルを例にしてファイル構造を説明します。更に、テキストを渡すとPDFファイルを吐いてくれる簡単なプログラムや、PDFを読み込んで簡単な解析をするプログラムを書いてみます。 目次 目次 まえがき オブジェクト 間接参照 ファイル構造 Hello, world! ヘッダ トレーラ 相互参照テーブル 本体 PDFを生成するプログラム 日本語の扱い方 日本語を含むPDFを生成するプログラム グラフィックス PDFを読むプログラム あとがき まえがき 1990年代前半、アドビシステムズは、どのプラットフォームやデバイスでも文書を確実に表示・共有できることを目的としてPDFファイルフォーマットを開発しました。 PDFの表示ソフト
2015年9月9日 重複排除をライブに実行!? 最新ファイルシステム「HAMMER2」が絶賛ウォーミングアップ中 | gihyo.jp
Linux Daily Topics 2015年9月9日重複排除をライブに実行!? 最新ファイルシステム「HAMMER2」が絶賛ウォーミングアップ中 今回はLinuxのトピックではないが、Linuxユーザにとっても関心の高い“重複排除（deduplication）”を利用できるファイルシステム「HAMMER」について紹介したい。 HAMMERはFreeBSDのフォークOSのひとつ「DragonFly BSD」に実装されているファイルシステムだ。1ファイルシステムあたりの最大サイズは1エクサバイトで、最大256ボリューム、1ファイルあたり最大4ペタバイトまで扱うことが可能だ。また、クラッシュしても即時回復が可能で、その際、fsckを必要としない点も大きな特徴となっている。ブロック単位の重複排除機能も備えており、限られたリソースでもバックアップ環境を構築しやすい。 このHAMMERはしばし
データで読むドルトムント。カギ握る香川とフンメルスの“関係性”。新システムの狙いとは？
順位 チーム名 勝点 勝 引 敗 1 Vissel Kobe 68 20 8 8 2 Sanfrecce Hiroshima 65 18 11 7 3 Machida Zelvia 63 18 9 9 4 Gamba Osaka 60 16 12 8 5 Kashima Antlers 58 16 10 9 6 Tokyo Verdy 55 14 13 9 7 Cerezo Osaka 52 13 13 10 8 FC Tokyo 51 14 9 13 9 Nagoya Grampus Eight 47 14 5 17 10 Avispa Fukuoka 47 11 14 11 11 Urawa Red Diamonds 46 12 10 13 12 Yokohama F.Marinos 46 13 7 15 13 Kawasaki Frontale 45 11 12 12 14 Shon
【書評】PHPはどのように動くのか〜PHPコアから読み解く仕組みと定石〜 - GoTheDistance
技術評論社の傅様よりご恵贈頂きました。いつもありがとうございます。 PHPはどのように動くのか ?PHPコアから読み解く仕組みと定石 作者: 蒋池東龍出版社/メーカー: 技術評論社発売日: 2015/09/17メディア: Kindle版この商品を含むブログを見る PHPの文法の解説ではなく、PHP4以降のコアとなっているZend Engineの解説書です。技術評論社でしか世に出せない一冊ではないでしょうか。 PHPコアとは何か PHPは御存知の通り、インタプリタ型の言語です。PHPスクリプトを字句解析→構文解析を行い、「オペコード(opcode)」にコンパイルして、PHPの実行エンジン(Zend Engine)に食わせて実行します。このオペコードがどのように生成され、実行されているのか。割り当てた変数や関数のメモリはどう管理されているかを実行エンジンレベルで読み解いていくことで、PHPで書
サイボウズ・ラボを退職しました（ご挨拶） - 竹迫の近況報告
2015年8月末をもって竹迫はサイボウズ・ラボ株式会社を退職いたしました。勤続年数は長く9年10ヶ月でした。 在職中は様々な活動を通して多くの皆様よりご指導ご鞭撻をいただきまして誠にありがとうございました。 まだまだ未熟だった私もサイボウズの中では多くのことを学びまして、自分自身も人間として大きく成長することができました。 サイボウズ・ラボの設立背景（10年前） 思い起こせば、私がサイボウズ・ラボに入社したのは2005年11月で、当時はまだラボを設立したばかりの立ち上げ期の頃でした。 リージャス赤坂のレンタルオフィスの一室を借りて、畑さん、akkyさん、kazuhoさんと4人で机を並べて、仕事を開始したのは良い思い出です。 それまでのサイボウズは関西人のノリでダジャレのキャンペーンをよく実施していたためか、どちらかというと宣伝やマーケティングにうまい会社と思われており、なかなか技術の会社と
冬のLock free祭り safe
19. What is Blocking? コアが増えるほどに問題が顕著に！ 早くしろよ… 早くしろよ… 早くしろよ… 早くしろよ… 早くしろよ… 早くしろよ… 早くしろよ… 早くしろよ… 早くしろよ… クリティカルセク ション
データ構造と情報検索と言語処理勉強会 #DSIRNLP 07 (2015/04/29 13:00〜)
新機能 バウチャーによるイベント管理機能をリリースしました。協賛企業の社員や関係者のイベント参加を円滑にすることに活用いただけます。詳しくはヘルプページをご覧ください。 新機能 connpass APIに新しく、所属グループを取得できるAPIやユーザーの参加イベントAPIを追加しました。各APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。またAPI利用希望の方は connpassのAPI利用について をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。
ウェイトフリー性の証明について - くまメモ
気が向いたら書くと言ってしまったので忘れないうちに書く。 飢餓状態とは スレッドAが操作xを試みる スレッドBが操作yを試みる スレッドCが操作zを試みる という状況の時に、このアルゴリズムがLock-Freeである場合。すなわちスケジューラがどうスケジュールしても少なくともどれか1つのスレッドの操作が成功してしまう事が避けられない場合であってもスケジューラは特定のスレッドの操作だけを意図的に妨害する事は可能であることが多い。 例えば前回の記事のLock-Free Stackを例に話すと スレッドAがCAS（α→β）を試みようとする スケジューラがスレッドBのCASが成功するようスケジューリング 1〜2を繰り返し こうすれば理論上スケジューラはスレッドAに無限クロックのCPUを食わせながらも、無限にスレッドAのCASを成功させない事が可能だ。 このような状況の事をStarvation(飢餓
日本OR学会 （社）日本オペレーションズ・リサーチ学会
オペレーションズ・リサーチは困っていることを科学的に解決するための問題解決学です. 日本オペレーションズ・リサーチ学会は，オペレーションズ・リサーチに関する情報交換や発表を行っているコミュニティです．
符号化文字集合と文字符号化方式 - 「プログラマのための文字コード技術入門」を読んだ - $shibayu36->blog;
最近文字コード周りでハマった時に、文字コードというものをそもそもちゃんと分かってないと気づいた。そこで「プログラマのための文字コード技術入門」を読んで勉強してみた。 プログラマのための文字コード技術入門 (WEB+DB PRESS plus) (WEB+DB PRESS plusシリーズ) 作者:矢野 啓介技術評論社Amazon この本はコンピュータにおける文字について体系的にまとめてくれている。ASCIIやLatin1、UTF-8やUnicodeについて、どういう分類で何のために使われているかを知ることができる。また、歴史も合わせて教えてくれるので、今現状起こっている問題(円マークとバックスラッシュ問題とか)がどういう経緯で起こってしまったのかなどを理解できる。 簡単な文章で書かれているので、一度でも文字コードに関係することでハマったことのある人なら、どんどん読めると思う。ただ、符号化文
リレーショナルデータベースの仕組み (1/3) | POSTD
リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば「リレーショナルデータベース 仕組み」などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術（ビッグデータ、NoSQL、JavaScriptなど）を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを
初心者でもアルゴリズムが学べる・身につく書籍とサイト一覧 - paiza times
Photo by Anders Sandberg こんにちは、谷口です。 皆さんは、アルゴリズムの勉強はどのようにしていますか？ 情報系の学部出身の方は授業で勉強したことがあるかもしれませんが、文系の方や、プログラミングの業務経験のない方は、「そういえばちゃんと勉強したことない」という方も多いかと思います。（私もかつてそうでした……） アルゴリズムとは、「問題を解くための手順を定式化した形で表現したもの」のことです。例えば、複数のデータを並べ替えるソートの方法として、バブルソートやヒープソートといったアルゴリズムがあるということは、アルゴリズムをきちんと勉強したことがなくても、知っている方は多いかと思います。 仕様書の通りにコーディングをしていくだけの業務であれば、アルゴリズムを勉強する必要はないかもしれません。さらに前述のようなソート等に関しては、多くの場合既に関数が用意されており、アル
GoFの23のデザインパターンを，Javaで活用するための一覧表 （パターンごとの要約コメント付き） - 主に言語とシステム開発に関して
GoFデザインパターンの一覧表と，活用のためのコメント，および入門者が独学するためのリンク集（サンプルコード付き）。 入門者の独学を支援するために，このページのURLを提示して熟読させ，各パターンを短時間で効率よく学んでもらう。 デザインパターンはプログラマの常識だ。 Java使いかどうかは問わない。 にも関わらず，入門書を買ったまま，途中で挫折する人が多い。 挫折の原因は，パターンの数が23もあって，多いからだろう。 全パターンをすんなり覚えてもらうためには，各パターンごとに 「要するにこういう目的のパターンなんだ。」 「10文字で表現すると，パターンの意味はこうなんだ。」 という要点・本質を，短いコメントで伝えれば助けになるだろう。 こういった学習を通して，Java言語の「設計思想」も併せて感じ取ってゆけるはず。 全パターンの一覧表（要約コメント付き） 全パターンについて，10文字以内
FF4J - Feature Flipping 4 JAVA
Toggle Features Enable. and disable features at runtime - no deployment. Implement multiple paths in your code with predicates evaluated dynamically (if/then/else). Role-based Toggling Enable features not only with flag values but also drive access with roles and groups (Canary Release). Different frameworks supported starting by Spring Security. Strategy-based Toggling Implement custom predicates
Electronでデスクトップアプリを簡単構築
アジャイル開発に取り組むチーム向けのコーチングや、技術顧問、認定スクラムマスター研修などの各種トレーニングを提供しています。ぜひお気軽にご相談ください（初回相談無料） 全国5000人のエンジニアをやめて寿司職人になろうと思っているみなさんこんばんは。 前回までスライド共有用のアプリケーションを趣味(リハビリ)で作っていたのですが、折角なのでデスクトップクライアントも作ってみました。 構築にはElectronを使ったのですが、結構簡単にできたので記録としてまとめておきます。 Electronって何？GitHubが開発するクロスプラットフォームで動作するアプリケーションを開発するためのフレームワーク。コードの記述はHTML5とNode.js。その範囲であれば既存のWeb開発技術が使いまわせる。例えばjQueryとかAngularなんかを使うのも可能Chromeブラウザのオープンソース版のChr
Gyaim
Gyaim MacOS用の日本語入力システム by Toshiyuki Masui Gyaim.dmg ダウンロード ソース @ GitHub 特徴 GyaimはMacOS用の日本語入力システム(IME)です。 1000行程度のRubyで記述されており、改変が比較的簡単です。 プログラムのソースと辞書データがすべて公開されています。 時刻入力/画像入力/秘密文字列入力 など変な機能があります。 単語登録が簡単です。 Catalinaで動作を確認しています。それ以前のMacOSでは動かないかもしれません インストール Gyaim.dmgをダウンロードして展開し、 Gyaim.appを~/Library/Input Methodsにコピーします。 ターミナルを利用する場合は cp -r /Volumes/Gyaim/Gyaim.app ~/Library/'Input Methods' として
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
インターンシップで機械学習を使ったWebアプリを作りました！ | Tech-Sketch
今回TISのインターンシップに参加した、修士1年の杉山です。 3月25日から31日まで平日5日間のインターンシップを体験し、機械学習を使ったWebアプリを開発しました！！ Instagramにアップロードされた写真からユーザの性別推定を行うWebアプリの開発 私自身が写真を撮ることが好きで、かつ機械学習に興味があったということが開発の動機です。 Instagramを見ていたら、「女性は人物が写っている写真が多く、男性は食べ物の写真が多い」と直感的に感じ、SNSに投稿されている写真から性別を推定できるのでは？と考えました。 その仮説をもとにしてWebアプリの開発を進めました。 Instagramからユーザの写真（20枚/ユーザ）を取得し、写真に写っている内容物をタグとして出力することができるAlchemyAPIを用いてInstagramの写真を認識させて、ユーザごとに特徴ベクトルを計算しまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラエンジニアの綺麗で優しい手順書の書き方
6年前のCore 2 Duoマシンを今風な快速マシンに大改造（後編） ～World of Warshipsを快適に！～
Kumazaki Hiroki
FIT2015 第14回情報科学技術フォーラム
FIT2015 第14回情報科学技術フォーラム
Sparkコミュニティに飛び込もう！（Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔）
グローバルIPをcurlで確認 - Qiita