今どきCPUだけで大丈夫？ビッグデータや人工知能でGPU/FPGAを使う前に知っておきたい“ハード屋”と“ソフト屋”の違い：特集：インフラエンジニアのためのハードウェア活用の道標（3）（1/2 ページ） ソフトウェア技術者の間でもGPUやFPGAに対する興味が高まっている。「ハードウェアの“特質”とは何か」「GPUやFPGAの性能を生かすソフトウェアは、どうあるべきか」＠ITの人気連載「頭脳放談」の筆者に聞いた。 GPUとは、FPGAとは コンピュータは常に、より高速な性能を追い求めることで進化してきた。中でもコンピュータの中核をつかさどるCPU（Central Processing Unit）は、クロック数の向上やマルチコア化、マルチスレッド化によって劇的に処理速度を向上させてきたが、それでもまだ「重たい」処理は残る。ビッグデータ解析や機械学習、ディープラーニング、人工知能（AI）、レイ

JAWS-UG 福岡「ちょっと濃い目にAWSの話をしてみよう」で発表したスライドです。

SQL is the winning language of Big Data. Whether you’re running a classic relational database, a column store (“NewSQL”), or a non-relational storage system (“NoSQL”), a powerful, declarative, SQL-based query language makes the difference. The SQL standard has evolved drastically in the past decades, and so have its commercial and open source implementations. In this fast-paced talk, we’re going t

ギター・ベースアンプや音響機器のツマミには、ゲイン（GAIN）とボリューム（Volume）2種類があります。 どちらも音量を調節するツマミですが、皆さんこの違い分かりますか？ 音は電気信号に変換されるアンプやスピーカーから音楽を聴く際に、空気の振動である音は、電気信号に変換されて機器同士を伝わります。 その電気信号が再び空気の振動に変換され、私たちの耳に伝わるのです。 音波は、真空中では伝播せず、必ず気体・液体・固体のいずれかの媒質を介する必要がある。 音波 – Wikipedia その空気の振動を電気信号に変換するのが、マイクやギターのピックアップなどの役割です。 例えば、マイクで収音された音は、ミキサーを経由し→アンプに入力され→スピーカーから出力され、初めて音として聴き取ることができるのです。 ゲイン（GAIN）ってどんな意味？ ゲインとは日本語にすると利得と言い、電気回路における入

昨日は、qpstudyというITインフラの話題を中心に取り上げる勉強会で、ITインフラ監視の今後について発表してきました。 発表内容について 「ITインフラ監視の今後を考える」と題して、発表しました。 今回は「こうだからこうだよね」という感じではなく、この後に密かに予定されていたグループディスカッションのための種まきをするべく、会場の皆さんと課題を共有する目的でお話ししました。ですので、結論があまりないふわっとした発表のように聞こえた方もいたかもしれません。 会場の中でいろいろお話を聞いていくと、課題に掲げた内容で、いろいろ悩んでいる方が多いのだなという印象を受けました。例えば、今の業務に追われてしまっているのかなと感じる方もいらっしゃいました。 後のグループディスカッションを聞いていると、グループの方々が意図されたかどうかはわかりませんが、投げかけたテーマが織り込まれた状態で議論が繰り広

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

こんにちは、ソウゾウの @ttsuruoka です。 メルカリの子会社ソウゾウでは新規事業に取り組んでいます。今回「メルカリ アッテ」の開発技術について、これまでに得られた知見の一部をお話させていただく機会として atte FeS 【Go・Swift開発編】 を開催しました。 その発表資料を公開いたします。 発表資料 atte 開発の技術：Golang と Google App Engine speakerdeck.com 発表者：@ttsuruoka atte 開発の技術：Swift と RxSwift speakerdeck.com 発表者：@ooba アッテ iOS の設計と開発フローの変遷 speakerdeck.com 発表者：@ishkawa ブログまとめ ご参加いただいた方が、ブログにまとめてくださいました： blog.mogmet.com tech-savvy.hatena

Hadoopが出てきてから10年，ビッグデータという言葉が流行り始めてからでも5年以上が経ち，2016年現在では，Hadoopエコシステムを使ったデータ活用が当たり前のものとしてあります．とはいえ巷に出回っているビッグデータ活用事例というのは，綺麗な上澄みだけをすくい取っていたり，リリースしたてのピカピカのときに発表されていたり，というのが大半で，それが結構個人的に気に食わなかったりします． ビッグデータが当たり前のものになっている現在においては，単に作っただけで価値があるというフェーズは過ぎ去っていて，継続的に運用しながら価値を生み出し続けることが，非常に重要な問題だと思います．特にビッグデータ界隈はミドルウェアやツールの陳腐化が激しく，またビジネス自体の変化速度も過去と比べてどんどん速くなっているわけで，そういった変化に対応していくためには，また別のスキルが必要とされるのではないでしょ

筋肉を増やしてくれる栄養素は様々ありますが、今回ガッテンがおすすめしたいのは、『運動の直後に「たんぱく質」と「糖質」をとる』という方法です。 たんぱく質は筋肉の材料になる物質として知られていますが、なぜ糖質と一緒にとると良いのでしょうか？その秘密は糖質が体内に入ると分泌されるホルモン「インスリン」にあります。 インスリンには体内に入ってきた「糖」を体の様々な細胞に入れる働きがあります。 運動直後に糖質と一緒にたんぱく質をとると、糖質に反応して分泌された「インスリン」が筋肉に糖分が入りやすい状態にしてくれます。この時「糖」と一緒に大量のたんぱく質も筋肉の中に入っていくのです。 運動直後に適度な糖質とたんぱく質をとる方法は、番組で紹介したインドの「筋肉村」の皆さんや様々なアスリートも実践しています。 筋肉を効果的に増やすために、運動した後にとった方がいい糖質の量は以下の通りです。 ※砂糖にする

とりあえずいまのところの理解をまとめておこうかと思います。 ご参考 http://www.infoq.com/presentations/apache-tez http://qconsf.com/system/files/presentation-slides/Apache-Tez-Accelerating-Hadoop-Query-Processing.pdf まず、先のリンク先の動画の冒頭のところで言及されているように、TezそのものはYARNにおける並列処理エンジンについてMapReduceの代替となること意識しているようです。その意味では、Tezを近年にみられるImpalaなどのリアルタイムクエリ系と同列にHiveのパフォーマンスを向上させるものだけであると見るのはあまり妥当ではなさそうです。 また、資料ではStreamingを将来においてサポートすると言っていて、Tezだけででラ

はじめに データ可視化では、データの性質によって概ねどのような可視化ができるのか決まる場合があります。データ可視化は探索的なデータ分析をする場合や、データ分析した結果を誰かに伝えるために重要であり、その時々の目的に合わせた可視化を選択するべきですが、そもそも可視化手法の特性とデータの性質があっていないとあまり効果がない場合があります。筆者が業務においてデータ可視化する際にデータの性質から可視化手法を導く場合の道のりを整理し、チートシートとしてまとめてみました。 もちろん、調べたい・表現したい内容によって自分で自由に選んでもまったく問題無いですが、データを前にして「どうやって可視化しよう？」と悩んでいる方の一助になれば幸いです。 また、この記事では主に一般的な可視化（グラフ）手法にフォーカスしており、イラスト的な要素を含むインフォグラフィックなどについては触れていません。（が、だいたいのデー

関連URL：http://www.slideshare.net/lucidworks/learning-to-rank-in-solr-presented-by-michael-nilsson-diego-ceccarelli-bloomberg-lp

自分の一年と少しという短い研究期間で最も気に入っているプレゼンテーションやブログ記事を何点か挙げる。 全部技術的な発表や記事ではなく、自分の心に深い部分に何かを語りかけたモノを挙げていく。 １．パターン認識と機械学習入門 パターン認識と機械学習入門 タイトルからして「うわ、、数式一杯やだな」と思うかもしれないが、これは人が人生を送るうえでやっていることを、機械学習の世界に絡めたプレゼンテーションである。数式は一切ない。 自分が特に気に入っているのは「みにくいアヒルの子定理」の直観的解説の部分。これは「人は自分の価値基準（＝事前知識orコスト関数と自分は解釈）を用いないと、最適かどうかを判断できなくなる」と自分は解釈している。あなたが人生で何を大切にするのか？を考えないと、現実でも機械学習の世界でも何も判断できないよ、というメッセージが自分の心に刻み込まれた。 2013年6月15日追記： 上

Spark(AWS/EMR)を使ってウィンドウ分析＋比較 spark-shell(scala) vs pyspark(python)JavaPythonScalaAWSSpark はじめに Sparkを触り始めた時のメモを始めに紹介し、そのあとspark-shell(scala) vs pyspark(python)の比較を行った検証について紹介します。 引用元 まず手始めにSparkとはなんぞや？のところはNTTデータ様の情報が分かりやすいかと。 http://www.intellilink.co.jp/article/column/bigdata-kk01.html やること ここから書く内容は引用元に記載されている内容とほぼ変わらないのですが、ローカルインストールは非常にめんどいです。なので、インストールする代わりにEMRを使うと楽にSparkが試せますよというところの紹介です。 実

Apache Sparkについて Apache Software Foundationで最近トップレベルプロジェクトになり5月に最速でバージョン1がリリースされた分散処理基盤のオープンソースプロダクト。 MapReduce on HDFSとことなり繰り返し演算処理の情報をシェアードメモリで共有するため演算速度が爆速とうたわれています。 バッチでしか処理できなかった部分をリアルタイム化、タイムラグを減らすなど今後大きな期待ができるプロジェクトです。 参考他プロジェクト Twitter Stormとか EC2で簡単にクラスタを構築できるスクリプトが用意されています。 こちらの日本語訳をさらっと。変なところがあったらご指摘ください。 Quick StartやEC2での導入ガイドも和訳していますのであわせてご覧ください。 Quick Start http://qiita.com/mychaelst

ここ2〜3日、ず〜っとmecab-ipadic-neologdの辞書をLucene Kuromojiに適用するという作業を延々と繰り替えしていました。 修正されたmecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる http://d.hatena.ne.jp/Kazuhira/20150316/1426520209 が、けっこうな数の手順を踏むので、だんだん面倒になってきました…。 そこで、上記のエントリでやった手順をまとめたbashスクリプトを書きました。ビルド方法もだいたい決まったことですし。 ※完全に同じではありません エラートラップとかは大して入れていませんが、ご了承ください。 実行する前提条件として、以下がインストールされている必要があります。 MeCabをビルドできるソフトウェア（C++コンパイラ、iconv、xz） Git wget

はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。 処理の流れと用語について ソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成 ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得 見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成 データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで