【資料公開】Cloudera World Tokyo 2016 で登壇しました。 - astamuse Lab
こんにちは。アスタミューゼ開発・インフラ部の福田です。 11月8日に開催された Cloudera World Tokyo 2016 にて登壇させていただきました。 こちらが、当日の資料になります。 セッションについて 『HBaseで実現する大量の特許文書データを扱うためのアーキテクチャとベストプラクティス』 というタイトルで、 アスタミューゼでの取り組みのほんの一部ではありますが、astamuse.comで公開している 大量の特許文書データとその周辺を、Hadoop、HBaseの使用事例としてお話させていただきました。 今回、このような貴重な機会を下さったCloudera社の皆様、セッションを聴きに来て下さった皆様に心から感謝しております。 ありがとうございました。 Special Thanks To イラストを使用させていただいたいらすとやさん 最後にスライドのお化粧をしてくださったア
もう待てない、Spark2.0の導入と実践 - astamuse Lab
こんにちは、福田です。 すっかり秋らしくなり、過ごしやすくなりました。皆様いかがお過ごしでしょうか。 前回は、コンパクトで高速な大規模キーワード辞書の実装について書きました。 今回は、先月末（9/29)にリリースされたCDH向けのSpark2.0 β版のセットアップです。 最先端の開発環境を手にすべく、立ち上がります。 Spark2.0の魅力 Whole stage code generationによるSQL、DataFrameライブラリの大幅なパフォーマンス向上（2-10倍) ML（機械学習）ライブラリの改善・充実（RDDベースからDataFrameベースに） DataSet APIの導入によるさらなる型安全性 その他、SQL2003 準拠の関数サポート、ネイティブでのCSVサポートなど、嬉しいアップデートが目白押しです。 ※詳しくはリリースノート参照 Spark Release 2.0
クラウドにあるステージング環境のシステムコスト大幅削減を進めている話 - astamuse Lab
こんにちは。並河(@namikawa)です。 このブログは持ち回り制にしているのですが、前回分でメンバーが一通り書き終えましたので、今日から2巡目になります。早いなぁ。 幸いにしてエキサイティングな毎日なので、ブログに書くようなネタはたくさんある(真顔)のですが、一緒に開発・デザインしてくれるメンバーが早くたくさん来てほしいと思う今日この頃です。 さて、今回の私のエントリは、タイトルの通り、弊社で持っているサービス群のステージング環境のシステムコストの削減を進めている話をします。 ・・・本当は、弊社オフィスのある銀座近郊の美味しいラーメン屋を紹介するエントリとか書きたいんですけど、技術ブログという名目でありながら前回のエントリも技術っぽくない内容だったのと、おまえ会社のブログで何書いてるんだと上から怒られそうなので、ちゃんと真面目に(技術の話を)書こうかな、とw (冗談です。怒られません。
広告費用を自動取得し100時間分の作業をなくす話 - astamuse Lab
初めまして、こんにちは。白木と申します。デザイナーです。 普段は開発・デザイン部の管理やマーケティング部門との橋渡しをしています。業務ではMTGの時間がもっとも多く、隙間でコード書いたりデザインしてます。 今日は弊社のマーケティング部門の作業を一部自動化したお話をします。 本稿は背景・経緯・設計・実装についてお話しますので、実装だけに興味ある方は少しスクロールして「STEP4. さぁ、実装だ！ 」あたりからお読みいただくとよいかと思います。 Webマーケティングの作業はとても手間がかかる みなさんご存知のとおり、Webサービスの運用はWebマーケティング、とりわけリスティングなどの広告とは無縁でいられません。依然としてSEOも強力な手法ですが、短期的に数字を重ねるならやはり広告が王道です。 弊社でもGoogle、Yahooをはじめとしたさまざまな広告を使っており、これらを機動的・効果的に運
理解しやすいcssアーキテクチャにするためのtips - astamuse Lab
こんにちは、主にフロントエンド周りを担当させて頂いているSと申します。 いきなりですが「良いcss」とは何でしょうか。 validなcss tableを避けてdivやulで擬似的に表現するcss cssで表現できる事はcssで表現しているcss（svg,data URI,animationの利用） postcssなど最新の技術を取り入れているcss styleguideを作成しているcss 確かにこれらは「良いcss」ですが、それだけでは足りません。 「良いcss」は「良いアーキテクチャ」である事が必要です。 幸運な事に私たちには、oocss,smacss,bemなどの素晴らしいアーキテクチャがありますが、単純にこれらを利用するだけでは「良いアーキテクチャ」にはなりません。 「良いアーキテクチャ」にするためには 理解しやすい 探しやすい 修正しやすい という3つの"-able"が必要なので
1,100万文書×480万キーワード。コンパクト且つ高速な辞書マッチングのはなし - astamuse Lab
はじめまして。開発・インフラ部、福田です。 分散処理環境、ミドルウェアの整備と運用、ELT/ETL、R&D、雑用を担当しています。 舞台裏から眺めるAstamuse.com Astamuse.comは、イノベーションを起こすあなたの為のサイトです。そこでは国内約1,100万件の特許文書を誰もが見やすい形で見ることもできます。また、約480万のキーワードを収録し、キーワード経由の訪問は全体の約4割を占めています。 技術ページにはキーワードのリンクがちりばめられ、綺羅星のごとく旅人をやさしく見守っています。 アスタミューゼでは、Hadoopクラスタを運用しており、HBaseをはじめ、YARN上でのMapReduceやSparkなどを使い、語彙の抽出、XML文書の解析・変換、ドキュメントのインデクシング、画像の変換などを行っています。 これらのデータ処理において、私たちはスループットを重視してい
「未来」というざっくりとしたコンセプトを、具体的な企画に落とし込んだ時の話 - astamuse Lab
あ、どうも。 アスタミューゼ株式会社でastamuse.comとかastaid.comとか、 プラットフォーム事業のディレクションや広報をやってる波多野と申します。 このたびnamikawaさんから「定期的にゲストに寄稿して欲しいから、なんか書いてよ」と言われまして。 超絶ブロガー、クラウドを愛しクラウドに愛された男、と弊社開発部において数々の異名を持つハイパーインフラクリエイターnamikawaさんの依頼とあっては断る理由がありません。 今回は開発やデザインの話ではなく、 2年前に、astamuse.comを大幅リニューアルした時の、コンセプトとか企画のプロセスについて書きます。 ※ちなみに、僕が参画する前に一度大幅なリニューアルしてるんですが、その時の話は松元さんが書いてるこちらをどーぞ。 ある日、社長が「コンセプトをがっつり変えるよーん」と宣言した。 2014年3月に、経営陣＋数人が
採用サイトがリニューアルするのかどうか、という瀬戸際の話 - astamuse Lab
ぶちょう）技術ブログの開設、そして採用サイトのリニューアルをやります みんな）ほう…（ざわ…ざわ……） ぶちょう）ブログ担当はこの3人（超絶ブロガーにして開発者@namikawaさん、お姉さんぽいデザイナーMatsumotoさん、先生っぽいフロントエンドエンジニアkitoさん）です！よろしくお願いします！ 3人）がってん承知！ ぶちょう）で、採用サイト担当はオマエら（お腹の具合が悪いフロントエンドエンジニアS、無気力デザイナーkrt）な。あとは頼んだで S・krt）えーーー krt）2人？ブログチームは（ちゃんとした人が）3人いる S）そうすね（興味なさそう） ぶちょう）うん、わかった、もう１人追加しましょうね（心配だし）。じゃあ（お父さんぽい開発者@axtstart）Tさん、お願いね Tさん）御意 そんなやり取りがあったのか、なかったのか、astamuse採用サイトのリニューアルを担当す
デザイナー視点で見るサービス開発の舞台裏 - astamuse Lab
アスタミューゼデザイン部のMatsumotoです。 自社サービスastamuse.comとastaIDのビジュアルデザインを担当しています。 私のエントリでは、デザイナーによるエンジニアとはちょっと違う視点で見たサービス開発の話や、デザインに関するあらゆる情報を、今後お伝えしていきたいと思います。 技術ブログに期待して見に来てくれた方ごめんなさい。来週からエンジニアのエントリ始まりますので、お楽しみに！ 本日は、デザイン部の初回エントリなので、アスタミューゼのサービスやデザイナーの仕事を知ってもらい、なんとなくデザイナーの業務内容がイメージできるような記事を書いてみました。 デザイナーは日々何をやっているのか、何にこだわってデザインしているのか、全面リニューアルした2013年当時のastamuse.comの制作を振り返りながら、現在のサービス運用方法、今後の改善点などまとめてみました。 目
企業向けエンジニアブログの作り方 - astamuse Lab
皆様こんにちは。アスタミューゼという会社でエンジニア業をしています並河 (@namikawa) と申します。 弊社も、昨今の流行りにのっとり、会社で技術ブログをはじめることにしました。 本エントリのタイトルにはわかりやすく "エンジニアブログ" と書きましたが、このブログでは、 astamuse.com をはじめとした弊社のWebサービスを作っている関係者(エンジニア、デザイナー、たまにディレクターや責任者など)が定期的に、Webサービスや技術に関して、最近やっていること・興味のあることを、持ち回りで取り上げます。 このブログを通じて、アスタミューゼという会社の事や、サービス開発の現場の雰囲気が少しでも伝わればいいなと思います。 私個人としては、自分の個人ブログは10年以上続けているし、前職では会社のエンジニアブログがあったので寄稿もしましたが、そういえば企業ブログの運営はしたことがありま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
