はてなブックマーク

はじめに おっと、またまた会いましたね。文字コードおじさんです。前回、Unicodeにおける結合文字列という話題を取り上げました。思わず「いやあ、結合文字列は強敵でしたね」と口走りそうになる代物でしたが、今回はそれに関連したUnicode正規化のお話をしてみようと思います。 ざっと前回のおさらい 詳しいことは前回の記事をご覧いただくとして、 最低限の用語についてざっくりおさらいしておきましょう 結合文字列 複数の文字を使って見かけ上の1文字を表現する仕組み 「て（U+3066）」 の後に、 「濁点（U+3099）」 を配置することによって 「で」 を表現する 合成済み文字 「で（U+3067）」などのあらかじめ合成されている文字 Unicode正規化 結合文字列を合成済みに統一したり、合成済み文字を結合文字列にしたりする処理 少々語弊がありますが、イメージがつかめればOKです。 正規化の4

ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか

ご無沙汰しております。システム開発部の potter です。 Jubatus のバースト検知を使ってみた話以来となるので久々の投稿となります。 最近運用チームから開発チームに異動したのですが、Scala を使うプロジェクトがありそうということでその勉強を始めました。 今回はそんな Scala 歴 2 週間足らずの私が人生で初めて書いた Scala プログラムを晒してしまおうという、ちょっぴり M な香りのする企画となります。 （ただし晒しているのは Scala の先輩であるシステム開発部の uraura 先生にいくつかアドバイスを頂いて修正したプログラムになります。Special tanks to uraura!! ） 作成したプログラムの内容 単純パーセプトロンによる識別精度を n-fold cross validation により評価するプログラムを作成しました。1 続きを読む Sca

みなさまこんにちは。池内です。 Redis 3.0.0 から正式な機能として盛り込まれたRedis Clusterの構築と基本的な動作について紹介します。 ※ 期せずして本日 LINEさんの事例 LINEの100億超/日メッセージを支えるRedis・HBaseのスケールアウト・アップ戦略（A-5） #linedevday – Togetterまとめ が話題になっていますが、合計48TBものメモリサイズで運用しているようです。凄いですね。 Redis Cluster とは 疑似的なマルチマスタ構成 複数ノードでデータをシャーディングできる スレーブ構成を採用すれば耐障害性の向上も可能 概ね上記のような内容です。マルチマスタを「疑似的」としているのは、実際にデータが各ノードに伝播しているわけではないからです。Redis Clusterは、あるレコードをどのノードに保存するかを把握しておき、ノー

はじめに 先日の Mahout Project からのアナウンス “Goodbye MapReduce” にもあるとおり、今後の大規模データ処理の基盤として Apache Spark がここ最近注目されています。 そんな今熱いプロダクトである Spark に関して、その上で動く機械学習ライブラリ MLlib の K-means 実装を わけあって Java から利用してみる機会があったので、その使い方や特性を簡単にまとめてみました。 MLlib の K-means 実装について 現時点 (バージョン 0.9.1) での K-means 実装について、簡単に説明します。 距離計算は「ユークリッド距離」しか提供されていません。 KMeans#findClosest() → MLUtils.fsuaredDistance() のあたりを読むと分かるかと思います。 Spark の JIRA を見て

ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか

はじめに さる 1/17（金）に開催された CROSS 2014 の「機械学習 CROSS」にパネラーとして登壇し、マーケティング分野における機械学習の活用状況について語ってきました。このエントリでは、同セッションで語ったことを整理し、また語りきれなかったディスカッショントピックについて、わりと個人的な想いを綴っています。 なお、セッション中のツイートは 機械学習CROSSまとめ こちらにまとめられていますので、あわせてご覧いただけると幸いです。 また、セッションオーナーの PFI 比戸さんや、パネラーとして同席された FFRI 村上さん、CROSS のセッションレポーターによるレポート記事が各種ブログ・メディアに掲載されています。 機械学習CROSSをオーガナイズしました 機械学習時代がやってくる――いいソフトウェアとマルウェアの違いは？ 「機械学習CROSS」レポート 他のパネラーのご

はじめに さる 1/17（金）に開催された CROSS 2014 の「機械学習 CROSS」にパネラーとして登壇し、マーケティング分野における機械学習の活用状況について語ってきました。このエントリでは、同セッションで語ったことを整理し、また語りきれなかったディスカッショントピックについて、わりと個人的な想いを綴っています。 なお、セッション中のツイートは 機械学習CROSSまとめ こちらにまとめられていますので、あわせてご覧いただけると幸いです。 また、セッションオーナーの PFI 比戸さんや、パネラーとして同席された FFRI 村上さん、CROSS のセッションレポーターによるレポート記事が各種ブログ・メディアに掲載されています。 機械学習CROSSをオーガナイズしました 機械学習時代がやってくる――いいソフトウェアとマルウェアの違いは？ 「機械学習CROSS」レポート 他のパネラーのご