Bigqueryはしばらく前から、AVROフォーマットでデータをエクスポートできるようになっています。 AVROフォーマットは、Apacheプロジェクトの一つとして開発されているシリアライズフォーマットで、以下の様な特徴を持ちます。 バイナリフォーマットでとてもコンパクト 型情報を持ったスキーマがある、スキーマはJSONで定義する JSONの様に入れ子が可能 null可かどうかをスキーマで表現可能 シリアライズして出力した後でも別のスキーマに変更できる 恐らく一番大きな特徴は型付きでバイナリにシリアライズしているのに、後からカラムを追加したり削除して読み出すことができる点です。 スキーマ情報はファイル内に埋め込まれていますが、別途定義したものと組み合わせて読み出すことができ、後からデフォルト値を追加したりできるようになっています。 また、Hadoopから直接データを読み出せるライブラリが揃

年の差20歳以上――。これは、日本のインターネット・IT業界を驚かせる人事といえるだろう。1月4日付でDMM.com社長に就任することが内定した片桐孝憲氏（34）はDMMグループの実質的なナンバーツーとなり、これまで創業者の亀山敬司氏（55）が担当していたインターネット関連事業を引き継ぐことになった。 DMM.comは年明けを目途に持ち株会社制に移行し、現会長の亀山氏はDMMグループ全体の会長、現社長の松栄立也氏は持株会社の社長に就任する。持株会社の下にネット事業のDMM.comやFX、VRシアターなどの事業会社を配し、片桐氏はインターネット事業を展開するDMM.comの代表取締役社長になる。 なお亀山氏が直接決済する「亀チョク」と呼ばれる新規事業部門は、今後も亀山氏が統括する予定だ。 テクノロジー企業への飛躍を目指す DMMは石川県加賀市のビデオレンタル店からスタート。ビデオの通販やネッ

12月1日より、日本人で唯一のRailsコミッター兼Rubyコミッターの松田明氏が株式会社GA technologiesの技術顧問に就任しました。 就任にあたり当社若手エンジニアとともにインタビューをしたので、その模様をアップします！（もう少し短くまとめたかったのですが、お話が面白かったのでほぼ丸々載せちゃいます） ── ご自身でも不動産投資をやられているとのことですが、不動産テックに対して興味や、当社顧問として取り組みたいことはありますか？ やれることは無限にあると思ってまして、この業界ってとにかくシステム化が遅れてますよね。 僕自身、2〜3年前の大江戸Ruby会議04っていうRubyのカンファレンスの講演で自分で家を建てた経験を無理やりRubyのプログラミングの話に結びつけて喋ったことがあって(Hacking Home)、そのころから不動産テックには興味はありました。 そのとき話したの

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。情報システム本部の伊藤（@koh110）です。 社内システムの開発、運用を担当しています。 弊社は10月に本社を東京ミッドタウンからガーデンテラス紀尾井町へ移転しました。 情報システム本部では本社移転に合わせ4つの社内システムをリリースしました。 今日はこちらのシステムについて紹介をさせていただこうと思います。 社内位置情報システム（pozzy） このシステムは社内のWi-Fiにつながっている端末を検出し、人の位置情報を検索できるようにします。 ヤフーでは全社員にPCとiPhoneを貸与しています。これらの端末は各端末に発行された証明書によって社内のWi-Fiに自動で接続されるように設定されています。 この情報を利用し

この記事は Supership株式会社 Advent Calendar 2016 - Qiita の1日目の記事になります。遅くなりました。 Supership CTO室室長 @yamaz です。 ビビりなエンジニアが大企業を辞めて起業した話を書きます。 スケールアウトを立ち上げる前、私はヤフージャパンに務めていた。 当時私は結構な給与をもらっており、かつそこそこの立場におり、かつ仕事も面白く、普通なら辞めないような立場だった。 だけど思うところがあり、会社を辞めその後会社を作ることになった。今回はそのあたりの話をしようと思う。今から10年ほど前の話だ。 きっかけ きっかけは上司からの命令だった。 「Adsense作って。2人で」 なんとなくそれっぽいものを作ったものの、エンジニアとしての自分に疑問を持つ結果となった。 AdSenseのすばらしさとのギャップ AdSenseはすごいプロダク

現在、人工知能（AI）、ロボット、IoT（モノのインターネット）などのテクノロジーが急速に発展している――。今後これらのテクノロジーは、徐々に人間の仕事を置き換えていくと考えられている。昨年、野村総合研究所が「10～20年後、日本の労働人口の約半分がAIやロボットで代替される」との研究結果を発表し、オペレーター職や事務職などがなくなる可能性を指摘していた。 では、テクノロジーが社会を大きく変えたとしても、日本のビジネスパーソンが職を失うことなく活躍し続けるには、何が必要なのか。リクルートワークス研究所が2030年の日本の労働市場をシミュレーションし、結果をふまえて「新しい働き方」を提示した。

【シリコンバレー=兼松雄一郎】米アマゾン・ドット・コムは5日、来年初頭にコンビニエンスストアに進出すると発表した。センサーやカメラを駆使し、来店客が何を購入したかを人工知能（AI）が認識。来店客は商品を持ってそのまま待ち時間なしに退店できる。会計はアマゾンの口座から自動で引き落とされる仕組み。技術を生かして会計時の煩わしさをなくすことで付加価値を生み出し、実店舗業態へ攻勢をかける。アマゾンの本

こんにちは。ぼへみあです。 先日は、新たな情報財検討委員会という、国のAIに対する方針を話し合う委員会の傍聴の募集があったので、応募してみたら当たったので、 霞ヶ関まで行ってきました。 新たな情報財検討委員会の開催について ゴジラの対策会議が開かれてそうな会議室でした。 検討委員会の概要 この会議は人工知能の中でも特に、ディープラーニングを背景とした機械学習を用いた、産業界での利用が大きく期待出来る「弱いAI」について、国としてどういった方針をとるのかを取りまとめる委員会です。僕が参加したのは、第２回目でした。第１回の内容についてはこちらに資料がまとまっています。 第二回で話し合われた論点のうち、気になったものをまとめました。 人工知能は人間と同じ法律で判断してもいいのか？ まず、意見が割れていたのは、進歩が早すぎる人工知能に対して、どう国として対応すべきなのか、ということです。 既存の著

Serverless(2)アドベントカレンダーの3日目ですが、ちょうどre:Inventで公開されたCodeBuildで何かやりたいなーと思いLambda(python2.7)のデプロイフローを構築してみました。 CodeBuildとは これまで、AWSには下記の開発フロー支援系ツールがリリースされています。 CodeCommit ... gitのリポジトリ管理 CodePipeline ... CIサービス、GithubやCodeCommitと連携しつつ CodeDeploy ... コードのデプロイ支援サービス。 先日のre:inventではこちらに加えてCodeBuildという製品が新たに登場しました。 これは簡単に言えばマネージドなビルドサーバだと思っていただければわかりやすいかと思います。 それまではCodePipelineが受けとったコードの更新イベントからCircleCI等の

概要 aws s3コマンドの並列転送処理、マルチパートの処理を設定でコントロールできるようになった。 S3コマンドの自動並列処理 AWS CLIでは、aws s3から始まる高レベルのコマンドがあり、S3のオブジェクトの操作が便利になっています。 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html この中では、ワイルドカードを指定する、もしくはsyncコマンドで、複数ファイル処理が行えます。 これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます) 並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のフ