その名を知られた不良少女・竜崎レイナと、真面目で普通な男子学生・田中学は出会った瞬間マンガのような一目ぼれに。 チェーンに釘バットしか知らない少女、レイナは初めての恋に大慌て! ガンガンJOKERとの同時連載です!
その名を知られた不良少女・竜崎レイナと、真面目で普通な男子学生・田中学は出会った瞬間マンガのような一目ぼれに。 チェーンに釘バットしか知らない少女、レイナは初めての恋に大慌て! ガンガンJOKERとの同時連載です!
前回2014年11月のランキングでは「京」は第2位だったのですが、ドイツのフランクフルトで開催中のHPC(ハイパフォーマンス・コンピューティング:高性能計算技術)に関する国際会議「ISC2015」で7月13日(日本時間7月14日)に発表されたGraph500ランキングでなんと1位を奪還したことが判明しました。 スーパーコンピュータ「京」がGraph500で世界第1位を奪還 | 理化学研究所 http://www.riken.jp/pr/topics/2015/20150714_1/ 今回Graph500の測定に使われたのは「京」が持つ8万8128台のノードのうち、8万2944台となっており、約1兆個の頂点を持ち16兆個の枝から成るプログラムスケールの大規模グラフに対する幅優先探索問題を0.45秒で解くことに成功した、とのことです。 1位から10位は順に以下のようになっています。 順位システ
Amazon Redshift データベースデベロッパーガイドにようこそ。このガイドでは、Amazon Redshift を使用してデータウェアハウスを作成および管理する方法を理解することに重点を置いています。このガイドは、データベースに対して設計者、ソフトウェア開発者、または管理者として作業する方を対象として、データウェアハウスの設計、構築、クエリ、および保守に必要となる情報を示しています。 Amazon Redshift は、 クラウド内でのフルマネージド型、ペタバイト規模のデータウェアハウスサービスです。Amazon Redshift Serverless を使用すると、プロビジョニングされたデータウェアハウスの通常の設定がなくても、データにアクセスして分析することができます。リソースは自動的にプロビジョニングされて、データウェアハウス容量はインテリジェントにスケーリングされ、要求が
概要 DDL(Data Definition Language)とは、コンピュータで用いられる人工言語の分類の一つで、データを格納するための構造を定義するための言語。通常はSQLの一部の命令語のグループを指す。 データベースの構造や構成を定義するために用いられるものが多く、単にDDLといった場合には、リレーショナルデータベース(RDB)の制御に用いられる問い合わせ言語の標準、SQL(Structured Query Language)の一部の命令群を指すことが多い。 SQLにおけるDDLには、データベースやテーブル、ビューなどの作成を行うCREATE文や、これらを削除するDROP文、これらの設定や構成に変更を加えるALTER文、テーブル中のデータを全削除するTRUNCATE文が含まれる。 これに対し、定義されたデータ構造中の個々のデータを操作する言語を「DML」(Data Manipula
2015/02/15 書き直しました!サーセン! 安すぎて今までその考えはなかったわwww さて、BigQueryの課金について。 今まで1テーブルあたりのデータ量も数十GBレベル、レコード数も億に届くかどうかぐらいのデータなんでクソクエリ回したところで1回1円未満とかそんなだったので、あんまり気にしなかった。(まぁ、使い始めた頃は5倍ぐらいの値段だったので気にするレベルだったのですが) あと、GoogleAnalyticsPremiumも入っているし、毎月$500が免除されるためもっと気にしてなかった。w でも、普通に契約するとお金がかかるわけで。なので、ちょっと考えてみましたと。 そもそもどこに課金されるんだっけ? BigQueryの課金は主に3つあります。 入れているデータ量(ストレージ) StreamingInsert使っている場合はその行数 クエリするデータ量 詳しくはこちらに書
はじめに Twitterを見ているとなぜかいつもすぐ埋まるhbstudyに空きがでているとのこと。 ということで急遽申込をして行ってきました。 2時間、 Google Computing Platform(GCP)どっぷりでした。 GoogleのKazunori Sato さんがとても面白くわかりやすく説明してくれました。この話を聞いた後に、実はこの方がブログに書いている内容がほぼ講演内容だったということがわかりましたので、こちらより引用しつつ話を進めます。 注意点としては、クラスメソッドに入社してからAWS原理主義者になりつつある私のバイアスがかかっているかもしれません。 ちなみにgmailヘビーユーザーではありますが、GCPにはログインしたこともないので、そりゃ違うだろというところもあるかもしれません。随時訂正しますので御指摘ください。あ、あと$500のスタートアップクーポンをくれる親
この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。MapReduceとBigQueryを比べると、MapReduceが巨大なデータを安定的に処理できるプログラミングモデルであることに対し、BigQueryはアドホックにトライ&エラーしながらクエリを実行するサービスであることが異なっている。 MapReduceは、非構造化データを、プログラミングモデルを通して扱うことができ、巨大なテーブルの結合や巨大な出力結果のエクスポートも可能である半面、処理時
最近、趣味で検索エンジンみたいなの作ってるし、仕事でも大規模データを扱う話が増えてきた。初心者向け分散処理勉強会なんてのも有志で立ち上げて色々勉強中。 さて、ちょっと前にClouderaがImpalaなるものを出した。Googleが2010年に発表したDremelというシステムに関する論文にインスパイアされて作ったらしい。 勉強会のネタにもなるし、まずはDremelの論文を読んで分かる範囲で説明して、その後Impalaのアーキテクチャについて調べてみる。 (間違い等があればご指摘頂けると助かります) Dremel論文 ポイント 大雑把にまとめちゃうと、ポイントは2つ。 列指向のデータ構造(= Columnar storage: Chapter 4, Figure 3) 木構造のサーバー群によるクエリー実行(= Multi-level serving tree: Chapter 6) 前者の
まだ入門もしてないので「ことはじめ」じゃないです。 大体触ってみたのを載せます。 Wikipedia 集計 サンプルデータのwikipediaを集計してみました。 データは3億行ほどあり、サイズは36GBほどあります。 今回は、contributor_usernameを集計し、wikipediaに貢献している人ランキングをつくりました。 上位陣はbotさん達ですね。 結果としては、3億行のデータを、 何も考えずに書いて 16.2秒で集計することが出来ました。 3億行を16秒。 countしなければ3秒くらいで終わります。 MapReduceみたいなのを一切書いてないのにこの速度。 ちなみにテーブルはインデックスしているわけではなく毎回フルスキャンしているらしい。 わお。 データ保管: \$0.026/GB/mo クエリ: $5/TB (スキャンしたデータのサイズで課金) 今回のwikipe
この記事について 株式会社うるるでは、2014年からTreasure DataとAWS S3に運営サービスのアクセスログを流し込んでいます。今回はアクセスログをS3からBigQueryに流し込み、サービス退会者の動向を探ってみました。 BigQueryを採用した理由 BigQueryとはGoogleが提供するビッグデータのストレージサービスです。RDBMSのような体裁を持っているため、クエリを発行してログを検索することが可能です。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita アクセスログを外部サービスに流し込むとき、既にFluentdを利用するのがディファクトスタンダード。Fluentdのbigqueryプラグインを使えば、オンタイムでBigQueryにアクセスログを流し込む事ができます。 fluent-pl
Tokyo Otaku Modeでは、メール配信や広告配信ログ、ユーザーアクションログなどをRedshiftに保存しています。そこから集計を行い、A/Bテストの判定に利用したり、社内管理ツールで結果を出力してマーケティングに活用したりしています。 Redshiftについては、「Amazon Redshiftではじめるビッグデータ処理入門」に詳しいので、そちらをご参照ください。 TOMがビッグデータを処理するソリューションとしてRedshiftを採用した大きな理由のひとつに、PostgreSQL互換のインターフェースが用意されている点があります。クライアントとしてpsql, JDBC, ODBCなど汎用的で枯れたものが利用できるので、システムの連携をとるのがとても簡単です(Node.jsの場合はnode-postgresなどが利用できます)。また、SQLがそのまま使え、学習コストが低い点もメ
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
(募集はダミーデータです) (参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。) Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc
昨日に引き続き、いざ!part2なのだ。 前回では node.js と v8 の結びつきまでを書いたので、今日は Non-Blocking I/O の話を。 Non-Blocking I/O という言葉からブロックしない I/O をイメージするのはたやすい。でもこれを実現しようとなるといろいろとまあ面倒くさいんだよね。 それを解決する常套手段で言うとファイルディスクリプタ(ネットワークならソケットだね)を開いてそれをselectシステムコールの監視対象に加えておき、selectを呼び出すことで監視するっていう方法がある。こうすると何が嬉しいのかファイルディスクリプタが2つある場合で考えてみよう。 まずAとBというファイルディスクリプタを監視対象とする。 selectシステムコールを呼び出し、そのどちらかが読み出し準備完了となっていないかを確認する。 もしどっちも準備できていなかったらプロセ
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)(「ICANNがレジストラとして認定した企業」一覧(InterNIC提供)内に「Japan」の記載があるもの)を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
libevは非同期処理を扱うライブラリでnode.jsなどでも使用されている。 もともとUnix系にはselect()というファイルディスクリプタを扱う非同期処理があったが、これは監視できるファイルディスクリプタの数に制限があった。その後に制限のないpoll()が開発され、さらにLinuxではpoll()を高速化したepoll()が開発され、BSDではKQUEUEが開発された。そしてこれらの違いを吸収するためにlibevというライブラリが開発された。 インストール
【説明】 Apacheのベンチマークテストを行う際に使用します。 ApacheBench(abコマンド)は、Apacheに標準で付属しているベンチマークソフトです。リクエスト数や同時接続数を実行時のオプションとして指定できるため、用途に応じた負荷を再現することができます。しかし、評価の対象になるWebコンテンツは単一URLでしか指定できません。実際の Webコンテンツは、画像やドキュメントなどの静的要素やCGI、SSIなどを使った動的要素などが混在しています。システム全体の性能評価を行うには、各URLを実際の使用頻度に即した割合で参照させるなどの細工が必要です。 【構文】 ab [オプション] [ URL] 例 同時発行数を10リクエストで、1000回のアクセスを実行します。
Fluentd meetup in Japan. I talked about "Dive into Fluent plugin". Some contents are outdated. See this slide: http://www.slideshare.net/repeatedly/dive-into-fluentd-plugin-v012Read less
今回のゲストは、分散バージョン管理システムGitのメンテナで『入門Git』(注1)の著者、濱野純さんです。Linuxカーネルの開発者、Linus Torvaldsさんから引き継いでGitのメンテナになった経緯から、対談スタートです。 (撮影:武田康宏) Gitに関わった経緯 弾:Gitに関わったきっかけは? 濱:2005年の4月にLinuxカーネルのバージョン管理システムとして使われていたBitKeeperが使えなくなる[2]からということで、Linus君がいろいろありものを探したんだけど、使えるものがなくて、誰かがいいのを作ってくれるまでのつなぎというつもりで、とりあえず自分でもコードを書いた、というアナウンスをしました。それをカーネルメーリングリスト(ML)で見ていたんですが、たまたまボクの本業がプロジェクトとプロジェクトの合間だったんです。なんかおもしろそうなこと始まってるじゃん、
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
高可用性(こうかようせい、英: High Availability; ハイ・アベイラビリティ、HA)は可用性が高いことを示すIT用語。システムなどにおいて、サービス提供が出来なくなる事態の発生頻度が少ないことを指す。また、そのようなシステムをHA構成などと呼称する。システム的には冗長化構成を組んでいたり、バックアップ手段の確立、災害対策システムを講じることでHAを実現させる。IT業界においてはほぼクラスタリングあるいはクラスタサーバと同義で使用される用語。 HAの概念としては先にあげた「高い可用性を誇ること」であり、それを実現させたシステムをHA構成あるいはHAサーバ、HAクラスターなどと呼称する。HAを実現するための手段としてはいくつかの方式が考えられるが、基本的にはシステム的な二重化がなされている構成のものをHA構成と呼ぶ事が一般的である。
出典:日経コンピュータ 2012年6月7日号 pp.102-103 (記事は執筆時の情報に基づいており、現在では異なる場合があります) Hadoopの高速性をひも解くとき、分散ファイルシステム「HDFS」の存在は欠かせない。MapReduceと協調して行う“ローカル処理”は、バッチ処理の高速化に向くアーキテクチャーだ。そんなHDFSにも、BIツールなどが使いづらいという課題がある。HDFSの代替製品をHadoopに組み込む動きは、その解決を目指すものだ。 「HDFS(Hadoop Distributed File System)」は、その名の通り分散バッチ処理ソフト「Apache Hadoop」向けのファイルシステムだ。ファイルを分割して複数のディスクで管理、大量データ処理のスループットを引き上げる。最近になり、HDFSの課題を解決しようと、代替製品をHadoopに組み込む例が増えてきた。
E. Nakai @enakai00 IBMに転職した直後はRedbookには相当世話になりました。知識と経験で圧倒的にまわりに負けている危機感でとにかに読みまくった。http://t.co/X4WGcPW7KH E. Nakai @enakai00 当時はAIX(RS6000)担当だったので、AIX(RS6000)の情報なんてこれしか無かった。で、気づいたら、まわりからredbook読んでるんですね―、すごいですねー、と言われてコケた。 E. Nakai @enakai00 もう一個、IBMの面接で、「うちはTOEICの点数もとめられるからな」と言われて、その後3ヶ月ぐらい、生活の空き時間の全てをTOEICの勉強にかけた。当時の戦略は「800点達成本」的な問題集に出てる問題が暗記でもなんでもいいから全部解けるようにしようと思った。
UNIX系OSのシステムロギングをおよそ20年の長きにわたって支えてきた「syslogd」にも、限界が見えつつあります。その限界を打ち破る機能を備えた新しいシスログデーモンを紹介します。(編集部) シスログデーモン「syslogd」は、UNIX系OSのシステムロギングをおよそ20年の長きにわたり支えてきました。しかし、増大する信頼性や安全性への要求、ログの適正保管といった要望に応えるには、syslogdでは力不足との声が高まっています。 そんな折、システムロギングをより確実に行い、RDBMSへのデータ保存や監視システムの連携といった可用性にも優れた、「syslog-ng」や「rsyslog」が注目を集めています。この連載では、こうした次世代シスログデーモンを取り上げ、導入方法や活用方法を解説します。 システムロギングとsyslogd 実行したイベントの履歴、システム不調や変更の記録、不正ア
概要 1. システムログとは 2. ログの検査 3. 主なシステムログファイルの種類 4. ログファイルのローテーション 5. ログの出力 1. システムログとは システムログとは、デーモンなどが出力するシステムの動作記録のことを言います。 ログにはデーモンが処理した内容や、ユーザーが操作した内容などが記録されています。 システムに不具合が生じた場合や、セキュリティ障害などが起こった場合には、その原因究明と解決にログが重要な役割を果たします。 2. ログの検査 ログを調べることにより、システムの利用状況や異常がないかを確認することができます。 Linuxシステムの主なログファイルは/var/log以下に出力されます。 $ cd /var/log $ ls -al total 540 drwxr-xr-x. 3 root root 4096 Oct 11 14:35 . drwxr-xr-x
syslogdによって記録されるログは、システムの運用・管理のための重要な手掛かりとなる。しかし、各環境固有の事情に合っていなければ、ログを取得する意味はない。syslogdやlogrotateの設定方法をマスターし、必要な情報を選別できるようにしよう。(編集局) 管理者にとって、サーバの正常性の確認とトラブルシューティングは、設定変更と同じかそれ以上に重要な作業です。それらの作業を行う際に役立つのが、各アプリケーションやOSが出力するログです。 一般的に、常にログを監視するという業務はあり得ないでしょう。何も起こらなければ退屈以外の何物でもなく、ログを監視していても異常かどうかは即座に判断できないことが多いかと思います。ログを確認するタイミングとしては、システムに何かが起こった場合あるいはこれから何か起こる可能性がある場合が考えられます。それ以外はログを見ないという管理者もいるでしょう。
{"serverDuration": 35, "requestCorrelationId": "b45a8231fbaabbfb"}
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネット(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 ※1 日本のドメイン登録業者(レジストラ)(「ICANNがレジストラとして認定した企業」一覧(InterNIC提供)内に「Japan」の記載があるもの)を対象。 ※1 レジストラ「GMO Internet, Inc. d/b/a Onamae.com」のシェア値を集計。 ※1 2020年8月時点の調査。
「社内政治は本当にキツい。マイクロソフトもすごいらしいですが、それに負けないくらいすごい」 「そもそも要求が無茶なんです。まずジョブズの思いつきから始まるわけです」 数々のヒット商品を生み出してきたアップル。世間では創業者の故スティーブ・ジョブズを、神様のように畏敬の念をもって崇める人々も多い。 だが、実際のアップルの現場では、多くの優秀な人材を集め、優れた製品やサービスを生み出すために、キレイごとだけでは済まされない、“超過酷な”社内政治やジョブズから出される“不可能に近い”要求に、社員は絶えずさらされているのだ。 アップルのスマートでクリエイティブなイメージの裏には、どんな姿が隠されているのか? 4月に発売され、IT業界のみならず多くのビジネスマンの間で好評を博している『僕がアップルで学んだこと』(アスキー新書)(http://www.amazon.co.jp/dp/404886539
Apple Store店員→米Appleでジョブズと仕事→Evernoteへ。ある日本人デザイナーの立志伝【特集:New Order】 2014/04/30公開 1986生まれ、米シアトル育ちの日本人。シラキュース大学で約1年間エンジニアリングを学んだ後、日本の上智大学へ。在学中からApple Store銀座で働き、ある日iPhone/iPad各種のハードウエア開発をしていたマイケル・ローゼンブラットと出会ったことから、2000年代後半に渡米して米Apple本社へ勤務。New Technologies TeamやiPod UI Design Teamなどを経験した後、2013年8月からEvernoteにジョイン プログラミングやUIデザインの実務経験は皆無。Apple Store銀座で働いていた若者が、のちに米Appleで故スティーブ・ジョブズともミーティングを共にするチームで仕事をするこ
「エンジニアは技術力がすべて」iPhoneを開発するApple日本人エンジニアが語る、キャリアの作り方 by TechPeople編集部 · 2015年2月13日 日 本企業から米国のスタートアップ、そしてAppleへ。藤野栄二氏は、日米で数々のIT企業を渡り歩いてきたハードウェアエンジニアだ。「遊びが好き、ア メリカで働きたい」――。そんなシンプルなビジョンのもと、エンジニアとしての腕を頼りにキャリアを切り開いてきた。今回はそんな藤野氏にAppleでの 仕事内容、これまでのキャリアについて聞いた。 “熱湯風呂”のようなApple ――現在はどんなお仕事をしていますか? Appleで「RF DESIGN」という肩書きで働いています。iPhoneの無線の設計を担当しています。 ――Appleでの働き方を教えてください。 みんな9時には出勤して、少なくとも18時までは働いています。やるべき仕事
世界トップクラスのイノベーション企業、Google。とびきり優秀なエンジニアを採用し、自由な発想で新たなサービスを生み出し続けることで知られている。西浦一貴氏は、そんなGoogleで働くソフトウェアエンジニア。東京大学在学中にベンチャー企業でのアルバイトでエンジニアとして働き、その後Google JapanやFacebook本社でのインターンを経て、Google本社に入社した。「誰もがプログラミングをできる世界をつくりたい」と将来の夢を語る西浦氏に、Googleという世界的企業での仕事、入社までの経緯、今後のビジョンなどについて聞いた。 Googleサンフランシスコオフィスで働く、唯一の日本人エンジニア ――現在Googleでどんな仕事をしていますか? 「Google Wallet」というモバイル向け決済サービスのチームで開発をしています。決済サービスは人々の生活になくてはならない影響力の
株式会社パソナが提供するオウンドメディアサイトです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く