香川大学の学生向けにソフトウェアエンジニアの生存戦略について話をしました - そーだいなるらくがき帳
7/21に香川大学で講演させていただきました。そーだいさんと言えばRDBでしょ！？みたいな感じで先にタイトルが決まった感じですがRDB全然関係ない感じになりました。 僕が超絶リスペクトしてる id:t-wada さんとそこそこリスペクトしてる上司の id:onishi さんの名言を引用させてもらいました。僕はこの2つの言葉が10年戦えるエンジニアの核心をついてると思っています。 つまり 技術は螺旋なので継続的な知識の更新は必須 手を動かす（一歩目を踏み出す）者が未来を作る という2点を踏まえた上でエンジニアにはそれぞれ得手不得手があるわけです。この得手不得手を理解して自分がどのフェーズを戦場として戦うか？って話をしました。この話は前もブログに話をした内容です。 soudai.hatenablog.com そこで僕の経験談としてDBを交えて話をしました。 サービスを作るのが特に好きなタイプで
【重要】Live Dwango Reader/LDR Pocketサービス終了のお知らせ : LDR / LDRポケット 開発日誌
いつもLive Dwango Reader(LDR)をご利用いただき、ありがとうございます。 この度、誠に勝手ながら2017年8月31日をもちまして「Live Dwango Reader」「LDR Pocket」のサービスを終了させていただきます。 日頃より利用いただいております皆様にはご迷惑をおかけすることとなり、誠に申し訳ございません。長らくのご愛顧をいただき、厚くお礼申し上げます。 Live Dwango Readerは、2014年12月よりLINE株式会社が運営しておりましたlivedoor Readerを引き継ぎ、名称を変更して運営を続けて参りました。 しかし、この数年で利用者も大幅に減少しており、サービスとしての役割を終えたと考え、終了という判断に至りました。 ご愛用頂いている利用者の皆さまにはご迷惑をおかけしますが、何卒ご理解頂きたく存じます。 RSSフィードリーダーを引き続
ビットコインの非中央集権性が失われる日 - 西欧の車窓から - Medium
こんばんは、ヨーロピアンです。 夏の悩みの99.9％はロッテのスイカバーで解決されると信じてやまない毎日ですが、皆さんはいかがお過ごしでしょうか。 前回の記事を書いてからまだ日が浅いにも関わらず昨日（7/18）はまた大きな動きがありました。なんとBitcoinCashなるページがいきなり誕生しています。 またしても面白い展開になってきたので是非記事を書いてやらねば！という気持ちがムクムクと湧いてきたところです。 前回の記事はできるだけ広い範囲の方に届けたいという考えもあり、ビットコインの技術要素の詳しくない方が躓かないように理解の難しいキーワード（SegwitやBIP等）をできるだけ避けて記事を構成しました。 今回もその趣旨は変わっていませんが、混み入ったビットコイン政治事情を解説するためにどうしても専門的な用語の数が増えてしまっているのと、正確さを重視するために記事そのものも長くなってい
Embulk and Machine Learning infrastructure
This document summarizes a presentation about using Embulk for machine learning and natural language processing. The presenter introduced themselves and their company, which uses Embulk for tasks like creating machine learning data, executing machine learning on the cloud, and natural language processing. They have developed several Embulk plugins for tasks like morphological analysis, Unicode nor
embulk-filter-copy の紹介 - Qiita
main の Embulk のstdoutと embulk-filter-copy が実行する Embulk のstdout(idカラムが除かれている方) が出力されていることが分かると思います。 このように input 以外の embulk 実行設定を embulk-filter-copy の config に渡すことで embulk-filter-copy に渡ってきたデータを input として embulk を別途起動するプラグインです。 つかいかた なにするやつか でほぼ説明してしまっていますが、 embulk-filter-copy は以下のオプションを持っています。 config: in: を除いた embulk の config を書きます。 これら以外に必要なオプションはありません。 利用に際しての注意点 Java8 EmbulkとJava7 という記事で紹介されています
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop （Cloudera World Tokyo 2014 LT講演資料）
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop （Cloudera World Tokyo 2014 LT講演資料）
CDH | Open Source | Hadoop Stack | Cloudera
CDH Components CDH is Cloudera’s 100% open source platform distribution, including Apache Hadoop and built specifically to meet enterprise demands. CDH delivers everything you need for enterprise use right out of the box. By integrating Hadoop with more than a dozen other critical open source projects, Cloudera has created a functionally advanced system that helps you perform end-to-end Big Data w
Ambari -
Introduction The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs. Ambari enables System Administrators to: Provision a Hadoop Cluster Ambari provides a step-by-step wizard for installing Hadoop ser
KinesisClientLiblary(KCL)におけるLATESTとTRIM_HORIZONの挙動について - Qiita
AWS Kinesis Stream APIで記載されているShard iterator typeのうち、KCL(Kinesis Client Liblary)に標準で用意されているのは LATEST と TRIM_HORIZON ですが、これの挙動について気になる点があったので調査してみました。途中の訳文は適当です。 原義では （原文）LATEST - Start reading just after the most recent record in the shard, so that you always read the most recent data in the shard. （訳）LATEST - シャード内の最新レコードの直後から読み取りを開始します。なのでシャード内の最新のデータを常に読みます。 となっています。 実際の挙動としてはKCLはまずDynamoDBにアプリ
fluentdでKinesis Streamsに送ってLambdaで読んでS3に保存する - sambaiz-net
aws-fluent-plugin-kinesisでKinesis Streamsに送り、Lambdaで読んでS3に保存する。 要するにFirehoseのようなことをやりたいのだけれどTokyoリージョンにまだ来ないので自分でやる。 fluentdで送る try_flush_intervalとqueued_chunk_flush_intervalはドキュメントには載っていないが、 以下のページによるとそれぞれqueueに次のchunkがないときとあるときのflushする間隔。 いずれもデフォルトは1だが、これを減らすことでもっと頻繁に吐き出されるようになるらしい。 Fluentd の out_forward と BufferedOutput あとシャードに振り分けるためのpartition_key を指定できる。デフォルトはランダム。 <source> @type tail path /v
Cloudcraft – Draw AWS diagrams
Automatically create AWS and Azure architecture diagrams in secondsTry Cloudcraft FreeRequest a Demo Whether you’re building a cloud architecture from scratch, documenting your current environment, or looking to optimize cloud cost, Cloudcraft allows you to visualize and communicate your architecture with ease. Build diagrams from scratchCreate a professional architecture diagram in minutes with a
BigQuery and Dataproc shine in independent big data platform comparison | Google Cloud Blog
I'm a big fan of Mark Litwintschik's latest series of blog posts. He's been measuring every big data platform he can find using the billion taxi trips made available as open data by the NYC TLC. Spoiler alert: I love the stellar results for Google BigQuery and Google Cloud Dataproc — but before we get there, here’s my visualization of Mark’s findings in a nutshell: ">I'm a big fa
筑波大学大学院 募集要項
2024年09月12日 令和6年8月実施大学院入学試験の合格発表について 2024年08月23日 修士課程相当を経て、教師になった者に対する奨学金返還支援について 2024年08月02日 （重要）令和7年度大学院入学試験（8月実施）受験者心得を公開しました。 本学試験場での受験用（8月実施） オンラインでの受験用（8月実施） 2024年07月18日 令和6年7月実施大学院入学試験の合格発表について 2024年04月01日 （重要）筑波大学大学院入試におけるTOEFL iBT テスト、TOEFL iBT Home Edition について 2023年05月17日 TOEICデジタル公式認定証について 2023年04月01日 新たな入試情報）2023年7月実施に「2023年10月入学者の選抜」を導入します 2021年11月25日 博士後期課程相当の学生を対象とした経済支援を掲載しました 202
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop / Spark Conference Japan%2520AND%2520status%2520%253D%2520Open%2520AND%2520labels%2520%253D%2520newbie%2520AND%2520assignee%2520in%2520(EMPTY))
Issue Navigator - ASF JIRA
HowToContribute - Hadoop Wiki
GitHub - localstack/localstack: 💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline
Data Analytics | Google Cloud Blog
Tech Blog