Scala関西 Summit 2017で公開された資料へのリンク集 - Qiita
Scala関西 Summit 2017 で公開されました資料の一覧ですー。 ※Twitterで拾えた分だけですので、他にもありましたら、追記したいので教えていただけると嬉しいですー。 セプテーニ・オリジナルホール Non-Functional Programming in Scala - 竹添 直樹 Scala and Akka apps on Kubernetes in ChatWork - 林 大介(hayasshi) 実践ScalaでDDD - 辻 陽平 ストリーム処理ことはじめ ～ Akka Streams - にしかわささき Not Found グラフを知って理解するAkka Stream - kamijin_fanta Reladomo in Scala - 伊藤博志/瀬良和弘 「Scale with Scala」の道程 - 松坂 高嗣 Not Found Scala on
BigDL + Apache Spark on EMR 5.8 でお手軽分散学習 - Obey Your MATHEMATICS.
こんにちは。例のごとく久しぶりの投稿になってしまいました。 前回投稿からいろいろな事がありました。 db analytics showcase Sapporo 2017 で講演してきたり ベイズ統計の数理と深層学習 @db analytics showcase Sapporo 2017 from Takeshi Yoneda www.slideshare.net 雑誌に激エモポエムを寄稿したり YANSに参加してきたり gunosiru.gunosy.co.jp テキストアナリティクス・シンポジウム で発表してきたり data.gunosy.io もう少しで新卒で入社して半年が過ぎるわけですが、今振り返ると本当に刺激的な日々でした。近いうちに書籍の執筆もするっぽいです。 この調子で突っ走りたいと思います。 さて、前置きはこれくらいにして今日の題材は BigDL + Spark on EMR
プロキシとの戦いに疲れたのでgoで透過プロキシを作ってみた - Qiita
背景 Qiitaのproxyタグを見てもわかるように、多くのエンジニアがプロキシサーバとの戦いで日々消耗し続けている。とはいえ、主にセキュリティ上の理由でプロキシサーバの利用は必要なことも分かる。 となると、プロキシサーバを意識しなくても(設定しなくても)自動的にプロキシサーバを経由してくれるようになればうれしいよね？ これは透過プロキシと言って昔からある考え方で、QiitaにもProxy環境下での仮想GW構築というすばらしい記事がある。 しかし、上記記事では透過プロキシにredsocks、DNSサーバにpdsndと複数のツールを組み合わせて実現されており、それぞれインストールや設定するのが個人的には面倒というのと、記事中で述べられているとおり、プロキシ経由で53/tcpに接続できない場合に対応できないという制約もあった。 というわけで、今回go言語の勉強も兼ねて自分好みの透過プロキシを自
Handling Multiple Kubernetes Clusters Using kubesh
This does mean I have two google accounts: One for work, and one for my private needs. And I have multiple clusters in each. For the longest time (while cumbersome) re-authenticating myself and letting gcloud store Application Default Credentials in ~/.config/gcloud/application_default_credentials.json and have my kubeconfig updated via gcloud container clusters get-credentials from time to time d
DMM APIの使い方まとめ ～登録方法から、データの取得まで～
こんにちは。スケベなエンジニアのDAIです。ここ最近、DMMにR18のAPIが存在することを聞き、Pythonでエッチなコードを書いてみようかと考えています。小学生の頃にエロ本を探しに行く感覚を思い出しますね。作りたいものは以下の通り。 「新人」とついたタイトルのAVをDMM APIから自動取得 XML・JSON形式でタイトル、画像、アフィリエイト付き動画URLを取得 Tweepyで画像・アフィリエイトコード付きのツイートを投稿（今回は省略） 一連の流れをすべて自動化する(今回は省略) ということで、DMM APIの登録方法と、データの取得方法について解説していきたいと思います。 DMM Web APIで取得できるデータ DMMには以下のAPIが存在し、これらの情報をとることができます。 商品情報API ・・・ DMM.com の商品の情報を取得することが可能なAPI です。 女優検索AP
RubyKaigi 2017の記録 - joker1007’s diary
先日、広島で開催されたRubyKaigi 2017に行ってきました。 相変わらず各トークのテクニカル度合いが異常にハイレベルで刺激的なカンファレンスでした。 最近、静的解析やRubyと型の関係がホットトピックであることもあり、ripperやparser gem等のRubyパーサやRubyVM::Iseq周りを触っているスピーカーが多く、コアに突っ込んでいく人のアクティビティにはとても刺激を受けました。 個人的にはIseqのバイナリ表現とソースコードの変換を活用してマクロの様なことを実現していたCompiling Rubyという発表が印象的でした。 後、毎年ラストのキーノートはやってることが凄過ぎて、圧倒されるばかりですね。 私自身は、メインのスピーカーとして登壇することはできませんでしたが、LTスピーカーとして話をする機会がもらえたので、そこで登壇してきました。 From RubyKaig
libspecinfra 開発者向けチュートリアル | Recruit Tech Blog
ATL 宮下 です。 先日 libspecinfra プロジェクトの概要と今後について というエントリにて、 libspecinfra プロジェクト の概略について説明しました。今回は libspecinfra プロジェクトが実際にどんなものか、触って試すための手順を解説します。 このチュートリアルでは、Rust と mruby で書かれたコードに触れるため、Rust と mruby の簡易的なチュートリアルにもなっています（mruby-libspecinfra は、mruby といいつつもほとんどがCのコードですが）。 また、既存環境に影響を与えないよう、Docker コンテナの利用を前提とした手順で解説しますが、コンテナ環境ではなくても、macOS や Ubuntu であればほぼ同じ手順で動くはずですので、適宜ご自身の環境に合わせて修正してください（筆者は macOS 上で直接開発を行
「若手エンジニアに送る"心構え"と"キャリア観"」を聞いてきた - 部屋の隅っこで書く技術ブログ
サポーターズColab主催の「若手エンジニアに送る"心構え"と"キャリア観"」を聞いてきました。 講演者は例のスタンドでおなじみの@t_wadaさんでした。 内容のまとめ記事はすでに何人かの方が書いてくださっています。 sinnderu.hatenablog.com ushinji.hatenablog.com ですので、自分的なハイライトを中心に書いてみたいと思います。 どんな内容だったか 印象に残った話 デールの円錐 ロードマップ指向とエコシステム指向 質問に答えてもらいました 「技術が身についた」って何？ Write Code Everydayのネタ決めをどうするか まとめ どんな内容だったか 実際にまとめきるのは不可能な内容でしたが、強引に3行でまとめると、 技術の学び方を学べ アウトプットを続けろ 経験から技術の流れを俯瞰しろ こんな内容でした。 これらに付随して、技術書の読み方
思考ロックを外す断捨離術 - ppworks.jp
一昨年の年末あたりに実際にやった断捨離。 本棚の本をすべて出す すべて車に積む ブックオフに持っていく 売る ポイントは、愛蔵書・ファンクラブ会員本など二度度手に入らないものであろうと区別せず全てだ。 欲しくなったらまた買う。その際、なるべくKindleなど電子版で買うようにする。 限定本などの場合、結構つらいけど、1冊どうしても欲しくなってしまった本はメルカリでゲットした。 まあ、その手の本は最初から手放さなければよい気もするが、その選別で多くの本が残ってしまう可能性が高い。 実際にやってみると、本当に手元においておきたい本なんて大して多くなかった事に気づいた。 書い直したのは2冊だったな。 一番いいのは置く場所がある家に住むことだが、誰しもが取れる選択肢ではない。 逆に誰しもが取れない選択肢だけど、自分になら出来る選択肢ってはある。 中々思いつかないけど、やってみると意外となんとかなる
Reactアハ体験 - Qiita
Reactはちょっとしたコツを掴むと一気に理解が進みます。 Googleのデベロッパーであり数々のReactトレーニングを手がけてきたTyler McGinnis氏によるReact "Aha" Momentsが非常に参考になるため、本人の許可を得て意訳しました。 誤りやより良い表現などがあればご指摘頂けると助かります。 原文：https://tylermcginnis.com/react-aha-moments/ 私が技術的なコンテンツを教えたり書いたりする時の主な目標の1つは「アハ体験」を最大化することです。アハ体験は物事が突然理解できた瞬間のひらめきです。私たちは皆これを体験してきましたし、私の知る最高の教師たちは聴衆に応じて、それらの瞬間を最大化するための教えを最適化することができます。 ここ数年、私はほぼ全ての一般的なメディアでReactを教えてきました。その間、私はReact習得
欧米中心に発達した現代アートの世界を、私はどう生き抜いていくのか？ | milieu（ミリュー）
Introduction by 塩谷舞（milieu編集長） 私は海外で暮らしたことがない。だから、「あの国ではこうなのに、日本は…」という話を聞いても、「まぁ、そういうもんでは？」と思ってしまうくらいで、イマイチ危機感もなく、次の日も変わらずに過ごしてしまう。 自分の暮らしーーわかりやすく言えば、収入や、仕事や、食べるもの……などに直結しなければ、なかなか自分は危機感を抱けない。 だが、もし自分の目指す職業が、日本で成立しないものだったら？ アート……それも、コンセプチュアルな現代アートの領域で、日本の中で大成しよう、というのは、なかなかの無理難題である。 「好きなアーティストは？」と聞かれれば、多くの人はミュージシャンの名前を挙げる。「じゃあ、好きな現代アートのアーティストは？」と聞くと、答えられる人数はぐっと減ってしまうことは事実だろう。 だから、現代アートを志す作家は、多くが一度は
Out of memory and no killable processes... のカーネルパニックを起こしたい - hibomaの日記
イントロ dsas.blog.klab.org こちらのエントリを拝見したのだが Out of memory and no killable processes... というログを出してカーネルパニックするケースがあるのだなと初めて知った。 幸いにして、過去に同様のメッセージを出すカーネルパニックには遭遇したことがない。あるいはログが取れてなくて気がつかなかっただけかもね! モチベーション 故意に異常を起こして、このカーネルパニックを見てみたい 🔥💀 Out of memory and no killable processes ... のコード 該当のログを出してカーネルパニックするコードは out_of_memory に書かれている (ソースは CentOS7.4 1708 ) /** * out_of_memory - kill the "best" process when w
PostgreSQL's Hash Indexes Are Now Cool
VP, Chief Database Scientist @ EnterpriseDB, PostgreSQL Major Contributor and Committer Since I just committed the last pending patch to improve hash indexes to PostgreSQL 11, and since most of the improvements to hash indexes were committed to PostgreSQL 10 which is expected to be released next week, it seems like a good time for a brief review of all the work that has been done over the last 18
Streaming data to a downstream database
In this blog post we will create a simple streaming data pipeline to continuously capture the changes in a MySQL database and replicate them in near real-time into a PostgreSQL database. We’ll show how to do this without writing any code, but instead by using and configuring Kafka Connect, the Debezium MySQL source connector, the Confluent JDBC sink connector, and a few single message transforms (
Swiftのエラー4分類が素晴らしすぎるのでみんなに知ってほしい - Qiita
これは Swift Tweets の発表をまとめたものです（次回開催はこちら）。イベントのスポンサーとして Qiita に許可をいただいた上で投稿しています。 ありがとうございました！Q&Aは他の人の発表中でも構わないのでリプを飛ばして下さい。 続いては僕 @koher の発表で、タイトルは "Swiftのエラー4分類が素晴らしすぎるのでみんなに知ってほしい" です。 #swtws — koher (@koher) 2017年1月14日 第 1 部: Swift の 4 種類のエラーについて あまり知られてませんが、エラー処理について、 Swift 2.0 設計時に Core Team がまとめた "Error Handling Rationale and Proposal" というドキュメントがあります。このドキュメントは、僕が去年 try! Swift で発表した際にも参考文献にしまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Intro to Kafka
フリマアプリ「フリル」を支える Elasticsearch を用いた全文検索入門
最近の Web パフォーマンス改善について知っておきたいコト