はてなブックマーク

技術系情報誌の廃刊ラッシュを乗り越え20年以上の長きに渡り続いていたWEB+DB PRESSがまさかの休刊ということで、WEB+DB PRESSにお世話になったソフトウェアエンジニアの端くれとしてWEB+DB PRESSとの思い出を書いてみたいと思います。 gihyo.jp 私がWEB+DB PRESSに出会ったのはちょうど新卒で横浜のとある弱小零細偽装請負SES企業に就職した直後のことでした。自社で立ち上げるサービスを社員教育を兼ねて（今思えば新卒社員をいきなり現場に売るわけにもいかず）Javaで作るということで、Webといえば学生時代PerlでCGIを書いたりはしていましたが、Javaを触るのはほぼ初めてだったので、創刊号のTomcatやJSPの記事を読みながら一生懸命動かしていた記憶があります。 gihyo.jp その後も都内各所に派遣されたり幽閉されたりしながらSI業界の底辺で働い

Grokking Functional Programming (English Edition) 作者:Plachta , MichalManningAmazon 2014年にManningのEarly Access Programで購入したもののずっと未完成のままだったので電子積読されていたのですが、昨年ようやく完結したようで、さらに今年になって日本語版も発売されたとのことで9年の歳月を経て読んでみました。 モナドという単語が一度も登場しないあたりからも本書の方向性がわかるのではないかと思いますが、関数型プログラミングのエッセンスを、実践的なプログラミングにおけるメリットと共に丁寧に解説されています。サンプルコードはScalaで書かれているのですが、特にScalaのことを知らなくても読めると思います（というかScalaを知っているのであればこの本の半分以上は読む必要ないかもしれません）

APIデザイン・パターン (Compass Booksシリーズ) 作者:JJ Geewaxマイナビ出版Amazon ManningのAPI Design Patternsの日本語翻訳版で、GoogleのソフトウェアエンジニアでGCPのAPIデザイン等にも従事された方が書かれた書籍とのことです。原著はこちら。 API Design Patterns (English Edition) 作者:Geewax, JJManningAmazon なかなか分量があるのと、誤植と思われる箇所や洋書の翻訳本にありがちな日本語として意味が取りづらい部分が多く、一通り読むのに結構時間がかかってしまいました。 基本的にHTTPベースのJSON APIを想定した内容になっています。さすがにGoogleの方が書かれたというだけあり、通常のユースケースでは思い至らないであろう懸念点なども指摘されており「なるほど」と思

システム運用アンチパターン ―エンジニアがDevOpsで解決する組織・自動化・コミュニケーション 作者:Jeffery D. SmithオライリージャパンAmazon タイトルからしてこれは読まなくてはと発売前から思っていたのですが、色々と積読があり読み終わるまでに少し時間がかかってしまいました。オライリーから出ていますが原著はManningの「Operations Anti-Patterns, DevOps Solutions」のようです。 Operations Anti-Patterns, DevOps Solutions (English Edition) 作者:Smith, JefferyManningAmazon 各章のタイトルがかなりキャッチーな感じだったのでもっと現場感のあるホラー系の内容を予想していたのですが、実際はそこまででもなく、内容はかなり真っ当なDevOps本でした

CircleCIにはJUnit形式のテストレポートを食わせてテスト結果をわかりやすく表示してくれる機能があるのですが、GitHub Actionsでも同じようなことができないかなと思って調べてみたところ、以下のアクションを使えばできそうなので試してみました。 github.com 使い方は簡単で、テスト実行後にこんな感じの設定を追加するだけ。 - name: Publish Test Report uses: mikepenz/action-junit-report@v2 if: always() with: report_paths: '**/build/test-results/test/TEST-*.xml' Scalaプロジェクトの場合、sbtがtarget/test-reportsディレクトリ配下にJUnit形式のテストレポートを出力してくれるのでreport_pathsを以下の

以前アーリーアクセスで購入して手をつけていなかったScala3対応のProgramming in Scala Fifth Edition、ようやく完成したようなので最近発売されたForth Editionの日本語版と見比べながらざっと目を通してみました。 Programming in Scala Fifth Edition 作者:Odersky, Martin,Spoon, Lex,Venners, Bill,Sommers, FrankArtima IncAmazon Scala言語の入門書としては以前よりもだいぶ整理されて真っ当な作りになっていると思います。すでに標準ライブラリから外れて久しいXML、パーサコンビネーター、Swingはもちろん、存在がいまいち謎だった最後のスプレッドシートの章もまるっと削除されていますし、既存の章の順番も見直されています。元々Programming in

トレジャーデータでの同僚である@chezouさんが著者に名を連ね、名著と名高い「仕事ではじめる機械学習」。恥ずかしながら第1版は読んでいなかったのですが改訂版が出たとのことでGW休暇中に読んでみました。 仕事ではじめる機械学習 第2版 作者:有賀 康顕,中山 心太,西林 孝発売日: 2021/04/23メディア: 単行本（ソフトカバー） 噂通りの名著というか怪著ですw タイトルの通り、機械学習のアルゴリズムだけでなく、学習結果の評価方法やデータの集め方、システム構成やモニタリングなど運用にあたって留意すべきことなど「業務として」機械学習に取り組みにあたって留意すべき事項が書かれています。果ては機械学習の導入にあたっての立ち回り方など割と身も蓋もない（けれども実際のところ重要な）ことまで堂々と書かれていて、日本ならではの面もあるかもしれませんが、オライリーからこんな本が出せるのかと感動すら覚

もう1年以上前の話になりますが、NetflixがSpark対応のScala用ノートブックPolynoteをOSS化したという話がありました。 netflixtechblog.com 既存のノートブックではScalaを使っていてもコード補完などがあまり効かないものが多く、まとまったコードを書くときは結局IDEを使うという感じになりがちなのですが、PolynoteはScalaを第一言語としてサポートする珍しいノートブックで、コード補完などの機能も充実しているようなので遅ればせながら試してみました。 インストール Sparkを使う場合、まずは先にSparkをインストールしておく必要があります。とりあえずローカルモードで動かすだけであればSparkのリリースディストリビューションをダウンロードして適当なディレクトリに展開しておくだけでOKですが、Polynoteは内部的にspark-submitコ

Scala 2.13.2で-Wconfというオプションが追加されており、コンパイラが出力する警告を細かくカスタマイズすることができるようになっています。このオプションはScala 2.12系にもバックポートされており、Scala 2.12.13で利用可能です。 www.scala-lang.org たとえばScalaコンパイラは-deprecationオプションを指定すると非推奨のAPIの使用に対して警告を出力しますが、build.sbtに以下のような設定を追加することで、自動生成されたコードに対しては警告を出力しないようにできます。 scalacOptions := Seq( "-deprecation", "-Wconf:cat=deprecation&src=src_managed/.*:s" ) 指定方法は-Wconf:<filters>:<action>,<filters>:<a

主催者のOliさんからのDMで急遽 Scala Love in the City で話させていただくことになり、あまり時間もなかったので準備なしでも話せるGitBucketの紹介をさせていただきました。スライドは以下になります。 GitBucket: Open source self-hosting Git server built by Scala from takezoe www.slideshare.net 他のトークはScalaでの関数型プログラミングやScala3の話題が多かったと思いますが、具体的なアプリケーションレイヤから見たScalaという観点での話ができればと思い、前半はGitBucketの紹介、後半は8年間開発を続けてきて難しかったこととしてScala 2.12へのアップグレードについて話させていただきました。 なぜScala 2.12へのアップグレードが辛かったのかと

sbtではsbt-dynverプラグインを使ってGitのタグ、コミット情報から自動でバージョン番号を付与できるのですが、同じようなことをMavenでやるにはどうするのがいいのかなぁと以前から疑問に思っていたので、どのような方法があるのか少し調べてみました。結論としては以下のjgitverを使うのがよさそうかなという感じです。 github.com Mavenのextensionとして導入すると、デフォルトでは以下のようなルールでバージョンが使用されます（pom.xmlに記述されているバージョン番号は無視されます）。 タグ（x.x.x） -> x.x.x masterブランチ -> x.x.y-SNAPSHOT その他のブランチ -> x.x.y-<ブランチ名>-SNAPSHOT CIでMavenリポジトリにデプロイするようにする場合でも、タグ以外からデプロイする場合は自動的にSNAPSHO

昔Atom用に作ったものを移植しただけですが、こんな感じでCSVテキストを範囲選択してコマンドパレットから「Convert CSV to Markdown table」を選択すると適当にフォーマットしてMarkdownのテーブル記法に変換します。 GitHubリポジトリはこちら。 github.com VSCodeのMarketplaceからもインストールできるようにしてあります。 marketplace.visualstudio.com VSCode拡張の作成方法については公式のドキュメントにまとまっています。Yeomanでプロジェクトの雛形を生成し、vsceコマンドでパッケージの作成や公開を行うという感じです。 code.visualstudio.com パッケージの公開のところが少し面倒で、マイクロソフトアカウントでAzure DevOpsにサインインしてアクセストークンを作成する必

過去にも同じ記事を書いたのですが、ThinkPadキーボードのモデルチェンジやKarabinar Elementsのバージョンアップで微妙に変わっている部分もあるのでThinkPad TrackPoint Keyboard IIで行った設定を自分の備忘録を兼ねてメモしておきます。 スペースキー周辺のキーはなるべくMacBook本体の配列にあわせるようこんな感じに。実際はCapsLockとControlの入れ替えはFor all devicesで全てのキーボードに適用されるようにしています。Mac側の設定で変えることもできるのでそれでもよいと思います。 日本語入力の切り替えはコマンドキーの単体押しで切り替えられるように。 トラックポイントのボタンの設定もカスタマイズできるよう、マウスとして認識されているデバイスにもチェックを入れておきます。 そしてセンターボタンを無効に。これをやっておかない

最近GitBucketのCIをTravisからGitHub Actionsに移行したりしていたのですが、達人出版会さんのセールでこの本が半額になっていたので購入してみました。 tatsu-zine.com 内容的にはGitHub Actionsの基本的な使い方から様々な機能、アクションの作り方まで一通りのトピックがカバーされています。 GitHub Actionsは公式のドキュメントが充実しており、日本語化もされているので概ね困ることはないと思うのですが、やはり書籍の形だと目を通しやすいですし、公式のドキュメントでは触れられていない実用的なTipsなども含まれています。欲をいえばサンプルレシピはもっとバリエーションが欲しかったかもとか、オフィシャルのアクションについて詳細な解説が欲しかったかもという気はしますが、GitHub Actionsでどんなことができるかを押さえるには最適な書籍なの

以前PicocliとGraalVMを使ってScalaでネイティブCLIアプリケーションを作成する方法を試してみたのですが、その後細々とスタンドアロンのネイティブイメージを作成するのに適したScalaライブラリの組み合わせを試したりしていたので、これらをまとめてgiter8テンプレートにしてみました。 github.com 使い方は簡単で、まずは以下のようにしてプロジェクトを作成します。 $ sbt new takezoe/scala-native-cli.g8 scoptを使った簡単なサンプルコードも生成されるようになっているのでこれをベースにコマンドを実装したら、以下のコマンドを実行するとtarget/graalvm-native-imageディレクトリにネイティブイメージが生成されます（GraalVMとnative-imageコマンドは予めインストールしておく必要があります）。 $ s

昨年から執筆中という話だったオライリーのPresto本がこの4月に発売になったとのことでゴールデンウィーク中に読んでみました。 [asin:B086R9FHB7:detail] Kindleでも7000円以上という高価格ですが、実は著者の皆さんが勤務されている米Starburst社のWebサイトから無料でダウンロードすることができます（メールアドレスの登録が必要ですが）。 www.starburstdata.com 内容はPrestoのインストール方法、アーキテクチャ、設定方法や外部連携の方法など、Prestoを使う上で必要になる事項が一通り網羅されています。開発者の方々自ら執筆された書籍だけあってPresto自体のアーキテクチャはもちろんのこと各コネクタも設定方法だけでなく内部構造にも触れられていたり、チューニングの勘所が解説されていたりとオンラインドキュメントとの差別化もきちんとなされ

仕事でJava 8とJava 11を行ったり来たりしたり、Javaの特定のマイナーバージョンでのみ発生する問題の調査などをしないといけないケースが出てきて、最初は都度環境変数で切り替えていたのですが、切り替え忘れてうっかり別のバージョンでコンパイルしてしまうということが増えてきたのでjenvというツールを試してみました。 github.com Macの場合はbrewでインストールできます。 $ brew install jenv jenvはデフォルトでは~/.jenvに設定などを保存するようです。以下のディレクトリを手動で作成しておく必要がありました。*1 $ mkdir -p ~/.jenv/versions .bash_profileなどに以下を追加。 eval "$(jenv init -)" JDKはbrew caskでインストールできるようなのですが、手元にはすでにインストールし

いまだScala 2.11までのサポートしか提供されていないなど開発が停滞気味のScala Nativeですが、最近書籍が出たということで読んでみました。 Modern Systems Programming with Scala Native: Write Lean, High-Performance Code without the JVM 作者:Whaling, Richard発売日: 2020/02/11メディア: ペーパーバック 仕事でScalaでCLIツールを書くことがあるのですが、やはりJVMの起動時間のオーバーヘッドが気になるのでネイティブバイナリを作成可能な技術としてScala Nativeが気になってはいたのですが、最近はそういう用途であればGraalVMのネイティブイメージ生成機能の方が最新バージョンのScalaを利用できたり、使えるライブラリの自由度など様々な面で実

RisonというのはJSONライクかつURLに埋め込みやすいようURLエンコーディングが最小限になるよう設計されたデータフォーマットだそうで、Kibanaなどで使われているそうです。日本語だと以下の記事が詳しいです（自分もこの記事を見てRisonを知りました）。 qiita.com すでにJavaScriptやPython、Golangなど様々な言語向けのライブラリが存在するようですが、Scala用のライブラリが見当たらなかったので久しぶりにScalaのパーサコンビネータライブラリを使って実装してみました。 github.com こんな感じで使います。 import com.github.takezoe.rison._ val parser = new RisonParser() // parse parser.parse("(name:Lacazette,age:27)") match

以前、Scalaを使ってCLIツールを作るという記事を書いたのですが、やはりJVMベースのアプリケーションには起動時間のオーバーヘッドが付き物なのでちょっとしたCLIツールをScalaで書こうという感じにはなかなかなりません。そこで今回はPicocliというJava向けのCLIツール用ライブラリとGraalVMを使ってネイティブCLIコマンドをScalaで作る方法を試してみました。 github.com sbtプロジェクトの作成 今回はPicocliのドキュメントで例として掲載されていたchecksumコマンドをScalaで実装してみます。まずは以下の内容でbuild.sbtを作成します。 name := "picocli-scala-example" version := "0.1" scalaVersion := "2.12.7" libraryDependencies ++= Seq

昨年のre:Invent 2019で発表されたAmazon Builder's Libraryを一通り読んでみました。通勤電車で読んでいたのですが、途中で冬休みに突入してしまい少し時間がかかってしまいました。途中で日本語にも対応していることに気付いたのですが、折角なので全て英語で読んでみました。 aws.amazon.com Amazonにおける大規模分散システムの開発で得られたノウハウが公開されているのですが、昨今マイクロサービスの普及もあり、Amazonのような規模でなくとも分散システムに関するノウハウが重要になりつつあります。もちろんAWSのインフラや規模感に依存する部分も多々見られるものの、大規模な分散システムを運用した上で得られる知見というのは得難いものですし、一般論として参考になる部分も多く、とても有用なコンテンツだと思います。 全体を通して共通して述べられていたのは以下のよう

私は普段主にScalaを使っているので、ちょっと手の込んだ処理が必要だったりJava/Scalaライブラリを使ったツールが必要な場合にScalaで書けると便利だなと思うことがあります。 AirframeはScala用のDIコンテナを中心とした様々な機能を提供するライブラリ群ですが、そのうちの1つとしてairframe-launcherというCLIツール作成用のモジュールがあり、コマンドラインオプションを簡単に扱うことができます。また、sbt-packというsbtプラグインを使うと作成したアプリケーションを実行可能なコマンドとしてパッケージング、インストールできます。これらを組み合わせてScalaでCLIツールを作る方法を紹介したいと思います。 wvlet.org github.com まずはbuild.sbtに以下の記述を追加し、airframe-launcherを依存関係に追加します。

先日開催されたSpark + AI Summit 2019にあわせてDatabricks社からSpark用のストレージレイヤ「Delta Lake」のOSS化が発表されました。 databricks.com GitHubリポジトリはこちら。 github.com Delta LakeはSparkのライブラリとして実装されており、分散ストレージ上で以下のような機能を提供します。 ACIDトランザクション（テーブル単位） タイムトラベル（任意の時点の過去データを参照可能） スキーマバリデーション（スキーマ変更も可能） 実際に動かしてみる Delta Lakeの動作にはSpark 2.4.2以降が必要です。ローカルファイルシステムでも動作するのでspark-shellで動きを確認してみました。 $ bin/spark-shell --packages io.delta:delta-core_2.

手軽に使える機械学習ライブラリというとPythonのscikit-learnが有名ですが、Java/ScalaでもSmileというライブラリがあったので軽く試してみました。 github.com まずはリリースページからzipファイルをダウンロードして適当な場所に展開します。bin/smileで対話シェルが起動します。 サンプルデータがついているのでこれを使って学習してみます。 smile> val toy = read.table("data/classification/toy/toy-train.txt", response = Some(new NominalAttribute("class"), 0)) smile> val (x, y) = toy.unzipInt smile> val model = knn(x, y, 3) 作ったモデルを使って予測してみます。 smile