テキストエディタのデータ構造 Gap method Piece Table method Piece Table の構造 Piece Table の実装 Piece Table のメソッド まとめ テキストエディタのデータ構造 テキストエディタで採用されているデータ構造にはいろいろあります。 こちらの論文 Data Structures for Text Sequences では各種データ構造について比較検討されています。 多くは、Gap method や Piece table method をベースにしたものが多いのではないでしょうか(図で言う最下部の中心の丸印に当たります)。最近では Rope なども有名ですね。 Gap method Gap method では、現在のカーソル位置で、テキストバッファを2つに分割し Gap を間に挟み、カーソル位置に対する編集(テキスト追加/削除)を
ちょっと前に「配列中のすべての要素が条件を満たすかどうか判別する関数で、空の配列はTrueを返すべきかFalseを返すべきか」のような話が話題になってました。 まあこれは「Trueを返す」が答えなわけですが、では「配列中の最大値を返す関数で空の配列の場合は何を返すか」が気になりました。 「配列中のすべての要素が条件を満たすかどうか判別する関数」について言えば、簡単に言えばこんな感じ。 まず、配列のすべての要素が偶数であるかどうか判別する関数を考えます。 void main() { int[] data = { 23, 44, 12, 98, 5 }; System.out.println(allEven(data)); } boolean allEven(int[] data) { for (int n : data) { if (n % 2 != 0) return false; } r
Content-Disposition の filename という地雷。 (1個の観点で17個の脆弱性を見つけた話) - ぶるーたるごぶりん
English ver: https://gist.github.com/motoyasu-saburi/1b19ef18e96776fe90ba1b9f910fa714#file-lack_escape_content-disposition_filename-md TL;DR 1つのブラウザ、1つのプログラミング言語、15個の { Web Framework, HTTP Client ライブラリ, Email ライブラリ / Web Service 等} で脆弱性を見つけました。 見つけた脆弱性は、全て 1つの観点で発見した (多分 50-80 くらいのプロダクトの調査をした)。 RFC の記載では、（かなりわかりにくく）この問題に対する要件が記載されており、WHATWG > HTML Spec の方はしっかりと書かれているといった状況にある。 この問題は、 Content-Dispo
こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理
BigQueryのアンチパターン認識ツールで独自のSQLリンターを開発しました - ZOZO TECH BLOG
こんにちは、株式会社ZOZOで25卒の内定者アルバイトをしている村井です。この記事では業務で取り組んでいる、BigQueryで使うSQLのリンターの作成方法について紹介します。 目次 目次 課題と解決策 課題 解決策 BigQueryのアンチパターン認識ツール ミニマムな使い方 日本語がSQL内に含まれている際の問題 アンチパターンを定義する リンターとしてBigQueryのアンチパターン認識ツールを使用する際に生じる課題と解決策 構成 APIサーバ化 Chrome拡張 動作例 まとめ 課題と解決策 課題 社内では様々なチームがSQLを書いており、動作はするものの良くない書き方をしている場合があります。そういった構文を検知して、前もって修正する必要があります。 解決策 BigQueryのコンソールで入力されたSQLの不正構文を検知、修正案を提示できるようにしました。 BigQueryのアン
何問解ける？Javaクイズ！（全13問） #techtekt Q - techtekt（テックテクト） | パーソルキャリアのエンジニアブログ
みなさまこんにちは。techtekt編集部です。 パーソルキャリアのエンジニアやデータサイエンティストなどが出題する「#techtekt Q」 前回は、TypeScript編をお届けしました。 techtekt.persol-career.co.jp 第2弾は、主に転職サービス「doda」やハイクラス転職サービス「iX」などの開発の主要言語であるJavaに関するクイズをプロダクト開発統括部 佐藤 政美さんからの出題です。 さぁ、あなたは何問解けますか？？？ 1問目 次のプログラムをコンパイル＆実行するとどのような結果になるでしょうか？ public class Quiz01 { public static void main(String[] args) { boolean b = true; if (b = false) { System.out.println("A"); } else
Updates [04-13] "Data Binding Rules Vulnerability CVE-2022-22968" follow-up blog post published, related to the "disallowedFields" from the Suggested Workarounds [04-08] Snyk announces an additional attack vector for Glassfish and Payara. See also related Payara, upcoming release announcement [04-04] Updated Am I Impacted with improved description for deployment requirements [04-01] Updated Am I I
Java の CLI アプリケーション用フレームワーク picocli はミスタイプ時にサジェスチョンを出してくれる - Mitsuyuki.Shiiba
長くなっちゃったから最初にまとめ まとめ picocli は便利。 デフォルトでサジェスチョンの機能がついている。なので、オプションやサブコマンドの定義だけしておけば、ミスタイプしたときにサジェスチョンを出してくれる。 オプションの場合は、先頭2文字が一致するオプション一覧 サブコマンドの場合は、先頭2文字じゃなくて、似たものを出してくれる こんなつぶやきを見かけて がくぞさんのこんなつぶやきを見かけて そういえばCLIのオプションパーザのライブラリは多種あるけど、定義されてないオプションが指定されたときにオプション名から類推して正しくはコレじゃない？ってサジェストしてくれるような機構まで盛り込んだライブラリってあるのかな？— がくぞ (@gakuzzzz) August 11, 2021 あぁ、たしかにそういうのフレームワークに含まれてたら便利だなー、picocli だったらありそうだけ
こんにちは、柴犬がかわいい。Tech本部の前多です。 先日、弊社でApache IcebergとTrinoによる活用事例についての記事を上げました。 caddi.tech 記事では、Icebergへのデータ投入について次の記述がありました。 ユーザがアップロードしたCSVファイルをパースしてIcebergに保存する 図面の解析結果を一定間隔のバッチで受け取りIcebergに保存する 実際のところ、ファイルからIcebergへのデータ投入はサイズによっては困難なことがありました。 今回はIcebergへのデータ投入に関するTopicをお伝えします。 データ投入で発生した課題 私たちは、クエリエンジンとしてTrinoを採用しています。 データ投入の経路はCSVファイルしかないので、CSVファイルを解析して一行ごとにTrinoのInsert文を発行すれば十分だろうと考えていました。 また、Tri
How Much Memory Do You Need to Run 1 Million Concurrent Tasks? | Piotr Kołaczkowski
In this blog post, I delve into the comparison of memory consumption between asynchronous and multi-threaded programming across popular languages like Rust, Go, Java, C#, Python, Node.js and Elixir. Some time ago I had to compare performance of a few computer programs designed to handle a large number of network connections. I saw huge differences in memory consumption of those programs, even exce
キャスト null 除外 否定フィルタ Streamから配列へ 配列からStreamへ リストの集約 リストからマップへ変換 コレクションの変更 任意キーでグルーピング 任意キーでソート カンマ区切り プリミティブRangeからリストへ オブジェクト型の合計 BigDecimal の合計 グルーピングして集計 グルーピングしてカウント 最大値/最小値の抽出 Optional から値の取り出し 開発の現場でよく使う Java Stream イディオムです。 キャスト List<String> studentNames = people.stream() .filter(Student.class::isInstance) .map(Student.class::cast) .map(Student::getName) .collect(Collectors.toList()); null 除
Tier 4 Support § Support for these targets is entirely experimental. If this target is provided by LLVM, LLVM may have the target as an experimental target, which means that you need to use Zig-provided binaries for the target to be available, or build LLVM from source with special configure flags. zig targets will display the target if it is available. This target may be considered deprecated by
Kafka Streams の State Store が tombstone によって遅くなってしまったので RocksDB のパラメータを調整してみた話 - Repro Tech Blog
Platform Team の Repro Core という Unit に所属している村上と申します。 Repro Core の役割の 1 つとして、共通基盤となる Kafka Streams アプリケーションの運用があります。 この共通基盤は Repro の大量トラフィックを捌いている基盤になるため、日々の運用の中で様々な課題に直面します。 今回はそのような課題の中から、tombstone によって State Store のパフォーマンスが低下し、その解決策として RocksDB のパラメータを調整した話をします。 前半部分では tombstone によって State Store のパフォーマンスが低下した件を説明します。後半は RocksDB の compaction の挙動確認とそのパラメータ調整について説明します。 ちなみに、私が所属している Repro Core については、
Aug 6, 2023 People sometimes ask me: “Alex, how do I learn X?”. This article is a compilation of advice I usually give. This is “things that worked for me” rather than “the most awesome things on earth”. I do consider every item on the list to be fantastic though, and I am forever grateful to people putting these resources together. Learning to Code I don’t think I have any useful advice on how to
はじめに こんにちは、アソビューでバックエンドエンジニアをしている小原です。 アソビューのバックエンドはJava + Spring Bootで構築されており、プロダクトによってJava8かJava11が利用されています。 Java 8は、2014年3月に正式リリースされ、ラムダ式やStream、Optionalなどの機能が導入されました。皆さんもこれらの機能を活用されている事かと思われます。しかしながら、特にStreamは機能が多いためか、適切に使われてないケースをちらほら見てきました。今回は、StreamとOptionalをおさらいし、理解を深めていただければと思い、記事を書きました。 はじめに Stream 概要 特徴 Streamの生成 中間操作と終端操作 中間操作 filter() map() flatMap() distinct() sorted() peek() limit()
はじめに 先月、プログラミング言語の実行速度比較（2023/4）という記事を投稿した。 思ったより多くの方に見ていただき、有用なコメントやPull Requestをいただいたので、それらを踏まえ以下の更新を行い結果を再投稿する。 明示的な型をもつ言語では、それぞれ32bit、64bit長型の変数を使った場合についてそれぞれ測定 C言語については前回の結果で固定長配列とrealloc()を使った場合で大きな違いがなかったのでrealloc()版のみエントリ C/C++では、実用上ほぼ使用されない最適化なしをドロップ Go版では、@kaoriyaさんから、数値の型(int)をint32に変えると性能が向上する旨のコメントを頂いた。Go版もint32とint64で測定した Scala版では、@windymeltさんから、GraalVMを使った場合の性能向上について情報を頂いた。JVM上で動作する
はじめに こんにちは、検索基盤部 検索研究ブロックの真鍋です。ヤフー株式会社から一部出向していて、主にZOZOTOWNの検索機能へのランキングモデルの導入に従事しています。 本記事では、Elasticsearch上でランキングモデルを扱うための有名なプラグインの仕組みと、同プラグインにZOZOが実装した機能を紹介します。 まず、本記事の背景を説明します。ZOZOTOWNでキーワード検索すると、結果の商品が並びます。結果の商品は非常に多数になることも多いので、ユーザ体験を損なわないためには、その並び順も重要です。ここで言うランキングモデルとは、この並び順の決定のために、商品のスコアを計算する式のことを指します。このような式は機械学習によって生成され、非常に複雑になることもあります。そのため、検索エンジンの標準機能では実行できず、プラグインを導入して初めて実行できることもあります。 ZOZOT
Press Enter, and JHipster will create your app in the current directory and run npm install to install all the dependencies specified in package.json. Verify Everything Works with Cypress and KeycloakWhen you choose OAuth 2.0 and OIDC for authentication, the users are stored outside of the application rather than in it. You need to configure an identity provider (IdP) to store your users and allow
これはなに？ 型システム（静的型付けのシステム [1]）のオタクによる、ものすごく簡単な説明。 型システムには多くの機能が存在するため、必ずしも単純な強弱で語れないものの、基本的に上から下に行くほど、型システムがリッチになっていくことを意図している。 C・C++ intやcharなどの値が区別できるが、いつの間にかそれぞれが紛れ込んでいたりする。 これは型チェックエラーにならない: #include <iostream> int main() { int age = 25; char grade = 'A'; // intとcharには暗黙変換があるのでコンパイルエラーにならない！ int result = age + grade; // 25 + 65 = 90 return 0; } #include <string> int main() { int age = 25; std::s
週刊Railsウォッチ: Airbrakeで検出されたエラー内訳記事、Rubyで3Dモデリングほか（20220426後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Ruby 🔗 Airbrakeで検出されたエラー内訳レポート記事（Ruby Weeklyより） 元記事: The 2022 Airbrake Error
データ構造の処理のパターンとして「プロになるJava」の「10章データ構造の処理」「値の集合の処理のパターン」では新しいListを作るものと個数を数えるもののふたつを紹介していますが、追加でもうふたつ。 データ構造の処理の例 条件に合う要素全てが別の条件にあうか判定 5文字以上の文字列がすべてyを含むか判定するコードは次のようになります。 package projava; import java.util.List; public class StreamSample3 { public static void main(String[] args) { var data = List.of("yamamoto", "kis", "sugiyama"); var result = true; for (var s : data) { if (s.length() >= 5) { resul
こんにちは、アソビュー技術広報チームです。 アソビューでは、毎週「テックトーク」という社内エンジニアLT会を実施しています。 テックトークでの発表内容は開発組織の皆に共有したいことならどんなテーマでもOKとしています。 先日、開発メンバー企画のJavaをテーマにした「好きなJavaクラス発表ドラゴンLT」を開催しました。このブログではそのレポートを掲載します。 イベント開催の目的 今回の「好きなJavaクラス発表ドラゴン」LT会は、インターネットミームの「好きな惣菜発表ドラゴン」にインスパイアされた企画です。 気軽にJavaのクラスについて好きな理由や使い方、あるある、思い出などを発表することで、組織内の関係性構築を目的としています。 普段の開発でよく使うクラスや、個人的に思い入れのあるクラス、もはやクラスの枠組みを越えたものも含めて、様々な切り口での発表がありました。 それでは発表！ 7
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Kotlin にて Web アプリケーションを開発していましたが、諸事情によりアプリケーションの開発は中断されてしまいました。 アプリケーション開発はそれなりに熱を持ってしっかりと考えを持ってやっていたつもりだったので、残念な気持ちが高かったです。 今後どうしたものか、という気持ちがありましたが、一方でアプリケーションの開発の中断が決まると、少し客観的に自分たちの作業を振り返るマインド・期間を得ることができました。 私が関わっていたアプリケーションは、私が参画する以前から動作していましたが、副作用を前提としたトランザクションス
JavaでCSVを読み込む方法を調べました。 最初は、SpringBootに組み込まれているObjectMapperで読み込めると思いましたが、ObjectMapperではCSV読み込みはできないようです。ですので、意図的にJacksonライブラリのCsvMapperを依存関係に含める必要があります。 この記事では、CsvMapperを利用してCSVファイルを読み込めるようにします。 ユースケース 巨大なデータの登録 APIがJSONではなくCSV形式で提供している場合 環境 Java 15 org.springframework.boot:spring-boot-starter-test 2.4.1 com.fasterxml.jackson.dataformat:jackson-dataformat-csv 2.11.3 Lombok Gradle やりたいこと CSVファイルを読み込
オブジェクト指向を学ぶためのオブジェクト指向エクササイズ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。west-cです。 オブジェクト指向を意識した開発を行うようになってからしばらく経ちました。 当初に比べると手続き的な考え方からいくらかは脱却できたかと思いますが、オブジェクト指向的な設計手法やコーディング方法が完璧に身に付いたと言える自信はまだありません。 そこで今回は、オブジェクト指向的な考え方を鍛えることができると言われている「オブジェクト指向エクササイズ」を試してみることにしました。 オブジェクト指向とは オブジェクト指向エクササイズとは オブジェクト指向エクササイズをやってみた ・すべてのプリミティブ型と文字列型をラップすること ・ファーストクラスコレクションを使用すること ・Getter、Setter、プロパティを使用しないこと ・else句を使用しないこと ・名前を省略しないこと ・1行につきドットは1つまでにすること おわりに 参考文献・参考資料 オブジェクト指
IDEs CLion DataGrip DataSpell GoLand IntelliJ IDEA PhpStorm PyCharm RustRover Rider RubyMine WebStorm Plugins & Services Big Data Tools JetBrains Platform Scala Toolbox App JetBrains AI Grazie Junie JetBrains for Data Air Team Tools Datalore TeamCity YouTrack Qodana CodeCanvas Matter Databao .NET & Visual Studio .NET Tools ReSharper C++ Languages & Frameworks Kotlin Ktor MPS Amper Education & Rese
こんにちは。検索連動型ショッピング広告のレポートシステムを担当している眞井です。 レポートシステムでは、広告主が広告の成果の可視化や分析を行うためのレポートを作成する機能を提供しています。 作成するレポートはCSVやTSVなどのテキストファイルで、広告の運用状況によっては数GB規模の巨大なサイズになることもあります。 普段はなんてことない処理でも、扱うデータのサイズが巨大になると多くのメモリが要求されてサーバ費用が高くついたり、OOME（Out Of Memory Error）が発生して処理が失敗してしまうといった問題が発生します。 今回は、このような問題を回避するためにレポートシステムで行っている2つのテクニックを紹介します。 巨大なデータを扱う場合に発生するOOME まず、どのようなシーンでメモリが要求されOOMEが発生するのかを、レポートシステムの例で説明します。 レポートシステムが
Automated tests are important. Without them, programmers waste a huge amount of time manually checking and fixing their code. Unfortunately, many automated tests also waste a huge amount of time. The easy, obvious way to write tests is to make broad tests that are automated versions of manual tests. But they’re flaky and slow. Folks in the know use mocks and spies (I say “mocks” for short in this
Kotlin でコレクションの型を変えるだけでパフォーマンスが100倍以上早くなった話 - Money Forward Developers Blog
はじめまして！マネーフォワード関西開発拠点にて主にバックエンド領域を開発しているsugoikondoと申します。 普段は大阪でサーバーサイド Kotlin をメインで書くお仕事をしております。 今回のお話は、私が担当しているプロダクト「マネーフォワード クラウド連結会計」(以下、クラウド連結会計)のとある機能において、コレクション型を少し変えただけでパフォーマンスが100倍以上と大きく改善した話を紹介します。 改善した機能と元々の実装について 今回の改善対象は、クラウド連結会計における基礎的な機能である、「各種帳票のインポート機能」 1です。 取り込める帳票はいくつありますが、今回の取込対象となった帳票は行数にして数万行 ~ 数百万行程度とややデータ量が多くなるものでした。 その取込処理は、以下のような流れで行われています。 ファイルの各行を Flow に出力していく その Flow に対
これは、なにをしたくて書いたもの？ Spring Frameworkには、タスク実行とスケジューリングの機能があります。 Task Execution and Scheduling 今回は、タスク実行にフォーカスして見ていきたいと思います。 具体的には、TaskExecutorとThreadPoolTaskExecutor、@Asyncアノテーションを扱います。 Task Execution Spring FrameworkのTask Execution…タスクの実行に関するドキュメントは、こちらです。 Task Execution and Scheduling Spring Frameworkでは、JavaのExecutorを抽象化したTaskExecutorを提供しています。 The Spring TaskExecutor Abstraction Java SE環境であってもJava
前書き 未精査なデータを利用して、何ができるかを調査する場合、「Jupyter Notebook」で処理を書いて、printなどで確認しならが作業していく。 そんなこんなを続けていくと「Jupyter Notebook」に書いた処理が大きくなっていき、収集がつかなくなる。 みたいなことがよくあるとの意見をよく見かけます。これは、「Jupyter Notebook」とPythonのprintが優秀なことの裏返しでもあります。 何ができるかを調査する時点で、作成するかもしれない処理の期待すべき動作を定義し、包括的なテストを実装することは、どう考えても現実的ではありませんが、部分的なテストといった面からであれば現実的です。まあこれは、Pythonに限った事ではないのですが、他の言語と比べるとPythonのユニットテストの話題が少ない気がしますので、「Jupyter Notebook」でPytho
JuiceSSH used to be, in my humble personal opinion, and for the uses I had, the best SSH client available on Android until December 2025. Since then, the purchase made in 2019 is not recognized anymore, and the price went up by 20$. Some users complained in review, before it got unlisted from google play, that after buying it again, the application doesn't get activated. Support is unresponsive, t
はじめにこんにちは、エンジニアインターンの八谷（やたがい）です。プレイドには2023年3月から10月の7ヶ月間インターンとして在籍し、前半はセキュリティチームにて、後半はプラットフォームチームにて開発に携わりました。 今回のブログではプラットフォームチームにて取り組んだ、異なるデータベース間のリアルタイムレプリケーションについて解説いたします。 MongoDB AtlasからBigQueryへのリアルタイムレプリケーション背景プレイドではアプリケーションのデータベースとしてMongoDB Atlas（以下MongoDB）、データ解析のためのデータウェアハウスとしてBigQueryを利用しています。MongoDBはドキュメント指向で高い柔軟性を持つ、アプリケーションデータの保管に適したNoSQLデータベースであり、BigQueryは大容量のデータのスケーラブルな分析を可能にするデータウェアハ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキストエディタで使われがちなデータ構造 Piece Table の概要と実装 - A Memorandum
空の配列に対するmaxは何を返すか - きしだのHatena
全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG
Spring Framework RCE, Early Announcement
氷山を穿つ - Apache Icebergに大量データを投入するTopic - - CADDi Tech Blog
現場で良く使う Java Stream イディオム - A Memorandum
0.10.0 Release Notes ⚡ The Zig Programming Language
Fantastic Learning Resources
JavaのStream/Optionalに対する理解を深める - asoview! Tech Blog
プログラミング言語の実行速度比較（2023/5）
Elasticsearch LTRプラグインと特徴量キャッシュ機能の基本 - ZOZO TECH BLOG
Full Stack Java with React, Spring Boot, and JHipster
【TypeScriptよりいいもの】未だ応用されきっていない、型システム本来の力の簡単紹介【読み物】
データ構造の処理のパターンとStream - きしだのHatena
社内LT会で「好きなJavaクラス発表ドラゴンLT」を開催しました - asoview! Tech Blog
DDDを実践していると思ったら軽量DDDで巨大な泥団子に向かっていた話 - Qiita
JavaのJacksonライブラリのCsvMapperでCSVを読み込む - きり丸の技術日記
Java Best Practices | The IntelliJ IDEA Blog
巨大サイズデータ処理に対して省メモリで立ち向かう
James Shore: Testing Without Mocks: A Pattern Language
Spring FrameworkのTask Executionを試す - CLOVER🍀
Python入門(pirnt少なめ、assert多め) - Qiita
JuiceSSH - Give me my pro features back
MongoDB AtlasからBigQueryへのリアルタイムレプリケーション