日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita
先日、弊社では Community Geocoder というサービスをリリースしました。 Community Geocoder 紹介記事 さて、このジオコーダーは、住所を正規化してそれを「大字町丁目コード」という12桁の数字に変換し、そのコードをファイル名として GitHub ページ上に大量においた JSON ファイルにアクセスして緯度経度を取得するということをやっています。 つまり、住所の正規化からコードに変換する部分がとても重要で、そもそも正規化に失敗してしまうとどうしようもないという仕様なんです。 さいわい先日経産省が公開した IMI コンポーネントツール である程度のことをやってくれるのですが（というかそうであることを期待したのですが）、いろいろ調べ始めると住所という仕組みはほんとに複雑で、Facebook で絡んでくださった @hfu さんいわくまさに「自然言語処理そのもの」であ
wget でのタイムアウト指定 - dak ブログ
wget でタイムアウトを指定する方法のメモ。 wget でタイムアウトさせるには、--timeout {秒数} オプションを指定します。 デフォルトでは、タイムアウトするとリトライするため、リトライさせないようにするには、 初回アクセスを含む最大試行回数を -t オプションで指定します。 wget --timeout 3 -t 1 https://www.goo.ne.jp/ 上記のコマンドの例では、3秒でタイムアウトするとリトライせずに終了します。
検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
Javaで形態素解析 with Kuromoji - Qiita
このページについて Javaで形態素解析を実行してみよう、というもの。 他の色々な記事で前提になってくることも鑑みて、動作確認までをまとめます。 形態素解析って何？ 文書を単語など意味のある最小限の単位に分割する処理を指します。 機械に言語を処理させる上で最もよく用いられる手法の一つです。 本稿ではその他にも色々な用語が出てきますが、 一先ず動作確認までを記述し、個々の用語に対しては付録で言及します。 開発方針 SpringBoot&Gradleの上にKuromojiライブラリを加える方針とします。 環境構築からの方は以下を参考ください。 ⇒SpringBoot入門...いいから動確だ！ 環境 サービス/バージョン
Amazon Linux 2023 に Teraterm から SSH 接続してみた : ssh-rsa 署名無効化対応 - Qiita
はじめに Amazon Linux 2023 が、2023 年 3 月 15 日に一般公開になりました。AWS に最適化されたパフォーマンスを提供する Linux ベースの 最新 OS です。OS を起動したままカーネルのパッチを適用できる kpatch の利用など、便利な機能が追加されています。 AWS Document に Amazon Linux のリリース頻度やサポート期限が記載されているのも大きい変更点です。2 年ごとにメジャーバージョンがリリースされ、5 年の長期サポートが提供されます。 引用 : https://docs.aws.amazon.com/linux/al2023/ug/release-cadence.html Amazon Linux 2023 と Amazon Linux 2 の違いは、こちらの Document に記載されています。特に Windows で
【Perl】Can’t use ‘defined(%hash)’ エラー at softelメモ
問題 perlの古いCGIのプログラムを新しいサーバーに移転したらエラーになりました。 Can't use 'defined(%hash)' (Maybe you should just omit the defined()?) at ./jcode.pl line 689 答え 以下のようになっている個所を &init_z2h_euc unless defined %z2h_euc; 以下のように変更するとエラーは出なくなる &init_z2h_euc unless %z2h_euc; defined を削除するだけ。（just omit the defined()） jcode.pl の場合、2か所あるのでどちらも対応する。 Perlのバージョンアップで仕様が変わったためのようです。 なお、移転先がさくらのレンタルサーバーなどの場合、Perlのバージョンの指定が可能なので、5.8系まで
「怠惰・短気・高慢」であれ、ChatGPTを使って業務効率化しよう(要件定義編)
例として読書記録アプリをつくります！ 筆者が欲しいサービスを作ろうと思い、今回は「読書記録アプリ」をつくります。 最低限の要件は、次のように設定しました。 デモアプリの要件（読み飛ばしてOK） 読書記録アプリを作る目的 読書が苦手なエンジニアが読書記録をし、記録を共有することで、継続して技術本を読めるようになること ターゲット 新人、中堅のWebエンジニア おおまかな要件 ユーザーは新規登録することで、読書記録アプリにログインできる ユーザーは読む本を登録できる ユーザーは本を何ページ読み終えたかを記録できる ユーザーは本を読み終わったら次の本を登録できる ユーザーは他の人がどの本を読んでいるのか、また何ページ読み終えたかを閲覧できる 質問する前に... また、ChatGPTに業務で使用するコードを渡す場合、環境キーやサービスを特定できる情報を送信しないでください。入力内容が他の人に渡って
Web記事の本文をJavaで抽出する - きしだのHatena
指定したURLの記事本文を取ってくる処理がほしいなぁと思って、しかしいろいろ考えるのは面倒と思ったけど、少なくともJavaで簡単に使えるものがなさそうなので実装した。 参考にしたのはこちら。 HTMLからの本文自動抽出 - アドファイブ日記（ミラー版） テキストが長いタグは本文、直下のタグは本文への寄与が多い、のようにしてスコアを求め、そして全体テキストに対してスコアが高ければ本文だろう、という感じ。 上記サイトと変えたところは、<li>タグの点数をさげているところ。読売の記事が最後に各カテゴリの説明をもっていて、記事より長くなりがちでそちらが抽出されることが多そうなので、点数をさげた。 前回のブログ記事で試すとちゃんと取れている。 ソースはこんな感じ。HTML処理にはjsoupを使っている。 https://jsoup.org/ import java.io.IOException; i
全ブラウザ対応したcontainer queryは何がスゴイのか？
全ブラウザ対応になったCSSのコンテナクエリについて、基礎から一歩踏み込んだ内容までを解説します。 デモ① SNSリアクションバー（container-type, @container） https://codepen.io/tonkotsuboy/pen/PoBMMZw デモ② 古都めぐり（cqw） https://codepen.io/tonkotsuboy/pen/jOvOqOG Zenn記事 https://zenn.dev/moneyforward/articles/css-container-query Twitter https://twitter.com/tonkotsuboy_com 3/1（水）に「TechFeed Experts Night#14 」で発表した内容です。 https://techfeed.io/events/techfeed-experts-night
丸井が公式ネット通販「マルイウェブチャネル」にEC商品検索・サイト内検索エンジン「ZETA SEARCH」とレコメンドエンジン「ZETA RECOMMEND」を導入 | ネットショップ担当者フォーラム
大丸松坂屋百貨店がECサイトリニューアル NECのNeoSarf／DM採用
大丸松坂屋百貨店は、日本電気（以下、NEC）が提供するEC・通販統合ソリューションNeoSarf／DMを採用し、ECサイトのリニューアルを行った。 大丸松坂屋百貨店は、消費者へ新しい特別な体験・特別な価値の提供を目指している。同社では、これらの実現を目的としたDXの取り組みの一環として、ECを強化するためのサイトリニューアルを行った。 同取り組みは、ECと店舗をつないで新しい顧客体験のプラットフォームを構築することを目的としている。具体的には、店舗およびECのデータを横断して解析し、これらデータから顧客理解を深め、ユーザーに新しい価値の提案を行える仕組みづくりを推進している。これらを実現するため、大丸松坂屋百貨店は新システムにおいてNECのEC・通販統合ソリューションNeoSarf／DMを採用した。 新ECサイトの特徴は、次のとおり。 ひとつのIDでECやアプリなどの複数システムにログイン
ゲオオンラインストアが「ZETA SEARCH」と「ZETA RECOMMEND」導入
EC商品検索・レビュー・ハッシュタグ・OMOソリューションを開発販売するZETAは、ゲオが運営する公式通販サイト「ゲオオンラインストア」にてEC商品検索・サイト内検索エンジン「ZETA SEARCH」とレコメンドエンジン「ZETA RECOMMEND」が導入されたことを発表した。 ゲオグループは創業以来、世の中に出てきた価値あるものを循環・再配分することで人々の暮らしの豊かさを追求し、"あらゆるモノの循環インフラ"として新たな文化やライフスタイルを作ることに挑戦し続けている企業。 メディアショップ「ゲオ」はDVD・CD・ゲームソフト・書籍などのアミューズメントソフトをレンタル・リサイクル・新品販売の3通りの方式で提供しており、全国に約1,100の店舗を構えるほか、新品・中古の販売専門店として公式通販サイト『ゲオオンラインストア』も展開している。 今回、同サイトにZETAが提供するEC商品検
Gitの内部構造をよく理解して、うまく使おう【基本の仕組みを解説】
対象読者 Gitをより深く理解したい方 Gitの自作に興味がある方 Gitの内部構造を学ぶ意義 Gitの使い方を知っている人でも、それぞれのサブコマンドが実際どういった挙動をしているか、ましてや内部構造がどうなっているかを学んだことがある人は少ないかもしれません。というのも、Gitが内部を知らなくとも十分使える優秀なツールになっているからだと思います。 しかし、Gitの内部実装を知ることで、コマンドの挙動を正確に理解できるだけでなく、Gitを使っていて何らかの問題が起きたときにも、自分で対処できるようになります。そうしたGitの地力を鍛えるために、内部構造の把握は重要な要素になってきます。 また、今回の内容を学べば、Gitの大枠を実装することもできてしまうので、興味がある方はぜひ挑戦してみてください。 Gitについての誤解 それでは、まずGitについて多くの人が誤解しているであろう点を挙げ
県立高校のすべての女子生徒 制服でスラックス選択可能に 埼玉 | NHK
性の多様性に配慮し、埼玉県の県立高校では、新年度から希望するすべての女子生徒が制服でスラックスを選べるようになりました。 埼玉県教育委員会によりますと、おととし4月の時点で、県内の県立高校のおよそ30％にあたる38校では女子生徒が制服でスカートしか選ぶことができず、性的マイノリティーなどの生徒に配慮した対応が必要だという声が上がっていました。 こうした声を受けて、県教育委員会は、去年7月、県内の県立高校に対し、女子生徒の制服についてスカートか女子用のスラックスか、自分で選べるようにするよう通知を出しました。 これを受け、各校が対応を進めた結果、新年度からは男子校や制服のない高校を除く130のすべての県立高校で、希望する女子生徒がスラックスを選べるようになりました。 埼玉県教育委員会人権教育課の塩崎豊課長は、「社会情勢や生徒のニーズを踏まえ、スカートしか選択肢がない状況を解消するよう努めてき
プログラミングをするプログラマー、需要が激減か…すでにノーコードが当たり前に
「gettyimages」より AI（人工知能）の台頭によって仕事が奪われる――このようなSF的ディストピア世界の到来を予見する人は多い。たとえば、2022年ごろから流行した「Stable Diffusion」「Midjourney」などのAI画像生成サービスは、そのイラスト生成の精度の高さ、手軽さからイラストレーターの仕事を奪うのではないかといわれていた。人類の歴史上、写真、映像、コンピュータなどの登場によってなくなった仕事も多いが、今存在する仕事もAIの発展によっていずれなくなる可能性はある。 そして、それはクリエイター界隈に限らず、エンジニア、プログラマーの世界でも起こる可能性があるという。ニュースサイト「Business Insider Japan」が昨年12月1日に報じたところによると、グーグルが「AIにコードの書き方を教える」極秘のプロジェクトを進行中だという。このプロジェクト
php-fpmでのsegmentation fault - ビットハイブ
php-fpmでのsegmentation fault 先日、お客様が運用しているWebサイトで、502 Bad Gatewayが頻発して原因がよくわからないので調べられないかとお問い合わせをいただきました。 とりあえず、お客様の環境を確認させていただくと、Amazon Linux上でNginxとphp-fpm(phpのバージョンは7.2)を使ったWebシステムでした。やれるだけはやってみますということで調査を開始しました。 まず、Nginxのエラーログを確認してみます。 ...略... recv() failed (104: Connection reset by peer) while reading response header from upstream, ...略... ということで、upstream。この場合はphp-fpmでエラーがおきているようです。 今度はphp-fpm
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20230414_ChatGPTの活用概論_共有用.pdf
How to extend lifetime of legacy PHP applications
JavaでJsoupとGridDBを使ってWebスクレイピングする | GridDB Developers
データベース研修（データベース基礎編）【ミクシィ22新卒技術研修】
