Gitで日本語長文のdiffをとる方法 - Qiita
（この記事はここからの転載です） 課題 日本語の長文をgitで管理していると、ほんのちょっとの変更でもdiffでは行丸ごと変更されたことになり、変更点がよくわからないことがある。 二泊三日で小説を書く過激なイベントNovelJam 2018参加作品である高橋文樹氏の「オートマティック クリミナル」は、GitHubを使って執筆されている。小説では、git diffの欠点がはっきりでる。高橋氏は参加レポートで、こう書いている。 あと、今回得た重要な知見なのですが、Githubではある程度以上テキストが長くなってくると、数文字の調整で全部差分として判定されたりするので、小説には向いてないかなーと思いました。小説は行の移動とかがよく発生するので、GithubじゃなくてGitとの相性かもしれません。 普通にdiffを取る 確かに、普通にdiffをとるとその通り。コマンドラインで「オートマティック ク
漢字書き順辞典
「漢字書き順辞典」は漢字など様々な漢字の書き順（書き方）をアニメーションで提供、漢字を直接書けば自動的に認識して辞書を検索することができる無料辞典サイトです。
日本語のGoogleWebフォント確認用の簡易ツールを作りました。 | DevelopersIO
ウェブフォント、使ってますか？ レスポンシブデザインやSEO対策の流れもあり、文字を画像にすることは敬遠されがちな時代です。モリサワもWebフォント出してますし、気軽にフォントにこだわるなら、ウェブフォントを入れてしまうのがお手軽だしイマドキなのではないでしょうか？ とはいえ、複数のフォントを呼び出してしまうと、リクエストが過剰になり、ページ表示速度に悪影響をもたらしてしまいます。 ウェブフォントを選ぼう！ 英字のフォントは充実しているのですが、日本語だとなかなか種類も限られるんです... というわけで、Googleさんが公式に出している 「Google Fonts + 日本語 早期アクセス」 をもとに、簡単に切り替えできるページを作ってみました。 こちらを参考に、ご自身の環境に合うフォントを探してみてください。 ページ全体だけでなく、H1やH2などの見出しや、タグなどのキーワードに使って
Google Fonts + Japanese • Google Fonts + 日本語
Google Fonts は、デザイナー ウェブフォントを直感的にご利用いただける、安定したオープンソース ディレクトリです。 膨大な数の文字のデザインに要する時間や、大容量のフォント ファイルをウェブフォントとして提供する際に必要な技術的インフラストラクチャなど、日本語の書体デザインやフォント開発にはさまざまな課題が立ちふさがります。そこで、規格や技術の開発を進めると同時に、Google Fonts を通じてデザイナーやデベロッパーの皆様に日本語のウェブフォントをお試しいただけるようにしました。 Google Fonts provides an intuitive and robust directory of open source designer web fonts. Japanese typeface design and font development presents ma
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
【日本語フリーフォント】本当は教えたくない！デザイナーが仕事で使ってる12選【商用可】 | ベーコンさんの世界ブログ
１．うずらフォント（手書きフォント系） ▼ぜんぶうずらフォントです。 手書きフリー日本語フォントはたくさんありますが、最近はこれがお気に入りです。 ゆるい感じが可愛らしい。 ちょうど下手すぎず、上手すぎずがちょうどいいんですよね！ このフォントの使いみち ダウンロードはこちらから ２．Noto Sans Japanese /a 源ノ角ゴシック（ゴシック太さ多数） GoogleとAdobeからこのフォントが発表された時、デザイナーは沸きました。 しかし思いません？ winならメイリオとかmacヒラギノとか最初から入っているフォントでいいよ！ ぼくも、そう思います！ あーでも、しかし１つだけこのフォントが便利な点があるんです。 それは 文字の太さの種類がある これが大事なんです。デザインを作る時に便利！ OSに最初に入ってるフォントは、太さの種類が２、３種類だと思います。 ボールドボタンで太く
GitHub - google/budou: Budou is an automatic organizer tool for beautiful line breaking in CJK (Chinese, Japanese, and Korean).
Budou is in maintenance mode. The development team is focusing on developing its successor, BudouX English text has many clues, like spacing and hyphenation, that enable beautiful and legible line breaks. Some CJK languages lack these clues, and so are notoriously more difficult to process. Without a more careful approach, breaks can occur randomly and usually in the middle of a word. This is a lo
日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
LINE乗っ取り犯の「整理日本語言.txt」に見る「母語の干渉」 - 違いのわかる日本語――日本語教師の日本語メモ
LINEのアカウントを乗っ取り、その知人に金券カードを買わせるという詐欺行為が頻発している。その乗っ取り行為を行っている犯人は中国語圏出身者であるというが、その「台本」が誤って送られてきたという記事があった。 まさかの誤爆！LINE乗っ取り犯が“台本”を送信、その全文を公開 - 週アスPLUS その文字起こしをした方もいる。 週刊アスキーが報じたLINE乗っ取り台本「整理日本語言(1).txt」の文字起こしと分類をしてみた。 - piyolog 日本語教師としては、この不自然な日本語訳に、日々接している中国人留学生の誤用と共通するものを見る。（※もちろん、私の接している中国人留学生たちを犯人扱いする気は毛頭ないどころか、このような悪事とは無関係であると信ずる。たまたまLINE乗っ取り犯と彼らの母語が一致しただけのことであって、「これだから中国人は……」というような悪しき一般化を行ってはなら
日本語形態素解析ライブラリ Kuromoji のコマンドライン用インターフェイスを書いた - ひだまりソケットは壊れない
Java で書かれた日本語形態素解析ライブラリ Kuromoji を Perl から使ってみたいなー、と思って、別の言語のプログラムから使いやすいようなインターフェイスを書きました。 Kuromoji について kuromoji - japanese morphological analyzer Java で書かれたオープンソースの日本語の形態素解析ライブラリです。 検索用のライブラリらしくて、Apache Lucene と Apache Solr に組み込まれているらしいです。 もちろん検索エンジンとは独立して利用することも可能です。 独立して使用する場合は、単に jar ファイルをダウンロードしてきて Java のライブラリパスに追加するだけ (あるいは公開されている Maven リポジトリを使用して依存関係を解決するだけ) で形態素解析できるようになります。 便利ですね。 Java
もう迷わない！「」『』（）【】の“使いどころ"／テクニカルライターが教える、文章の見た目を良くする技術 | きんどるどうでしょう
こんにちは、もう覚えていただけましたでしょうか、晴海まどかです。「テクニカルライターが教える、文章の見た目を良くする技術」第3回。 今回は、記号の使い方で文章の見た目をよくできないか考えます。記号の中でもちょっと迷うかもしれない、括弧のお話を中心に。ちなみに、今回の話に関して言えば“縦書き”・“横書き”の区別はあまりありません。 前回の記事はこちら：テクニカルライターが教える、文章の見た目を良くする技術「あなたの縦書き文書を美しくする数字の書き分け方」 *この記事はKindle作家の”晴海まどか”さんからゲストポストいただきました 「括弧」を極めて美しい文章を作る技術 まずは例文をば！ 今回は先に例文を一つ見てみましょう。 なーんとなく、読みにくくないですか？ 以降、記号の使い方によって見栄えがどう変わるか、考えてみます！ 記号の代表格、括弧の使い方 括弧と一言で言っても、「かぎ括弧」（丸
有志が日本語化した海外ゲームのまとめ Wiki*
このサイトについて 有志によって日本語化されている海外PCゲームの情報ポインタ一覧です。 PCアクション板の 「有志によって日本語化されたゲーム14」スレ から派生しました。より詳しいことはAboutにて。 お知らせ 2024/06/06 日本語化:Outer Wilds: A Thrilling Graphical Text Adventure F2Pゲーム 2024/05/30 日本語化:Indigo Park: Chapter 1 F2Pゲーム 2024/05/20 日本語化:Kynseed 日本語化:Pandemic Train 日本語化:The Coffin of Andy and Leyley 日本語化:The Murder of Sonic the Hedgehog (ソニック・ザ・ヘッジホッグ殺人事件) F2Pゲーム 2024/05/13 日本語化:The Case of
要約のコツを教えてくれるPDF見つけたよ: うらおもて人生感。
・要約のすすめ 読売新聞の記者代ゼミの国語科の土生さんが書いた要約のコツ。非常に読みやすい。 ※矢吹さん、訂正のご指摘ありがとうございます。 ・要約の基礎徹底 38ページもある徹底した要約講義。 軽妙な語り口でホイホイ読めちゃいます。ばっちり演習問題もある親切設計。 無料でこのクオリティは驚きの一言。 ※PDFに直リンしているので、ご注意を。 ＋0723 追記 7/22に「要約の基礎徹底」の著者、矢吹芳裕さんがツイッターで当記事をご紹介いただきました。ありがとうございます。 感謝を込めて、ここで矢吹さんの運営されているブログとwikiをご紹介します。 こちらも要約、ひいては文章書きにヒントを与えてくれる内容です。おすすめ。 僕は昨日と今日で、Garbage Out!!とwikiは読んじゃいました。すぐに読めちゃう筆致がプロい。 ・Garbage Out!! 広く文章の書き方を教え考えさせて
JavaScriptだけで作られた分かち書き·TinySegmenter MOONGIFT
TinySegmenterはJavaScriptで作られた分かち書きライブラリです。 日本語から情報を得る際に使われる技術が分かち書きです。そんな分かち書きでは辞書を使って解析を行うのが一般的ですが、JavaScriptのような言語では大量の辞書を扱うのには不向きです。そこで自動的に判定するTinySegmenterを使ってみましょう。 分かち書きのサンプルです。機械的分類ですが、精度は高いように見えます。 2と5、9と5などの連続する数値が分かれてしまっているのが無念。しかし凄いです。 TinySegmenterでは解析は全てクライアントサイドで行われます。ライブラリは僅か25KBです。機械学習型であり、n-gramや文字種を組み合わせつつ分類を行っています。そのため新聞のような文字種が様々に組み合わさったある程度の長さを持った文章に対して強い反面、チャットや短いメッセージ、平仮名のみと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 - Speaker Deck
12 “Made-in-Japan” English Terms that Might Confuse English Speakers
2012年版、漢字も揃っている日本語のフリーフォントのまとめ
本を読む 日本語テキストで使われている単語を辞書順にリストアップするワンライナー
まとめよう、あつまろう - Togetter
