今回は、 文字コードに関連するセキュリティの話題では古参ともいえるUTF-8の冗長なエンコードというテーマについて紹介します。 UTF-8とは UTF-8は、 各文字を1～4バイトの可変長で表現するUnicodeの符号化方式のひとつです。 U＋0000からU＋007Fの範囲の文字を ...

CSVファイルを作って、いざExcelで開いたら 文字化け…。 「ちゃんとデータを作ったのに、どうして？」と困ったことはありませんか？ その原因のひとつが エンコーディングの違い です。 特に、utf-8・Shift_JIS・utf-8-sig の違いを理解しておくと、文字化け ...

パソコン等でファイルを保存するときに、「文字コード」を指定します。 まずはその文字コードとは何なのかを簡単に説明すると 文字コードとはコンピュータが文字を理解するためのルール（エンコード）のことで、UTF-8はその中の一つです。 UTF-8は世界中 ...

Windows 10の日本語ロケール（日本語文字コード）は慣例的にShift_JISとなっていたが、時代の流れと共にUTF-8化が進んできた。例えばメモ帳で作成したテキストファイルのファイル形式は、すでにANSI（Shift_JIS）からBOMなしUTF-8に変更されている。 このUTF-8を ...

米Microsoftは12月10日（現地時間）、「Windows 10 Insider Preview」Build 18298（19H1）を“Windows Insider Program”の“Fast”リングに参加するユーザーに対して公開した。本ビルドでは「メモ帳」で多くの機能強化と改善が施されている。 まず注目したいのは、バイト ...

The Unicode Standard permits the BOM in UTF-8, but does not require nor recommend its use. Byte order has no meaning in UTF-8. Gulp strips the BOM as it's useless. This is for the few dumb tools that ...

The Unicode Standard permits the BOM in UTF-8, but does not require nor recommend its use. Byte order has no meaning in UTF-8.

There may be times when you are working in the Linux terminal and suddenly see the “can’t set the locale” error and see some mysterious characters like ...