エンコーディング

計算機の世界では、あらゆる情報は０と１の二進数で表されます。文字も例外ではなく、各文字に固有の番号が割り当てられています。これを文字コードと呼びます。文字コードには様々な種類がありますが、文字を表すのに必要なデータ量の違いから、大きく分けて１バイト文字、２バイト文字、マルチバイト文字といった種類があります。日本語を扱う上で特に重要なのが２バイト文字です。この仕組みについて詳しく見ていきましょう。 １バイト文字は、８ビット、つまり０と１の組み合わせ８桁で文字を表します。一方で、２バイト文字は１６ビット、０と１の組み合わせ１６桁で文字を表します。ビット数が大きくなるほど、より多くの情報を表現できるため、１バイト文字では表現できない複雑な文字も扱うことができます。日本語はひらがな、カタカナ、漢字といった文字の種類が多く、１バイト文字だけでは表現しきれません。そこで、日本語を表現するために２バイト文字が用いられています。 ２バイト文字は、日本語以外にも中国語や韓国語など、文字の種類が多い言語で使用されています。代表的な２バイト文字コードとして、日本語ではＪＩＳコード、シフトＪＩＳコード、日本語ＥＵＣなどが挙げられます。これらの文字コードは、それぞれ異なる規則で文字と番号を対応させています。そのため、異なる文字コードで作成された文書を適切に表示するためには、正しい文字コードを指定する必要があります。文字化けと呼ばれる文字の乱れが発生する原因の一つは、この文字コードの不一致です。 近年の文字コードの主流は、世界中の様々な言語を統一的に扱えるように設計された、Unicode(ユニコード)です。Unicodeは、あらゆる文字に固有の番号を割り当て、文字化けの問題を解消することを目指しています。Unicodeの中でも、UTF-8、UTF-16といった符号化方式があり、これらは２バイト文字だけでなく、より多くのビット数を使って文字を表現することも可能です。Unicodeの普及により、異なる言語間の文字のやり取りがスムーズになり、国際化が促進されています。

私たちが普段何気なく見ている文字や数字、記号といった文字は、コンピューターにとっては全く異なる姿で認識されています。コンピューターは、あらゆる情報を0と1の二進数で処理しています。この0と1の最小単位は「ビット」と呼ばれ、電気が流れるか流れないかを表しています。しかし、一つの文字を表すには、ビット一つでは情報量が少なすぎます。 そこで、複数のビットを組み合わせて文字を表現する方法が考え出されました。例えば、8個のビットを組み合わせると、256通りのパターンを作ることができます。このパターンを、アルファベットや数字、記号といった様々な文字に割り当てることで、コンピューターは文字を処理できるようになるのです。 この、文字とビット列の対応関係を定めたものを「文字コード」と呼びます。代表的な文字コードとしては、「ASCIIコード」や「Unicode」などがあります。ASCIIコードは主に英語圏で使用される文字を表現するもので、Unicodeは世界中の様々な言語の文字を網羅することを目指して作られました。 つまり、私たちが普段見ている文字は、コンピューター内部では決められた規則に従って、0と1のビット列に変換されているのです。