前言
中文亂碼問題在我們日常開發中司空見慣,那麽亂碼問題是如何産生的呢?又怎樣去解決亂碼問題呢?本文將結合基本概念和例子展開闡述,希望大家有收獲。
一個簡單亂碼的例子
package whx;
import java.io.UnsupportedEncodingException;
public class TestEncodeAndDecode {
public static void main(String[] args) throws UnsupportedEncodingException {
String str = "測試中文亂碼";
byte[] b = str.getBytes("GBK");
System.out.println(new String (b,"UTF-8"));
}
}
複制代碼
用GBK編碼,用utf-8解碼,産生亂碼,運行結果如下:
相關基礎概念
要理解亂碼的根源,需要先了解清楚位、字節、字符、字符集等相關概念。
位(bit)
位是計算機存儲數據的最小單位,1或者0就表示1位,如10010010就表示8位的二進制數。
字節
字節是計算機信息技術用于計量存儲容量的一種計量單位,作爲一個單位來處理的一個二進制數字串,是構成信息的一個小單位。
1 B = 8 bit (1字節等于8位)
1 KB = 1024 B = 1024 字節
1 MB = 1024 KB
1 GB = 1024 MB
1 TB = 1024 GB
複制代碼
字符
字符是指計算機中使用的字母、數字、字和符號,是數據結構中最小的數據存取單位。如a、A、B、b、大、+、*、%等都表示一個字符;
在 ASCII 編碼中,一個英文字母字符存儲需要1個字節。
在 GB 2312 編碼或 GBK編碼中,一個漢字字符存儲需要2個字節。
在UTF-8編碼中,一個英文字母字符存儲需要1個字節,一個漢字字符儲存需要3到4個字節。
在UTF-16編碼中,一個英文字母字符或一個漢字字符存儲都需要2個字節
在UTF-32編碼中,世界上任何字符的存儲都需要4個字節
複制代碼
字符集
字符集是多個字符的集合,字符集種類較多,每個字符集包含的字符個數不同。常見字符集名稱:
ASCII字符集
GB2312字符集
Unicode字符集
複制代碼
編碼、解碼
計算機只認識二進制的1和0,而人類都是有自己的語言的,雙方要能進行信息交流,必須要有從文字到0、1的轉化,以及0、1到文字轉化。
編碼: 就是將文本字符轉換成計算機可以識別的0、1機器碼。
解碼: 將存儲在計算機中的二進制數解析成文字、字符。
常見字符集及其編碼方式
常見字符集有ASCII、GBK、Unicode等
ASCII字符集
ASCII字符集:它包括英文字母、阿拉伯數字和西文符號等可顯示字符,以及回車鍵、退格等控制字符。
ASCII 編碼:它是美國制定的字符編碼,用于將英語字符轉化爲二進制,規定了128個字符的編碼。
GBXXXX字符集
GBXXXX系列包括GB2312、GBK、GB18030,適用于漢字處理、漢字通信等系統之間的信息交換。
GB2312
- 全稱是《信息交換用漢字編碼字符集》,支持六千多漢字。
- 國家簡體中文字符集,兼容ASCII,中國大陸和新加坡都采用此編碼。
- 每個漢字及符號以兩個字節來表示。
- 高字節從A1~F7, 低字節從A1~FE。將高字節和低字節分別加上0XA0即可得到編碼。
GBK
- GBK全稱《漢字內碼擴展規範》,擴展了GB2312,加入對繁體字的支持,支持兩萬多漢字。
- 每個漢字及符號也是以兩個字節來表示。
- 高字節從81~FE,低字節從40~FE。
GB18030
- GB 18030,全稱《信息技術 中文編碼字符集》,與GB2312、GBK編碼兼容,可支持27484個文字
- 采用變長多字節編碼,每個字可以由1個、2個或4個字節組成。
- 1字節從00~7F; 2字節高字節從81~FE,低字節從40到7E和80到FE;4字節第一三字節從81~FE,第二四字節從30~39。
Unicode 字符集
Unicode是國際組織制定的可以容納世界上所有文字和符號的字符編碼方案。UNICODE字符集有多種編碼方式,分別是UTF-8,UTF-16和UTF-32。
UTF-8
- 是針對Unicode的一種可變長度字符編碼。
- 它可以用來表示Unicode標准中的任何字符,而且其編碼中的第一個字節仍與ASCII相容,使得原來處理ASCII字符的軟件無須或只進行少部份修改後,便可繼續使用。
- UTF-8使用1~4字節爲每個字符編碼(ASCIl字符只需1字節編碼, 拉丁文、希臘文等需要兩個字節編碼, 中日韓文字使用三字節編碼, 其他極少使用的語言字符使用4字節編碼號)
UTF-16
- 把Unicode字符集的抽象碼位映射爲16位長的整數(即碼元)的序列,用于數據存儲或傳遞。
- UTF-16比起UTF-8,好處在于大部分字符都以固定長度的字節 (2字節) 儲存,但UTF-16卻無法兼容于ASCII編碼。
UTF-32
- 一種將Unicode字符編碼的協定,對每一個Unicode碼位使用恰好32位元,其它的 Unicode 編碼方式則使用不定長度編碼。
- 采用4字節編碼,處理速度比較快,但是浪費空間,傳輸速度慢。
一個例子理解編碼解碼的廬山面目
我們敲代碼的程序員,接觸最多的就是“hello word”。計算機只認識0和1,它是怎麽展示hello word的呢?
上一小節,我們已經知道編碼、字符集的知識。我們可以用ASCII編碼,把“hello word”翻譯成計算機認識的0、1。有興趣的朋友可以去查一下 ASCII對照表
計算機存儲的是hello world的0、1二進制碼,先將二進制碼解碼成對應的字符,然後在屏幕上渲染出來,我們看到的就是hello world了
亂碼如何産生的呢?
亂碼産生的原因主要有兩個,一是文本字符編碼過程與解碼過程使用了不同的編碼方式,二是使用了缺少某種字體庫的字符集引起的亂碼。
編碼與解碼使用了不同的編碼方式
例子中,用了utf-8編碼,使用了GBK解碼,結果産生了亂碼。因爲在utf-8中,一個漢字用三個字節編碼,而GBK中,每個漢字用兩個字節表示,所以産生了亂碼。
使用了缺少某種字體庫的字符集
我們知道GB2312是不支持繁體字的,所以使用缺少某種字體庫的字符集編碼,會産生亂碼。
亂碼又如何解決呢
使用支持要展示字體的字符集編碼,並且編解碼使用同一種編碼方式,就可以解決亂碼問題了。
接下來列舉一下亂碼的經典場景與解決方案
IntelliJ Idea亂碼問題
IDE項目中的中文亂碼問題?File->settings->Editor->File Encodings,設置一下編碼方式utf-8
IDE控制台中文亂碼?嘗試一下這種方式,打開IDE安裝目錄,找到
在文本末尾添加-Dfile.encoding=UTF-8
數據庫亂碼問題
查看數據庫編碼:
show variables like 'character_set%'
複制代碼
設置session、global範圍的編碼方式
//session 範圍
set character_set_server=utf8;
set character_set_database=utf8;
//global 範圍
set global character_set_database=utf8;
set global character_set_server=utf8;
複制代碼
session、global範圍編碼,重啓mysql可能編碼又變回去了,可以嘗試另外一種方式。在mysql(windows環境)的my.ini配置文件中修改或添加下列內容
[mysql]
default-character-set=utf8
[mysqld]
default-character-set=utf8
[client]
default-character-set=utf8
複制代碼
編碼角度的亂碼問題
寫代碼的時候出現中文亂碼?追蹤定位到編碼解碼的地方,設置用同一種編碼方式。
寫在最後
需更加深入學習java知識的小夥伴以及即將參加面試的小夥伴可以購買以下教程哦!