【Linux】C字节对齐

1,685 阅读9分钟

原文地址:SanFeng的网络日志

内容摘要

字节对齐是Linux编程的基础概念,也是C/C++面试中的常见题目,对于理解操作系统的行为,提高程序的执行效率有很大帮助。本文主要讲解了Linux下字节对齐的概念及原理,并以丰富的示例帮助读者理解。
如果您觉得有用,也欢迎将本文推荐给您的朋友。

什么是对齐,以及为什么要对齐

现代计算机中内存空间都是按照byte划分的,从理论上讲似乎对任何类型的变量的访问可以从任何地址开始,但实际情况是在访问特定变量的时候经常在特定的内存地址访问,这就需要各类型数据按照一定的规则在空间上排列,而不是顺序的一个接一个的排放,这就是对齐。

对齐的作用和原因

各个硬件平台对存储空间的处理上有很大的不同。一些平台对某些特定类型的数据只能从某些特定地址开始存取。其他平台可能没有这种情况,但是最常见的是如果不按照适合其平台要求对数据存放进行对齐,会在存取效率上带来损失。比如有些平台每次读都是从偶地址开始,如果一个int型(假设为 32 位系统)存放在偶地址开始的地方,那么一个读周期就可以读出,而如果存放在奇地址开始的地方,就可能会需要2个读周期,并对两次读出的结果的高低字节进行拼凑才能得到该int数据。显然在读取效率上下降很多。这也是空间和时间的博弈。

对齐的实现

通常,我们写程序的时候,不需要考虑对齐问题。编译器会替我们选择适合目标平台的对齐策略。当然,我们也可以通过给编译器传递预编译指令而改变对指定数据的对齐方法。 但是,正因为我们一般不需要关心这个问题,所以当编辑器对数据存放做了对齐,而我们不了解的话,常常会对一些问题感到迷惑。最常见的就是struct数据结构的sizeof结果,出乎意料。为此,我们需要对对齐算法所了解。

对齐的算法

由于各个平台和编译器的不同,现以本人使用的gcc version 3.2.2编译器(32位x86平台)为例子,来讨论编译器对struct数据结构中的各成员如何进行对齐的。 设结构体有如下定义:

struct A
{
    int a;
    char b;
    short c;
};

结构体A中包含了4字节长度的int一个,1字节长度的char一个和2字节长度的short型数据一个。所以A用到的空间应该是7字节。但是因为编译器要对数据成员在空间上进行对齐。 所以使用sizeof(struct A)值为8。

现在调整该结构体成员变量的顺序:

struct B
{
    char b;
    int a;
    short c;
};

这时候同样是总共7个字节的变量,但是sizeof(struct B)的值却是12。

下面我们使用预编译指令#progma pack (value)来告诉编译器,使用我们指定的对齐值来取代缺省的。

#progma pack (2) /*指定按2字节对齐*/
struct C
{
    char b;
    int a;
    short c;
}
#progma pack () /*取消指定对齐,恢复缺省对齐*/

sizeof(struct C)值是8。

修改指定对齐值为1:

#progma pack (1) /*指定按1字节对齐*/
struct D
{
    char b;
    int a;
    short c;
};
#progma pack () /*取消指定对齐,恢复缺省对齐*/

sizeof(struct D)值为7。

对齐的几个关键概念

这里面有四个概念值:

  • 1.数据类型自身的对齐值:就是上面交代的基本数据类型的自身对齐值。
  • 2.指定对齐值:#progma pack (value)时的指定对齐值value。
  • 3.结构体或者类的自身对齐值:其成员中自身对齐值最大的那个值。
  • 4.数据成员、结构体和类的有效对齐值:自身对齐值和指定对齐值中小的那个值。

对于char型数据,其自身对齐值为1,对于short型为2,对于int, float, double类型,其自身对齐值为4(32位系统),单位字节。

有了这些值,我们就可以很方便的来讨论具体数据结构的成员和其自身的对齐方式。

有效对齐值N是最终用来决定数据存放地址方式的值,最重要。

有效对齐N,就是表示“对齐在N上”,也就是说该数据的"存放起始地址%N = 0"。

而数据结构中的数据变量都是按定义的先后顺序来排放的。第一个数据变量的起始地址就是数据结构的起始地址。结构体的成员变量要对齐排放,结构体本身也要根据自身的有效对齐值圆整(就是结构体成员变量占用总长度需要是对结构体有效对齐值的整数倍,结合下面例子理解)。这样就不难理解上面的几个例子的值了。

例子分析

分析例子B

struct B
{
    char b;
    int a;
    short c;
};

假设B从地址空间0x0000开始排放。该例子中没有定义指定对齐值,在笔者环境下,该值默认为4(32位系统)。

第一个成员变量b的自身对齐值是1,比指定或者默认指定对齐值4小,所以其有效对齐值为1,所以其存放地址0x0000符合0x0000%1=0;

第二个成员变量a,其自身对齐值为4,所以有效对齐值也为4,所以只能存放在起始地址为0x0004到0x0007这四个连续的字节空间中,符合0x0004%4=0,且紧靠第一个变量;

第三个变量c,自身对齐值为2,所以有效对齐值也是2,可以存放在0x0008到0x0009这两个字节空间中,符合0x0008%2=0。所以从0x0000到0x0009存放的都是变量c;

再看数据结构B的自身对齐值为其变量中最大对齐值(这里是a),所以就是4,所以结构体的有效对齐值也是4。根据结构体圆整的要求, 0x0000到0x0009=10字节,(10+2)%4=0。所以0x0000A到0x000B也为结构体B所占用。故B从0x0000到0x000B 共有12个字节,sizeof(struct B)=12。

同理,分析上面例子C

#progma pack (2) /*指定按2字节对齐*/
struct C
{
    char b;
    int a;
    short c;
};
#progma pack () /*取消指定对齐,恢复缺省对齐*/

第一个变量b的自身对齐值为1,指定对齐值为2,所以,其有效对齐值为1,假设C从0x0000开始,那么b存放在0x0000,符合0x0000%1= 0;

第二个变量,自身对齐值为4,指定对齐值为2,所以有效对齐值为2,所以顺序存放在0x0002、0x0003、0x0004、0x0005四个连续字节中,符合0x0002%2=0;

第三个变量c的自身对齐值为2,所以有效对齐值为2,顺序存放 在0x0006、0x0007中,符合0x0006%2=0。所以从0x0000到0x00007共8字节存放的是C的变量。又C的自身对齐值为4,所以C的有效对齐值为2。又8%2=0,C只占用0x0000到0x0007的八个字节。所以sizeof(struct C)=8。

计算结构体对齐值简便方法

1 基本概念

数据类型自身的对齐值:就是上面交代的基本数据类型的自身对齐值。
指定对齐值:#progma pack (value)时的指定对齐值value。
结构体或者类的自身对齐值:其成员中自身对齐值最大的那个值。
数据成员、结构体和类的有效对齐值:自身对齐值和指定对齐值中小的那个值。

2 步骤

  • 1)确定结构体的有效对齐值
  • 2)确定每个元素的有效对齐值
  • 3)从上到下计算结构体的长度
  • 4)将第3步计算出来的长度按1)的值进行圆整

需要注意的值:

  • 1)编译器默认对齐值
  • 2)基本数据结构的自身对齐值(32位系统 & 64位系统)

附:【实验】malloc分配内存对齐原则

#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
//# pragma pack(4)
struct s1
{
    short x1;
    long x2;
};
struct s2
{
    char a;
    short b;
    long c;
    long d;
    int e;
    int f;
    int g;
    char h;
    int i;
};
int main(int argc, char** argv)
{
    printf("size = %d\n", sizeof(struct s1));
    printf("size = %d\n", sizeof(struct s2));
    struct s2* a1 = malloc(sizeof(struct s2));
    struct s2* a2 = malloc(sizeof(struct s2));
    struct s2* a3 = malloc(sizeof(struct s2));
    char* achar = malloc(sizeof(char));
    long long* alonglong = malloc(sizeof(long long));
    short* ashort = malloc(sizeof(short));
    printf("Address1 = 0x%x, \
    Address2 = 0x%x, \
    Address3 = 0x%x, \
    AddressChar = 0x%x, \
    AddressLonglong = 0x%x, AddressShort = 0x%x\n", a1, a2, a3, achar, alonglong, ashort);
    return 0;
}
//# pragma pack()

64位Linux系统:

(gdb) p &a1->a  
$$1 = 0x501010 ""  
(gdb) p &a1->b  
$$2 = (short int *) 0x501012  
(gdb) p &a1->c    
$3 = (long int *) 0x501018   
运行结果:  
<font color=red>size = 16</font>   
<font color=red>size = 48</font>  
Address1 = 0x501010, Address2 = 0x501050, Address3 = 0x501090, AddressChar = 0x5010d0, AddressLonglong = 0x5010f0, AddressShort = 0x501110.   
去掉#pragma pack(4)和#pragma pack()的注释:  
(gdb) p &a1->a  
$$1 = 0x501010 ""  
(gdb) p &a1->b   
$$2 = (short int *) 0x501012  
(gdb) p &a1->c    
$$3 = (long int *) 0x501014  

运行结果:
size = 12
size = 40
Address1 = 0x501010, Address2 = 0x501040, Address3 = 0x501070, AddressChar = 0x5010a0, AddressLonglong = 0x5010c0, AddressShort = 0x5010e0

32位Linux系统:

(gdb) p &a1->a  
$$1 = 0x804a008 ""  
(gdb) p &a1->b   
$$2 = (short int *) 0x804a00a  
(gdb) p &a1->c  
$$3 = (long int *) 0x804a00c  

运行结果:
size = 8
size = 32
Address1 = 0x804a008, Address2 = 0x804a030, Address3 = 0x804a058, AddressChar = 0x804a080, AddressLonglong = 0x804a090, AddressShort = 0x804a0a0

去掉#pragma pack(4)和#pragma pack()的注释后的运行结果一样。
这里主要看结果中struct s1和struct s2结构体的大小及struct s2中成员c的地址,可以得出一下结论(gcc版本4.1):

  • 1 Linux 64位系统下gcc编译器默认对齐为8字节
  • 2 Linux32位系统下gcc编译器默认对齐为4字节
  • 3 在64位系统#pragma pack(4)的情况下,a1->c的地址按4字节对齐而不是按8字节(long在64位下为8字节长),会不会影响a1->c的存取效率?
  • 4 在32位系统下,double和long long的有效对齐值为4,而不是8,这是因为它们在32位系统下是被当成2个32位对象来进行处理的