linux nf_conntrack 连接跟踪机制
阅读原文时间:2023年07月11日阅读:2

PRE_ROUTING和LOCAL_OUT点可以看作是整个netfilter的入口,而POST_ROUTING和LOCAL_IN可以看作是其出口;

报文到本地:PRE_ROUTING----LOCAL_IN---本地进程

需要本机转发的数据包:PRE_ROUTING---FORWARD---POST_ROUTING---外出

从本机发出的数据包:LOCAL_OUT----POST_ROUTING---外出

数据包文到达内核协议栈时,使用sk_buff{}(即skb),其类型为struct nf_conntrack  *;该结构记录了连接记录被公开应用的计数,也方便其他地方对连接跟踪的引用;

连接跟踪在实际应用中一般都通过强制类型转换将nfct转换成指向struct nf_conn { }类型;

同时:skb->nfctinfo 记录了该数据包的连接状态和该连接状态的相关信息;nfctinfo表示了每个数据包的几种连接状态;

Neftilter框架用struct   nf_conn{ }来记录一个数据包与其连接的状态关系;

其中nfctinfo 取值有

/* Connection state tracking for netfilter. This is separated from,
but required by, the NAT layer; it can also be used by an iptables
extension. */
enum ip_conntrack_info {
/* Part of an established connection (either direction).
已建立连接的一部分(任一方向) */
IP_CT_ESTABLISHED,

/\* Like NEW, but related to an existing connection, or ICMP error  
   (in either direction). \*/  

/* 已建立连接的关联连接,或者是ICMP错误(任一方向) */
IP_CT_RELATED,

/\* Started a new connection to track (only  
       IP\_CT\_DIR\_ORIGINAL); may be a retransmission. \*/  

/* 开始一个新连接; 可能是重传 */
IP_CT_NEW,
/* >=这个值的都是响应方向的 */
/* >= this indicates reply direction */
IP_CT_IS_REPLY,
/* 已建立连接的响应 */
IP_CT_ESTABLISHED_REPLY = IP_CT_ESTABLISHED + IP_CT_IS_REPLY,
/* 已建立连接的关联连接的响应 */
IP_CT_RELATED_REPLY = IP_CT_RELATED + IP_CT_IS_REPLY,
/* No NEW in reply direction. */
/* IP_CT类型的数量 */
/* Number of distinct IP_CT types. */
IP_CT_NUMBER,

/\* only for userspace compatibility \*/  

#ifndef __KERNEL__
IP_CT_NEW_REPLY = IP_CT_NUMBER,
#endif
};

在连接跟踪内部,收到的每个skb首先被转换成一个nf_conntrack_tuple{}结构,也就是说nf_conntrack_tuple{}结构才是连接跟踪系统所“认识”的数据包 ;

skb和ip_conntrack_tuple{}结构之间是如何转换的呢?

对于TCP/UDP协议,根据“源、目的IP+源、目的端口”再加序列号就可以唯一的标识一个数据包了;对于ICMP协议,根据“源、目的IP+类型+代号”再加序列号才可以唯一确定一个ICMP报文等等

nf_conntrack 数据结构

/*
struct sk_buff {

  struct nf\_conntrack \*nfct;//指向struct nf\_conn实例  
  ..............  

};
*/
struct nf_conn {//每个struct nf_conn实例代表一个连接。每个skb都有一个指针,指向和它相关联的连接。
/* Usage count in here is 1 for hash table/destruct timer, 1 per skb,
* plus 1 for any connection(s) we are `master' for
*
* Hint, SKB address this struct and refcnt via skb->nfct and
* helpers nf_conntrack_get() and nf_conntrack_put().
* Helper nf_ct_put() equals nf_conntrack_put() by dec refcnt,
* beware nf_ct_get() is different and don't inc refcnt.
*/
struct nf_conntrack ct_general; //对连接的引用计数

spinlock\_t    lock;  
u16        cpu;

/\* These are my tuples; original and reply \*/  
/\* Connection tracking(链接跟踪)用来跟踪、记录每个链接的信息(目前仅支持IP协议的连接跟踪)。  
        每个链接由“tuple”来唯一标识,这里的“tuple”对不同的协议会有不同的含义,例如对tcp,udp  
             来说就是五元组: (源IP,源端口,目的IP, 目的端口,协议号),对ICMP协议来说是: (源IP, 目  
        的IP, id, type, code), 其中id,type与code都是icmp协议的信息。链接跟踪是防火墙实现状态检  
        测的基础,很多功能都需要借助链接跟踪才能实现,例如NAT、快速转发、等等。\*/  
struct nf\_conntrack\_tuple\_hash tuplehash\[IP\_CT\_DIR\_MAX\];//正向和反向的连接元组信息。  

/* 这是一个位图,是一个状态域。在实际的使用中,它通常与一个枚举类型ip_conntrack_status(位于include/linux/netfilter_ipv4/ip_conntrack.h,Line33)进行位运算来判断连接的状态。其中主要的状态包括:

IPS_EXPECTED(_BIT),表示一个预期的连接

IPS_SEEN_REPLY(_BIT),表示一个双向的连接

IPS_ASSURED(_BIT),表示这个连接即使发生超时也不能提早被删除

IPS_CONFIRMED(_BIT),表示这个连接已经被确认(初始包已经发出) */
/* 可以设置由enum ip_conntrack_status中描述的状态 */
/* Have we seen traffic both ways yet? (bitset) */
unsigned long status;//该连接的连接状态

/\* Timer function; drops refcnt when it goes off. \*/  
struct timer\_list timeout; //连接垃圾回收定时器  连接跟踪的超时时间 

possible\_net\_t ct\_net;

/\* all members below initialized via memset \*/  
u8 \_\_nfct\_init\_offset\[0\];  

/*结构ip_conntrack_expect位于ip_conntrack.h,这个结构用于将一个预期的连接分配给现有的连接,也就是说本连接是这个master的一个预期连接*/
/* If we were expected by an expectation, this will be it */
struct nf_conn *master;//如果该连接是期望连接,指向跟其关联的主连接

#if defined(CONFIG_NF_CONNTRACK_MARK)
u_int32_t mark;
#endif

#ifdef CONFIG_NF_CONNTRACK_SECMARK
u_int32_t secmark;
#endif

/\* Extensions \*/ /\*指向扩展结构,该结构中包含一些基于连接的功能扩展处理函数 \*/  
struct nf\_ct\_ext \*ext;

/\* Storage reserved for other modules, must be the last member \*/  
union nf\_conntrack\_proto proto; /\*存储特定协议的连接跟踪信息 也就是不同协议实现连接跟踪的额外参数 \*/  

};

//其中最主要的就是tuplehash(跟踪连接双方向数据)和status(记录连接状态)

在status中可以设置的标志,由下面的enum ip_conntrack_status描述,它们可以共存;
/* Connection state tracking for netfilter. This is separated from,
but required by, the NAT layer; it can also be used by an iptables
extension. */
enum ip_conntrack_info {
/* Part of an established connection (either direction). 表示这个数据包对应的连接在两个方向都有数据包通过,
并且这是ORIGINAL初始方向数据包(无论是TCP、UDP、ICMP数据包,
只要在该连接的两个方向上已有数据包通过,就会将该连接设置为IP_CT_ESTABLISHED状态。不会根据协议中的标志位进行判断,
例如TCP的SYN等)。但它表示不了这是第几个数据包,也说明不了这个CT是否是子连接。*/
IP_CT_ESTABLISHED,

/\* Like NEW, but related to an existing connection, or ICMP error  
   (in either direction). 表示这个数据包对应的连接还没有REPLY方向数据包,当前数据包是ORIGINAL方向数据包。  
   并且这个连接关联一个已有的连接,是该已有连接的子连接,?  
   磗tatus标志中已经设置了IPS\_EXPECTED标志,该标志在init\_conntrack()函数中设置)。但无法  

判断是第几个数据包(不一定是第一个)*/
IP_CT_RELATED,

/\* Started a new connection to track (only  
       IP\_CT\_DIR\_ORIGINAL); may be a retransmission.  
       表示这个数据包对应的连接还没有REPLY方向数据包,当前数据包是ORIGINAL方向数据包,该连接不是子连接。但无法判断是  

第几个数据包(不一定是第一个*/
IP_CT_NEW,

/\* >= this indicates reply direction这个状态一般不单独使用,通常以下面两种方式使用 \*/  
IP\_CT\_IS\_REPLY,  

/* 表示这个数据包对应的连接在两个方向都有数据包通过,并且这是REPLY应答方向数据包。但它表示不了这是
第几个数据包,也说明不了这个CT是否是子连接。*/
IP_CT_ESTABLISHED_REPLY = IP_CT_ESTABLISHED + IP_CT_IS_REPLY,
/*这个状态仅在nf_conntrack_attach()函数中设置,用于本机返回REJECT,例如返回一个ICMP目的不可达报文,
或返回一个reset报文。它表示不了这是第几个数据包
*/
IP_CT_RELATED_REPLY = IP_CT_RELATED + IP_CT_IS_REPLY,
/* No NEW in reply direction. */

/\* Number of distinct IP\_CT types. \*/  
IP\_CT\_NUMBER,

/\* only for userspace compatibility \*/  

#ifndef __KERNEL__
IP_CT_NEW_REPLY = IP_CT_NUMBER,
#endif
};

#define NF_CT_STATE_INVALID_BIT (1 << 0)
#define NF_CT_STATE_BIT(ctinfo) (1 << ((ctinfo) % IP_CT_IS_REPLY + 1))
#define NF_CT_STATE_UNTRACKED_BIT (1 << (IP_CT_NUMBER + 1))

/* Bitset representing status of connection. */
enum ip_conntrack_status {
/* It's an expected connection: bit 0 set. This bit never changed */
IPS_EXPECTED_BIT = 0,//表示该连接是个子连接
IPS_EXPECTED = (1 << IPS_EXPECTED_BIT),

/\* We've seen packets both ways: bit 1 set.  Can be set, not unset. \*/  
IPS\_SEEN\_REPLY\_BIT = 1,//表示该连接上双方向上都有数据包了  
IPS\_SEEN\_REPLY = (1 << IPS\_SEEN\_REPLY\_BIT),

/\* Conntrack should never be early-expired.  
TCP:在三次握手建立完连接后即设定该标志。UDP:如果在该连接上的两个方向都有数据包通过,则再有数据包在该连接上通过时?  
就设定该标志。ICMP:不设置该标志  
\*/  
IPS\_ASSURED\_BIT = 2,

IPS\_ASSURED = (1 << IPS\_ASSURED\_BIT),

/\* Connection is confirmed: originating packet has left box  
表示该连接已被添加到net->ct.hash表\*/  
IPS\_CONFIRMED\_BIT = 3,  
IPS\_CONFIRMED = (1 << IPS\_CONFIRMED\_BIT),

/\* Connection needs src nat in orig dir.  This bit never changed.  
在POSTROUTING处,当替换reply tuple完成时, 设置该标记\*/  
IPS\_SRC\_NAT\_BIT = 4,  
IPS\_SRC\_NAT = (1 << IPS\_SRC\_NAT\_BIT),

/\* Connection needs dst nat in orig dir.  This bit never changed.  
在PREROUTING处,当替换reply tuple完成时, 设置该标记\*/  
IPS\_DST\_NAT\_BIT = 5,  
IPS\_DST\_NAT = (1 << IPS\_DST\_NAT\_BIT),

/\* Both together. \*/  
IPS\_NAT\_MASK = (IPS\_DST\_NAT | IPS\_SRC\_NAT),

/\* Connection needs TCP sequence adjusted. \*/  
IPS\_SEQ\_ADJUST\_BIT = 6,  
IPS\_SEQ\_ADJUST = (1 << IPS\_SEQ\_ADJUST\_BIT),

/\* NAT initialization bits.  在POSTROUTING处,已被SNAT处理,并被加入到bysource链中,设置该标记\*/  
IPS\_SRC\_NAT\_DONE\_BIT = 7,  
IPS\_SRC\_NAT\_DONE = (1 << IPS\_SRC\_NAT\_DONE\_BIT),

IPS\_DST\_NAT\_DONE\_BIT = 8,//在PREROUTING处,已被DNAT处理,并被加入到bysource链中,设置该标记  
IPS\_DST\_NAT\_DONE = (1 << IPS\_DST\_NAT\_DONE\_BIT),

/\* Both together \*/  
IPS\_NAT\_DONE\_MASK = (IPS\_DST\_NAT\_DONE | IPS\_SRC\_NAT\_DONE),

/\* Connection is dying (removed from lists), can not be unset.  
表示该连接正在被释放,内核通过该标志保证正在被释放的ct不会被其它地方再次引用。有了这个标志,当某个连接要被删  
  除时,即使它还在net->ct.hash中,也不会再次被引 用\*/  
IPS\_DYING\_BIT = 9,  
IPS\_DYING = (1 << IPS\_DYING\_BIT),

/\* Connection has fixed timeout.  
 固定连接超时时间,这将不根据状态修改连接超时时间。通过函数nf\_ct\_refresh\_acct()修改超时时间时检查该标志\*/  
IPS\_FIXED\_TIMEOUT\_BIT = 10,  
IPS\_FIXED\_TIMEOUT = (1 << IPS\_FIXED\_TIMEOUT\_BIT),

/\* Conntrack is a template  
 由CT target进行设置(这个target只能用在raw表中,用于为数据包构建指定ct,并打上该标志),用于表明这个ct是由CT target创建\*/  
IPS\_TEMPLATE\_BIT = 11,  
IPS\_TEMPLATE = (1 << IPS\_TEMPLATE\_BIT),

/\* Conntrack is a fake untracked entry \*/  
IPS\_UNTRACKED\_BIT = 12,  
IPS\_UNTRACKED = (1 << IPS\_UNTRACKED\_BIT),

/\* Conntrack got a helper explicitly attached via CT target. \*/  
IPS\_HELPER\_BIT = 13,  
IPS\_HELPER = (1 << IPS\_HELPER\_BIT),  

};

/* Connections have two entries in the hash table: one for each way */
struct nf_conntrack_tuple_hash {
struct hlist_nulls_node hnnode;
struct nf_conntrack_tuple tuple;
};
nf_ct_ext用于实现对连接跟踪的扩展;
/* Extensions: optional stuff which isn't permanently in struct. */
struct nf_ct_ext {
struct rcu_head rcu;
u16 offset[NF_CT_EXT_NUM];
u16 len;
char data[0];
};

nf_conntrack_tuple 的分析:

/* The protocol-specific manipulable parts of the tuple: always in
* network order
*/
union nf_conntrack_man_proto {
/* Add other protocols here. */
__be16 all;

struct {  
    \_\_be16 port;  
} tcp;  
struct {  
    \_\_be16 port;  
} udp;  
struct {  
    \_\_be16 id;  
} icmp;  
struct {  
    \_\_be16 port;  
} dccp;  
struct {  
    \_\_be16 port;  
} sctp;  
struct {  
    \_\_be16 key;    /\* GRE key is 32bit, PPtP only uses 16bit \*/  
} gre;  

};

/* The manipulable part of the tuple. */
struct nf_conntrack_man {
union nf_inet_addr u3; /* 三层识别信息 */
union nf_conntrack_man_proto u;/* 四层识别信息 */
/* Layer 3 protocol 三层协议号 */
u_int16_t l3num;
};

/* This contains the information to distinguish a connection.
该结构包含源目的信息用来区分一条连接 */
struct nf_conntrack_tuple {
struct nf_conntrack_man src;/* 源, */
/* These are the parts of the tuple which are fixed. */
struct { /* 目的,不可操作? */
union nf_inet_addr u3;
union {
/* Add other protocols here. */
__be16 all;

        struct {  
            \_\_be16 port;  
        } tcp;  
        struct {  
            \_\_be16 port;  
        } udp;  
        struct {  
            u\_int8\_t type, code;  
        } icmp;  
        struct {  
            \_\_be16 port;  
        } dccp;  
        struct {  
            \_\_be16 port;  
        } sctp;  
        struct {  
            \_\_be16 key;  
        } gre;  
    } u;  
    /\* The protocol.  协议\*/  
    u\_int8\_t protonum;  
    /\* The direction (for tuplehash) \*/ /\* 方向(tuplehash使用) \*/  
    u\_int8\_t dir;  
} dst;  

};

Netfilter将每一个数据包转换成tuple,再根据tuple计算出hash值,这样,就可以使用nf_conntrack_hash[hash_id]找到hash表中链表的入口,并组织链表

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章