IRQ域层级结构:
在某些架构上,可能有多个中断控制器参与将一个中断从设备传送到目标CPU。
让我们来看看x86平台上典型的中断传递路径吧
Device --> IOAPIC -> Interrupt remapping Controller -> Local APIC -> CPU
涉及到的中断控制器有三个:
如果是之前就对x86的中断控制器比较熟悉的同学,并且细心的话,会发现我们将 中断重映射控制器 的顺序排在了 Local APIC 控制器 之前。
为了支持这样的硬件拓扑结构,使软件架构与硬件架构相匹配,为每个中断控制器建立一
个irq_domain数据结构,并将这些irq_domain组织成层次结构。linux中断处理子系统有两个很重要的概念就是irq_chip和irq_domain,IOMMU为了支持interrupt remapping也增加了这两个东西。
理解这点非常重要,irq_remap 模块必须按照irq 的子系统方式来实现 irq_chip 和irq_domain.
在建立irq_domain层次结构时,靠近设备的irq_domain为子域,靠近CPU的
irq_domain为父域。所以在上面的例子中,将建立如下的层次结构。
::
CPU Vector irq_domain (root irq_domain to manage CPU vectors)
^
|
Interrupt Remapping irq_domain (manage irq_remapping entries)
^
|
IOAPIC irq_domain (manage IOAPIC delivery entries/pins)
使用irq_domain层次结构的主要接口有四个:
为了支持irq_domain层次结构,需要做如下修改:
一个新的字段 'parent' 被添加到irq_domain结构中;它用于维护irq_domain的层次信息。
一个新的字段 'parent_data' 被添加到irq_data结构中;它用于建立层次结构irq_data以
匹配irq_domain层次结构。irq_data用于存储irq_domain指针和硬件irq号。
新的回调被添加到irq_domain_ops结构中,以支持层次结构的irq_domain操作。
在支持分层irq_domain和分层irq_data准备就绪后,为每个中断控制器建立一个irq_domain结
构,并为每个与IRQ相关联的irq_domain分配一个irq_data结构。现在我们可以再进一步支持堆
栈式(层次结构)的irq_chip。也就是说,一个irq_chip与层次结构中的每个irq_data相关联。
一个子irq_chip可以自己或通过与它的父irq_chip合作来实现一个所需的操作。
通过堆栈式的irq_chip,中断控制器驱动只需要处理自己管理的硬件,在需要的时候可以向其父
irq_chip请求服务。所以我们可以实现更简洁的软件架构。
为了让中断控制器驱动程序支持irq_domain层次结构,它需要做到以下几点:
实现 irq_domain_ops.alloc 和 irq_domain_ops.free
可选择地实现 irq_domain_ops.activate 和 irq_domain_ops.deactivate.
可选择地实现一个irq_chip来管理中断控制器硬件。
不需要实现irq_domain_ops.map和irq_domain_ops.unmap,它们在层次结构
irq_domain中是不用的。
irq_domain层次结构绝不是x86特有的,大量用于支持其他架构,如ARM、ARM64等。
ir 模块,ir就是interrupt remapping的简写,下同。
//caq:既然是中断ir,那么既要完成irq_domain_ops的实现,又要完成irq_chip的实现,如同背景介绍单元
static struct irq_chip intel_ir_chip = {
.name = "INTEL-IR",
.irq_ack = apic_ack_irq,
.irq_set_affinity = intel_ir_set_affinity,//caq:ir 对irq_chip只实现了部分函数
.irq_compose_msi_msg = intel_ir_compose_msi_msg,
.irq_set_vcpu_affinity = intel_ir_set_vcpu_affinity,
};
而irq_domain的实现如下:
//caq:主要完成irq_domain相关的ops操作
static const struct irq_domain_ops intel_ir_domain_ops = {
.alloc = intel_irq_remapping_alloc,//caq:在某个irq_domain中申请一段irqs
.free = intel_irq_remapping_free,
.activate = intel_irq_remapping_activate,
.deactivate = intel_irq_remapping_deactivate,
};
kvm的物理中断号来自于vfio,vfio_msi_set_vector_signal向系统申请物理中断号,传递给kvm,当外设触发中断后,
IOMMU先处理,再给vcpu所在的物理cpu发起一个物理中断,物理cpu从not-root exit出来,
vfio的vfio_msihandler进行中断处理,通过eventfd给kvm一个信号,
kvm更新VMCS中虚拟中断字段,物理cpu重新enter non-root模式把虚拟中断中断注入。
Interrupt Posting是在Interrupt Remapping的基础上进一步提升了直通设备的中断处理效率,使用Posting模式时,
vcpu可以直接在non-root模式下处理中断而不会被vm-exit到宿主机。
struct pi_desc {
u32 pir[8];//caq:每个bit代表一个vector,一共表示32*8个vector,posting哪个vector,对应bit就置1
union {
struct {
u16 on : 1;//caq:有中断Posting事件
u16 sn : 1;//caq:非紧急中断,是否要立即通知
u16 rsvd_1 : 14;
u8 nv;//caq:nv的值为如下两个
//#define POSTED_INTR_VECTOR 0xf2//caq:当前vcpu正在执行
#define POSTED_INTR_WAKEUP_VECTOR 0xf1//caq:当前vcpu是休眠状态,硬件通知的中断是通知的vcpu所在的物理cpu,物理cpu收到中断事件后需要唤醒vcpu。
u8 rsvd_2;
u32 ndst;
};
u64 control;
};
u32 rsvd[6];
}
SIZE: 64
中断虚拟化的芯片发展路径可以看做:
1、8259虚拟实现,pic/apic虚拟实现,msi/msix的虚拟实现
伴随着的是,用户空间实现中断虚拟化,kvm实现中断虚拟化,最后是在硬件层面实现中断虚拟化。(也就是virtual apic page 来替代 apic-access page 的过程)
调试功能:
打开CONFIG_GENERIC_IRQ_DEBUGFS,可让IRQ子系统的大部分内部结构都在debugfs中暴露出来。
参考资料《Documentation/translations/zh_CN/core-api/irq/irq-domain.rst》
手机扫一扫
移动阅读更方便
你可能感兴趣的文章