iommu分析之---intel irq remap框架实现
阅读原文时间:2023年07月10日阅读:3

背景介绍:

IRQ域层级结构:

在某些架构上,可能有多个中断控制器参与将一个中断从设备传送到目标CPU。

让我们来看看x86平台上典型的中断传递路径吧

Device --> IOAPIC -> Interrupt remapping Controller -> Local APIC -> CPU

涉及到的中断控制器有三个:

  1. IOAPIC 控制器
  2. 中断重映射控制器
  3. Local APIC 控制器

如果是之前就对x86的中断控制器比较熟悉的同学,并且细心的话,会发现我们将 中断重映射控制器 的顺序排在了 Local APIC 控制器 之前。

为了支持这样的硬件拓扑结构,使软件架构与硬件架构相匹配,为每个中断控制器建立一

个irq_domain数据结构,并将这些irq_domain组织成层次结构。linux中断处理子系统有两个很重要的概念就是irq_chip和irq_domain,IOMMU为了支持interrupt remapping也增加了这两个东西。

理解这点非常重要,irq_remap 模块必须按照irq 的子系统方式来实现 irq_chip 和irq_domain.

在建立irq_domain层次结构时,靠近设备的irq_domain为子域,靠近CPU的

irq_domain为父域。所以在上面的例子中,将建立如下的层次结构。

::

    CPU Vector irq_domain (root irq_domain to manage CPU vectors)
            ^
            |
    Interrupt Remapping irq_domain (manage irq_remapping entries)
            ^
            |
    IOAPIC irq_domain (manage IOAPIC delivery entries/pins)

使用irq_domain层次结构的主要接口有四个:

  1. irq_domain_alloc_irqs(): 分配IRQ描述符和与中断控制器相关的资源来传递这些中断。
  2. irq_domain_free_irqs(): 释放IRQ描述符和与这些中断相关的中断控制器资源。
  3. irq_domain_activate_irq(): 激活中断控制器硬件以传递中断。
  4. irq_domain_deactivate_irq(): 停用中断控制器硬件,停止传递中断。

为了支持irq_domain层次结构,需要做如下修改:

  1. 一个新的字段 'parent' 被添加到irq_domain结构中;它用于维护irq_domain的层次信息。

  2. 一个新的字段 'parent_data' 被添加到irq_data结构中;它用于建立层次结构irq_data以

    匹配irq_domain层次结构。irq_data用于存储irq_domain指针和硬件irq号。

  3. 新的回调被添加到irq_domain_ops结构中,以支持层次结构的irq_domain操作。

在支持分层irq_domain和分层irq_data准备就绪后,为每个中断控制器建立一个irq_domain结

构,并为每个与IRQ相关联的irq_domain分配一个irq_data结构。现在我们可以再进一步支持堆

栈式(层次结构)的irq_chip。也就是说,一个irq_chip与层次结构中的每个irq_data相关联。

一个子irq_chip可以自己或通过与它的父irq_chip合作来实现一个所需的操作。

通过堆栈式的irq_chip,中断控制器驱动只需要处理自己管理的硬件,在需要的时候可以向其父

irq_chip请求服务。所以我们可以实现更简洁的软件架构。

为了让中断控制器驱动程序支持irq_domain层次结构,它需要做到以下几点:

  1. 实现 irq_domain_ops.alloc 和 irq_domain_ops.free

  2. 可选择地实现 irq_domain_ops.activate 和 irq_domain_ops.deactivate.

  3. 可选择地实现一个irq_chip来管理中断控制器硬件。

  4. 不需要实现irq_domain_ops.map和irq_domain_ops.unmap,它们在层次结构

    irq_domain中是不用的。

irq_domain层次结构绝不是x86特有的,大量用于支持其他架构,如ARM、ARM64等。

ir 模块,ir就是interrupt remapping的简写,下同。

//caq:既然是中断ir,那么既要完成irq_domain_ops的实现,又要完成irq_chip的实现,如同背景介绍单元
static struct irq_chip intel_ir_chip = {
    .name           = "INTEL-IR",
    .irq_ack        = apic_ack_irq,
    .irq_set_affinity   = intel_ir_set_affinity,//caq:ir 对irq_chip只实现了部分函数
    .irq_compose_msi_msg    = intel_ir_compose_msi_msg,
    .irq_set_vcpu_affinity  = intel_ir_set_vcpu_affinity,
};

而irq_domain的实现如下:

//caq:主要完成irq_domain相关的ops操作
static const struct irq_domain_ops intel_ir_domain_ops = {
    .alloc = intel_irq_remapping_alloc,//caq:在某个irq_domain中申请一段irqs
    .free = intel_irq_remapping_free,
    .activate = intel_irq_remapping_activate,
    .deactivate = intel_irq_remapping_deactivate,
};

kvm的物理中断号来自于vfio,vfio_msi_set_vector_signal向系统申请物理中断号,传递给kvm,当外设触发中断后,

IOMMU先处理,再给vcpu所在的物理cpu发起一个物理中断,物理cpu从not-root exit出来,

vfio的vfio_msihandler进行中断处理,通过eventfd给kvm一个信号,

kvm更新VMCS中虚拟中断字段,物理cpu重新enter non-root模式把虚拟中断中断注入。

Interrupt Posting是在Interrupt Remapping的基础上进一步提升了直通设备的中断处理效率,使用Posting模式时,

vcpu可以直接在non-root模式下处理中断而不会被vm-exit到宿主机。

struct pi_desc {
    u32 pir[8];//caq:每个bit代表一个vector,一共表示32*8个vector,posting哪个vector,对应bit就置1
    union {
        struct {
            u16 on : 1;//caq:有中断Posting事件
            u16 sn : 1;//caq:非紧急中断,是否要立即通知
            u16 rsvd_1 : 14;
            u8 nv;//caq:nv的值为如下两个
//#define POSTED_INTR_VECTOR        0xf2//caq:当前vcpu正在执行
#define POSTED_INTR_WAKEUP_VECTOR    0xf1//caq:当前vcpu是休眠状态,硬件通知的中断是通知的vcpu所在的物理cpu,物理cpu收到中断事件后需要唤醒vcpu。
            u8 rsvd_2;
            u32 ndst;
        };
        u64 control;
    };
    u32 rsvd[6];
}
SIZE: 64

中断虚拟化的芯片发展路径可以看做:

1、8259虚拟实现,pic/apic虚拟实现,msi/msix的虚拟实现

伴随着的是,用户空间实现中断虚拟化,kvm实现中断虚拟化,最后是在硬件层面实现中断虚拟化。(也就是virtual apic page 来替代 apic-access page 的过程)

调试功能:

打开CONFIG_GENERIC_IRQ_DEBUGFS,可让IRQ子系统的大部分内部结构都在debugfs中暴露出来。

参考资料《Documentation/translations/zh_CN/core-api/irq/irq-domain.rst》

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章