DeepGEMM 借鉴了 CUTLASS 的一些思路，但没有直接依赖其复杂的模板系统，而是自行实现了一套更简洁的代码，既保证性能又易于理解和学习。

其中，FlashAttention是斯坦福联合纽约州立大学在22年6月份提出的一种具有IO感知，且兼具快速、内存高效的新型注意力算法；CUTLASS是由英伟达开发和 ...