如何让AI推理更高效？AI推理的问题在于数据量变小，模型参数固定，那么在给定模型且低并发的场景下，如何发挥推理的效果。理论上说这已经是不完全的软件问题了。虽然软件方面可以通过底层的并行设计、优化调度策略之类的方式提高在当前硬件上面的运行效率，但是这一切优化不如让硬件配合软件变一下...