Quanta（NeurIPS 2024）论文QuanTA：高效高秩细调LLMs的量子信息量适应。该研究提出了一种名为QuanTA的方法，旨在通过量子信息量适应技术来提高大型语言模型（LLMs）的性能。该方法的核心思想是利用量子信息量适应技术来调整LLMs的权重，使其更加接近真实分布。

在传统的细调方法中，LLMs的权重是通过梯度下降法进行调整的，这种方法可能会导致权重偏离真实分布。为了解决这个问题，QuanTA采用了量子信息量适应技术。该方法首先计算LLMs的权重与其真实分布之间的差异，然后将这些差异映射到一个量子比特上，使得权重能够更好地接近真实分布。

此外，QuanTA还引入了一种新的优化策略，即使用量子门来调整权重。与传统的梯度下降法不同，量子门可以更有效地处理非线性问题，从而加速收敛速度并提高性能。

总之，QuanTA是一种高效的高秩细调LLMs的方法，通过结合量子信息量适应技术和量子门优化策略，可以显著提高LLMs的性能。(NeurIPS 2024) QuanTA: Efficient High-Rank Fine-Tuning of LLMs with Quantum-Informed Tensor Adaptation