AI/Paper1 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION Year: 2022원문: https://arxiv.org/abs/2110.02861저자: Facebook AI Research GitHub - TimDettmers/bitsandbytes: Accessible large language models via k-bit quantization for PyTorch.Accessible large language models via k-bit quantization for PyTorch. - TimDettmers/bitsandbytesgithub.com모델 크기를 늘리는것은 리소스에 대해 더 나은 성능을 달성하는 방법입니다. (Scaling Laws for Neural Language Models 논문 참고)이런 대규모 모델을 학습하려면 model, gradie.. 2024. 5. 3. 이전 1 다음