Jak skalować swój model, według DeepMind
Myślenie systemowe to wszystko, czego potrzebujesz.
W niespodziewanym wydaniu niektórzy badacze opublikowali „mały podręcznik” o tym, jak skalują modele w GDM:
Komentator potwierdził, że była to dokumentacja wewnętrzna GDM, z wyredagowanymi odniesieniami do Gemini.
Jak skalować swój model składa się z 12 części i zaczyna się od miłej aktualizacji, jak dziś wyglądają standardowe transformatory:
i wyjaśnia, jak wnioskowanie różni się od standardowego rozumienia uwagi O(N^2):
ale także wprowadza standardowe koncepcje wysokowydajnych obliczeń, takie jak rooflines:
nawet zawierając przykładowe problemy dla zmotywowanego czytelnika do przetestowania swojego zrozumienia... a komentarze są czytane w czasie rzeczywistym.
