AI மாதிரிகளை இயக்குவது நினைவக விளையாட்டு தொழில்நுட்ப நெருக்கடியாக மாறுகிறது

AI உள்கட்டமைப்பின் விலையைப் பற்றி நாம் பேசும்போது, ​​பொதுவாக Nvidia மற்றும் GPU களில் கவனம் செலுத்தப்படுகிறது – ஆனால் நினைவகம் படத்தின் முக்கிய பகுதியாகும். ஹைப்பர்ஸ்கேலர்கள் பில்லியன் கணக்கான டாலர்கள் மதிப்புள்ள புதிய தரவு மையங்களை உருவாக்கத் தயாராகி வருவதால், DRAM சில்லுகளின் விலை கடந்த ஆண்டில் கிட்டத்தட்ட 7 மடங்கு அதிகரித்துள்ளது.

அதே நேரத்தில், சரியான தரவு சரியான நேரத்தில் சரியான முகவரை சென்றடைவதை உறுதி செய்வதற்காக அந்த நினைவகத்தை ஒழுங்கமைப்பதில் ஒழுக்கம் அதிகரித்து வருகிறது. இதில் தேர்ச்சி பெற்ற நிறுவனங்கள், அதே வினவல்களை குறைவான டோக்கன்களுடன் செய்ய முடியும், இது மடிப்புக்கும் வணிகத்தில் தங்குவதற்கும் உள்ள வித்தியாசமாக இருக்கலாம்.

செமிகண்டக்டர் பகுப்பாய்வாளர் டான் ஓ’லாஃப்லின் தனது சப்ஸ்டாக்கில் உள்ள மெமரி சிப்களின் முக்கியத்துவத்தைப் பற்றி சுவாரஸ்யமாகப் பார்க்கிறார், அங்கு அவர் வெக்காவின் தலைமை AI அதிகாரியான வால் பெர்கோவிசியுடன் பேசுகிறார். அவர்கள் இருவரும் குறைக்கடத்தி தோழர்களே, எனவே பரந்த கட்டிடக்கலையை விட சில்லுகளில் கவனம் செலுத்தப்படுகிறது; AI மென்பொருளின் தாக்கங்களும் மிகவும் குறிப்பிடத்தக்கவை.

இந்த பகுதி என்னை மிகவும் கவர்ந்தது, இதில் பெர்கோவிசி ஆந்த்ரோபிக்கின் உடனடி-கேச்சிங் ஆவணங்களின் அதிகரித்து வரும் சிக்கலைப் பார்க்கிறார்:

நாம் Anthropic’s Prompt Caching விலைப் பக்கத்திற்குச் சென்றால், இதன் பொருள் இதுதான். இது ஆறு அல்லது ஏழு மாதங்களுக்கு முன்பு மிகவும் எளிமையான பக்கமாகத் தொடங்கியது, குறிப்பாக கிளவுட் குறியீடு தொடங்கும் போது – “கேச்சிங்கைப் பயன்படுத்துங்கள், இது மலிவானது.” இப்போது இது முன் வாங்குவதற்கு எவ்வளவு பணம் எழுதப்பட்டது என்பதற்கான ஆலோசனையின் கலைக்களஞ்சியம். உங்களிடம் 5 நிமிட நிலைகள் உள்ளன, அவை தொழில்துறை முழுவதும் மிகவும் பொதுவானவை அல்லது 1 மணிநேர நிலைகள் – அதற்கு மேல் எதுவும் இல்லை. இது உண்மையில் ஒரு முக்கியமான விஷயம். நீங்கள் ஏற்கனவே எத்தனை கேச் உரிமைகளை வாங்கியுள்ளீர்கள் என்பதன் அடிப்படையில் கேச் ரீட்களின் விலை நிர்ணயம் தொடர்பான அனைத்து வகையான ஆர்பிட்ரேஜ் வாய்ப்புகளும் நிச்சயமாக உங்களுக்கு இருக்கும்.

இங்குள்ள கேள்வி என்னவென்றால், கிளவுட் உங்கள் ப்ராம்ட்களை எவ்வளவு காலம் தற்காலிக சேமிப்பு நினைவகத்தில் வைத்திருக்கும்: நீங்கள் 5 நிமிட சாளரத்திற்கு அல்லது ஒரு மணி நேர சாளரத்திற்கு அதிக கட்டணம் செலுத்தலாம். தற்காலிக சேமிப்பில் உள்ள தரவை அகற்றுவது மிகவும் மலிவானது, எனவே நீங்கள் அதை சரியாக நிர்வகித்தால், நீங்கள் நிறைய சேமிக்க முடியும். இருப்பினும், ஒரு கேட்ச் உள்ளது: வினவலில் நீங்கள் சேர்க்கும் ஒவ்வொரு புதிய தரவும் கேச் சாளரத்திலிருந்து மேலும் சிலவற்றைத் தூக்கி எறியலாம்.

இது சிக்கலான விஷயம், ஆனால் எடுத்துச் செல்வது மிகவும் எளிமையானது: AI மாடல்களில் நினைவகத்தை நிர்வகிப்பது AI இன் பெரிய பகுதியாக இருக்கும். இதைச் சிறப்பாகச் செய்யும் நிறுவனங்கள் உச்சத்துக்கு உயரும்.

மேலும் இந்த புதிய பகுதியில் இன்னும் நிறைய முன்னேற்றங்கள் செய்ய வேண்டியுள்ளது. அக்டோபரில், கேச்-ஆப்டிமைசேஷன் எனப்படும் அடுக்கில் வேலை செய்து கொண்டிருந்த டென்சர்மேஷ் என்ற ஸ்டார்ட்அப்பைப் பற்றிப் பேசினேன்.

ஸ்டேக்கின் மற்ற பகுதிகளிலும் வாய்ப்புகள் உள்ளன. எடுத்துக்காட்டாக, அடுக்கின் கீழே, தரவு மையங்கள் தங்களிடம் உள்ள பல்வேறு வகையான நினைவகத்தை எவ்வாறு பயன்படுத்துகின்றன என்ற கேள்வி உள்ளது. (HBMக்கு பதிலாக DRAM சில்லுகளை எப்போது பயன்படுத்துவது என்பது குறித்த நேர்காணலில் உள்ளது, இருப்பினும் அது ஹார்டுவேர் களைகளில் மிகவும் ஆழமாக உள்ளது.) ஸ்டாக்கை உயர்ந்து, இறுதிப் பயனர்கள் பகிரப்பட்ட தற்காலிக சேமிப்பைப் பயன்படுத்திக் கொள்ள தங்கள் மாதிரி திரள்களை எவ்வாறு ஒழுங்கமைப்பது என்பதைக் கண்டுபிடிப்பார்கள்.

நிறுவனங்கள் மெமரி ஆர்கெஸ்ட்ரேஷனில் சிறந்து விளங்குவதால், அவை குறைவான டோக்கன்களைப் பயன்படுத்தும் மற்றும் அனுமானம் மலிவானதாக மாறும். இதற்கிடையில், ஒவ்வொரு டோக்கனையும் செயலாக்குவதில் மாதிரிகள் மிகவும் திறமையாகி வருகின்றன, மேலும் செலவுகளைக் குறைக்கின்றன. சர்வர் செலவுகள் குறைவதால், இனி சாத்தியமில்லாத பல பயன்பாடுகள் லாபத்தை நோக்கி நகரத் தொடங்கும்.