Brain/Deepmind: perché Google probabilmente non uscirà vincitore nella corsa all’IA

Questo testo è una traduzione. Il testo originale in inglese è dell’esperto di machine learning Brian Kihun Lee e lo è Si possono trovare qui.

Disclaimer prima: originariamente ho scritto questo articolo nel dicembre 2022 quando stavo contemplando il futuro del mio lavoro. Ci sono rimasto seduto sopra per un po’: dubitavo che sarebbe stata una buona idea postare quando ero ancora in Google. Poi Google ha facilitato la mia decisione quando mi ha licenziato a gennaio.

Il mio assegno di licenziamento è stato pagato, Brain e Deepmind sono stati fusi in una nuova entità e il marchio Brain è stato gradualmente eliminato a favore di Google Deepmind. Ora, con la mia prospettiva unica e la libertà unica di condividerla, spero di far luce sul motivo per cui il cervello esiste in primo luogo. Descriverò le molte ragioni per cui Brain esiste e considererò se sono ancora valide date le attuali condizioni economiche.

Industria dei laboratori di ricerca

Innanzitutto, lasciatemi spiegare in dettaglio il paradosso sottostante. Gli scienziati affrontano sempre il seguente dilemma: hanno più libertà nella ricerca e possono guadagnare di più nell’industria. Non sorprende che Google paghi agli esperti di machine learning ingenti somme di denaro. Al contrario, devi gestire i sistemi di raccomandazione, l’ottimizzazione degli annunci, il ranking di ricerca, ecc. Invece della pura ricerca.

Per essere chiari, ci sono molti ricercatori e progetti in Brain, e molti di loro sono direttamente o indirettamente redditizi. Ad esempio, molti ricercatori si concentrano sugli ottimizzatori e sulla ricerca su sovrastrutture e parametri. Questa ricerca è direttamente redditizia perché riduce il costo computazionale per raggiungere un determinato livello di prestazioni. Non credo sia necessario spiegarlo in modo più dettagliato.

Va spiegato perché Google Brain (come Deepmind, OpenAI, FAIR, ecc.) assume centinaia di specialisti di machine learning solo per la ricerca e li paga molto di più del mondo accademico. Ad esempio, la mia squadra indossa Apprendimento automatico olfattivo un lavoro. Perché Google finanzia la ricerca sui profumi? Al giorno d’oggi, i laptop sono dotati di una scheda grafica di alta qualità? Vorrei rispondere a questa domanda.

una questione di prestigio

La maggior parte degli accademici presume che Google riguardi il prestigio. Dicono: in una guerra di offerte con i laboratori di ricerca industriale per i migliori ricercatori, vogliono diventare il gruppo di ricerca più prestigioso per ottenere a loro volta i migliori ricercatori. Perché è così che funziona il mondo accademico negli USA: con tre fondi di ricerca, studenti/postdoc e Principali investigatori (PI). In parole povere, la maggior parte dei fondi va dove si trovano i PI di talento. Studenti e dottori di ricerca vanno nei luoghi con il maggior numero di finanziamenti per la ricerca e i ricercatori più talentuosi. I principali ricercatori si rivolgono alle migliori risorse e agli studenti / postdoc più talentuosi.

Dal momento che le università hannoSorprendentemente grande) la loro quota di assegni di ricerca, hanno un incentivo diretto a massimizzare il loro status. I laboratori di ricerca di settore non hanno la stessa struttura di incentivi. Invece di approfittare del prestigio del loro laboratorio di ricerca, finiscono per pagare di più per impedire agli scienziati di andarsene.

Il laboratorio di intelligenza artificiale di Uber, che apparentemente esisteva solo per scopi di prestigio, era gestito da Dara”Supervisione degli adultiKhosrowshahi è stato assunto dopo aver sostituito il fondatore di Uber Travis Kalanick.

Il prestigio ha due effetti principali: un’immagine di marca positiva tra i consumatori e facilità di reclutamento, sia nella ricerca pura che nel ML applicato. Quando stavo cercando lavoro qualche anno faAd esempio, non mi è mai venuto in mente di candidarmi ad Apple perché non avevano bisogno di esperti di ML – Una decisione ragionevole data la filosofia di crescita di Apple. Ma se devi assumere qualche migliaio di ingegneri ML, aiuta Prestige ad assumere prima una manciata di ricercatori ML senior. Forse uno di questi progetti degni di nota è stato il mio team di ML, che stava studiando il senso dell’olfatto.

La ricerca sul prestigio ha ancora senso come tattica di reclutamento oggi, ma poiché l’industria taglia collettivamente i budget per il personale, anche la spesa per il prestigio deve essere ridotta.