A “uberização” da tecnologia: vencedores e derrotados

O ChatGPT colocou toda a comunidade tecnológica –e não só – a falar sobre o futuro da tecnologia, nomeadamente da inteligência artificial. O que é interessante, independentemente da discussão filosófica sobre se teremos atingido a Inteligência Artificial Geral ou não, é o que esta família de tecnologias, os chamados Large Language Models pré-treinados,  implica nos grandes negócios tecnológicos, mais uma vez dominados por três ou quatro organizações, mais uma vez super-centralizados.

1. A “revolução” do ChatGPT

Para dar um pouco de background tecnológico, estes grandes modelos de linguagem são numa primeira fase treinados para pegar em terabytes e terabytes de texto, “ler” um pedaço e tentar escrever o resto que ainda não viram. Estas tarefas estimulam o modelo a ter de “perceber” a linguagem porque são obrigados a “entender” um contexto, e preencher os vazios que há no texto. Há técnicas mais e menos sofisticadas e quase todos estes modelos baseiam-se nesta noção de que primeiro vamos treinar a máquina sem lhe dar uma tarefa específica (e.g. resumir documentos seria uma tarefa específica) a não ser uma variedade de tarefas de “fill in the gaps” [preencher os espaços em branco].

Cada um destes grandes modelos terá os seus truques de treino extra, cada um destes GPTs e familiares tem alguma especialização, mas são todos inicialmente treinados de uma forma muito engraçada, porque, basicamente, só precisam de dados em bruto e de respeitar uma tarefa que é simples: a tarefa de “preencher a palavra que falta” (que pode ser muito mais do que uma palavra, pode ser um texto grande, pode ser um parágrafo, pode ser um parágrafo noutra língua, pode ser muita coisa).

Desenvolver e treinar modelos destes está ao alcance de muito poucas organizações, entre as quais se contam os suspeitos do costume (Google, Meta, Microsoft) e mais alguns menos conhecidos do grande público mas extremamente relevantes como a OpenAI

Com este procedimento de treino, e pelo facto de terem biliões (!!) de parâmetros treináveis, estes modelos acumulam muita informação de linguagem e é por isso que se chamam genericamente Large Language Models (LLMs). Não é qualquer organização que consegue treinar estes LLMs, na realidade, desenvolver e treinar modelos destes está ao alcance de muito poucas organizações, entre as quais se contam os suspeitos do costume (Google, Meta, Microsoft) e mais alguns menos conhecidos do grande público mas extremamente relevantes como a OpenAI.

Só estas organizações – e talvez mais meia dúzia delas – é que combinam a massa crítica de recursos humanos necessária para programar, manter e ir expandindo estes LLMs e, simultaneamente, têm recursos computacionais e dados para os poder treinar. Relembramos que estes modelos têm biliões de parâmetros e necessitam de muitos milhares ou milhões de horas de computação para serem criados, com hardware caríssimo. No fundo, estes modelos são treinados durante milhões e milhões de horas de CPU (Central Process Unit) e de GPU (Graphics Processing Unit) e absorvem este conhecimento todo. Imaginemos que são grandes bases de dados com grande capacidade de interação.

O interessante é que, depois de passarem por este procedimento de treino inicial, os LLMs ficam “pré-treinados” para poderem ser “refinados” para tarefas de linguagem mais específicas (como por exemplo resumir ou traduzir textos, responder a perguntas, etc) que realmente parecem inteligentes. E esse refinamento pode ser feito com muito menos dados, e muito menos recursos computacionais (uma boas placas GPU de supermercado já chegam para isso).

E é precisamente neste ponto de refinamento “light” que quero debruçar-me um pouco mais.

Vejam, partindo destes Large Language Models pré-treinados torna-se viável a um pequeno grupo de pessoas “refiná-los” com esforço extra relativamente pequeno e produzir uma aplicação específica de processamento linguagem – uma que escreve código de programação, por exemplo, ou uma que responde a pedidos de customer-service. Isto é possível porque estaremos a construir um modelo não a partir do zero, mas a partir de todo o conhecimento de linguagem e até de memória de coisas do mundo que já foi previamente acumulado pelo LLM ao longo das milhões de horas de pré-treino pelas quais passou.

O que é que isto significa em termos de negócio? Em primeiro lugar, estamos a assistir ao esmagamento da área de atuação das startups que produzem dados para treino de modelos de processamento de linguagem natural

O que é que isto significa em termos de negócio? Em primeiro lugar, estamos a assistir ao esmagamento da área de atuação das startups que produzem dados para treino de modelos de processamento de linguagem natural. Obviamente, se para treinarmos modelos para aplicações de processamento de linguagem específicas podemos partir destes LLMs e temos menor necessidade de dados, então o negócio de recolha e organização de dados para treino de Machine Learning torna-se menor, ou no mínimo tem que se especializar.

Quem trabalha nesta área já tem noção disto há algum tempo e por isso é também por isso que está a tentar mudar o âmbito do seu negócio. Portanto,  há este esforço de verticalização de negócios para baixo: os (poucos) produtores dos LLMs “comem” parte do negócio no sentido de eliminarem a cadeia de valor que estava associada aos recursos necessários para treino. 

Se estas versões dos LLM já fazem isto, as próximas gerações de LLMs vão ser treinadas ainda com mais dados que estão a ser acumulados pelo OpenAI e pelo Google e outros. Vão sair modelos cada vez mais poderosos, cada vez com mais memória do mundo e cada vez com menos necessidade de serem treinados com dados.

Agora imaginem o impacto em milhares de empresas que faziam dados para machine learning: onde vão estar daqui a 1 ano? Os investidores dessas empresas devem estar com alguma apreensão ao verem o mercado a diminuir e a ficar fragmentado para dados extremamente específicos.

Mas a tendência de verticalização não se dá só para baixo. O facto de estes LLMs darem um “head start” tão grande a quem quer fazer uma aplicação de processamento de linguagem natural, transfere a necessidade de esforço de desenvolvimento apenas na “última milha”: grande parte daquele percurso tecnológico e diferenciador que as empresas tinham de percorrer para chegar ao mercado foi integrado nestes LLMs. Mas se mais empresas vão poder entrar nessa última milha, haverá a diminuição da exclusividade e do valor do que podem trazer para o mercado: as startups de aplicações ficam expostas a uma concorrência de qualquer outra empresa que possa surgir e que pega num destes LLMs –  e paga por ele, é certo – e parte daí para tentar fazer o produto final.

Estamos a ter menos ênfase na capacidade tecnológica para fazer um negócio “tecnológico” e mais ênfase na capacidade de marketing

É possível que, por termos LLMs como commodity, a orientação de certos tipos de negócio tecnológicos se torne menos “tecnológica” e dependa mais da capacidade de marketing dessa tecnologia. E isto pode ser perverso para algumas empresas, que foram ganhando mercado por terem de facto uma certa capacidade tecnológica evoluída, porque as tornam super frágeis já que a concorrência pode, mais que nunca, vir de qualquer lado.

O que é que isto é? É a uberização! Estamos a assistir a uma empresa ou conjunto de empresas altamente tecnológicas (OpenAI, Google, Meta, etc) a pegarem na cadeia de valor das aplicações de processamento de linguagem natural, integrá-la num “monolito” vendável e a permitir que milhares de players peguem nesse monolito e façam a última milha, que, em geral, cada vez terá menos valor. Vamos ver uma profusão de aplicações, algumas startups que as desenvolvem vão ser investidas, mas o valor, de facto, está para trás. Quem ganha sempre, são as mega-empresas que fazem estes LLMs.

No outro extremo, vamos ter milhares e milhares de empresas pequenas, todas a fazer mais ou menos a mesma coisa –  e algumas vão sobreviver por terem chegado ao nicho certo. Mas, de certa forma, isto é a uberização das tecnologias da linguagem.

2. Quem ganha e quem perde

Quem são os vencedores? O utilizador final é um dos vencedores, porque os LLMs são uma infraestrutura que permite o aparecimento de uma série de aplicações fantásticas que nem estamos ainda a imaginar. Como a barreira de entrada da tecnologia desceu radicalmente, vamos ter imensas pessoas a puxar criativamente por aplicações. Por isso, estou convencido que um dos vencedores vai ser o cliente final – como também foi vencedor o cliente final no Uber, porque é muito mais conveniente e tem sempre transporte relativamente barato.

Estou convencido que um dos vencedores vai ser o cliente final – como também foi vencedor o cliente final no Uber

Quem mais vai ganhar? Os players do costume.

Já vimos que para criar estes modelos é preciso uma infraestrutura humana e computacional muito grande. Estamos a falar de Google, de Meta, de OpenAIs, etc. Eventualmente, vai aparecer um ou outro player pelo meio que faz coisas parecidas, mas estamos outra vez numa espécie de centralização do valor em torno de meia dúzia de empresas. Mais uma vez, vê-se este efeito de concentração a acontecer no mundo tecnológico.

Quem fica esmagado? Algumas empresas que estiveram até aqui à frente da sua área e que agora vão ver-se rodeadas de concorrentes com três meses de desenvolvimento de produto porque fazem uso dos LLMs. Os players atuais ou entram em nichos de mercado, eventualmente nichos muito rentáveis, ou então há milhares e milhares de empresas no mundo capazes de oferecer os mesmos serviços. Algumas das empresas que conhecemos vão ter de se reinventar ou vão ficar numa situação muito frágil.

Será a “race to the bottom”: vão existir 300 startups iguais no mundo, e depois entraremos na lógica de onde os custos são mais baratos e onde as capacidades de marketing são maiores porque a tecnologia já não é diferenciadora.

Além das empresas grandes que são vencedoras, o hardware que também é vencedor. Tudo isto para ser treinado requer hardware “louco” – e voltamos a precisar da Nvidia, Intel, AMD que, no fundo, são o petróleo de tudo isto, são a base para tudo funcionar.

Será a “race to the bottom”: vão existir 300 startups iguais no mundo, e depois entraremos na lógica de onde os custos são mais baratos e onde as capacidades de marketing são maiores porque a tecnologia já não é diferenciadora

E há uma segunda linha de empresas que está a surgir e que, se eu fosse um investidor grande, estaria a olhar muito para elas: são as que estão a produzir chips que vão permitir fazer LLM’s e “bichos parecidos” mais eficientemente, e a uma escala cada vez maior, porque é aí que bate tudo – sempre no hardware. É, por exemplo, o facto de o Google ter um mega cluster de hardware, e de ter desenhado os seus próprios processadores que lhe permite treinar estes modelos e outros que nos tem posto a pensar nos últimos tempos.

Ou seja, voltamos a puxar o valor todo para os big players e para o hardware. E estas são as questões filosóficas que a mim me interessam: como é que estas coisas acontecem de modo a que sejam sempre, ou quase sempre, os mesmos a ganhar. Que tendências, que infraestruturas, que canais, fazem com que a riqueza circule sempre para os mesmos – essa é a discussão filosófica que interessava ter e que, parece, ninguém está a ter.

3. As perguntas que os investidores deep tech deviam fazer

Tenho visto que alguns  investidores tecnológicos estão a pensar demasiado no mercado actual e num produto concreto e não estão a fazer perguntas mais difíceis. Nomeadamente, que perguntas fazem para saberem se estão perante uma empresa tecnológica que vai ser vítima de verticalização, de uberização. É quase como se estivessem a olhar só para a frente quando atrás vem um comboio. Estão a pedir aos empreendedores que digam o vêem à frente deles em vez de perguntarem quem é que vem atrás e que lhes pode engolir o negócio todo de uma vez.

As questões deveriam ser mais sobre se os empreendedores têm capacidade efetiva de correr perante quem vem atrás –  porque quem vem atrás, é grande e vem muito rápido,  e menos se vão correr para o sítio A ou do produto B. O importante é saber se há “pernas” para correr.

É quase como se estivessem a olhar só para a frente quando atrás vem um comboio. Estão a pedir aos empreendedores que digam o vêem à frente deles em vez de perguntarem quem é que vem atrás e que lhes pode engolir o negócio todo de uma vez

Outro ponto que é importante é pensar positivamente acerca disto, não defensivamente. É preciso olhar para uma startup tecnológica e pensar: terá esta startup capacidade de crescer verticalizando? Ou seja, em vez de estarmos preocupados com o produto A ou B, é importante ajudar os empreendedores tecnológicos a pensarem como identificar que parte do mercado é que as nossas startup podem adquirir por verticalização.

É preciso ter alguma imaginação e conhecimento para fazer este exercício, mas gostava muito mais de ver os VCs tecnológicos a pensarem neste fenómeno da verticalização, porque ocorre em quase todas as indústrias. Nunca me perguntaram: “Qual é o vosso plano de verticalização? Como é que conseguem pegar nesta ideia atual e fazê-la crescer para cima, para baixo?” e “Qual é a vossa estratégia para absorverem mais na cadeia de valor por verticalização?”. E é pena, para todos, porque no mundo da tecnologia, esta uberização é real. E é muito rápida: tem de estar sempre a ser pesada nos planos do empreendedor e investidor.

4, Sobre a estratégia da Inductiva neste contexto

Falando da Inductiva. Estávamos a ver isto da uberização a acontecer e, por isso, é que sempre fugimos de certas áreas e tentamos colocar-nos numa área que ainda não estava sob estes efeitos de verticalização: simulação acelerada por IA. Sentimos que ainda temos um poder de verticalização muito grande naquilo que estamos a fazer, porque, fornecendo uma API, estamos precisamente a tornar mais fácil a last mile de quem está a fazer simulação ou Inteligência Artificial, e é isso que queremos. Estamos a permitir que haja novos players a entrar nesses mercados de simulação, de Inteligência Artificial, de desenho ótimo, tudo mercados que vão crescer. Queremos estar em tudo o que é relevante para esses mercados, construindo de cima para baixo a partir de uma API, e descendo quem sabe ir até ao hardware, montando nosso próprio Data Center e desenhando os nossos próprios processadores.

Na Inductiva queremos trazer para o mundo da simulação um componente integrador com papel semelhante ao que os LLMs oferecem para as aplicações de linguagem natural. Ou seja, pretendemos criar a infraestrutura tecnológica para depois haver imensa gente a pensar nas aplicações finais. Idealmente, usando a solução da Inductiva, deverá ser relativamente fácil que um grupo de pessoas saídas de um laboratório de uma universidade consigam montar uma startup de sucesso, porque partem de um componente tecnológico chave-na-mão, fornecido pela Inductiva, que lhes permite focar naquilo que é a sua ciência. Esta é a nossa visão.

Vender isto é um bocado louco. Qual é o nosso mercado? Um mercado que ainda não existe mas que está a nascer e que vai crescer.

Na Inductiva queremos trazer para o mundo da simulação um componente integrador com papel semelhante ao que os LLMs oferecem para as aplicações de linguagem natural.

Mas, como não somos ingénuos, sabemos que esta área, como todas as outras, vai começar a sofrer efeitos de verticalização muito em breve. Na realidade, nossa maior ameaça é a Nvidia. Com  devidas diferenças de escala, estão a fazer um percurso semelhante ao nosso, têm APIs que fazem operações computacionais científicas muito interessantes, e estão a entrar forte na simulação. Estão a criar um simulador do mundo para Climate Change. E, obviamente, tem hardware “infinito”. Ou seja, também viram o valor destes componentes integradores. A Microsoft também está a fazer coisas parecidas. E as “grandes empresas do costume” também estão a posicionar-se aí. Talvez não estejam tão focados com nós, porque para nós isto é sobrevivência, e por isso talvez possamos ter aqui uma certa vantagem psicológica. 

Como é que nós, portugueses, passamos a ter players com capacidade efectiva de verticalização neste mundo tecnológico. O que falta?

Mas gostava que se fizesse na nossa comunidade de empreendedores e investidores essa discussão filosófica, sobre porque existem estes esforços de verticalização e porque vamos muito provavelmente assistir à uberização tecnológica de certas áreas, com vantagens óbvias para os clientes, mas com muitos apuros para muitas empresas, algumas portuguesas. E acima de tudo, como é que nós, portugueses, passamos a ter players com capacidade efectiva de verticalização neste mundo tecnológico. O que falta? Nós, na Inductiva, estamos a pensar nisto todos os dias.