A inteligência artificial ChatGPT atraiu o interesse em diferentes campos de atuação, pois oferece uma interface de linguagem com impressionante competência conversacional e capacidade de raciocínio em vários domínios. Mas como o ChatGPT é treinado com linguagens, atualmente ele não é capaz de processar ou gerar imagens do mundo visual.

Na contra partida, modelos como Transformers ou Stable Diffusion, apesar de mostrarem grande compreensão e capacidade de geração imagem, eles são especialistas em tarefas específicas com entradas e saídas de uma única vez.

Então para facilitar esta integração entre ambos recursos, foi construído um sistema chamado Visual ChatGPT (ACABEI DE INSTALA NA MINHA MAQUINA!), incorporando diferentes Modelos para processamento de imagem. Assim permitindo que o usuário interaja com o ChatGPT enviando e recebendo não apenas textos, mas também imagens.

É possível também fornecer questões de imagens complexas ou instruções de edição imagens que exigem a colaboração de vários modelos de IA com etapas múltiplas. Podemos contar com o recursos de envio de feedback e solicitar correções do trabalho processado. Foi desenvolvido uma série de prompts para injetar as informações do modelo visual no ChatGPT, considerando modelos de múltiplas entradas/saídas e modelos que trabalham com feedback visual.

Os experimentos que efetuei mostram que o Visual ChatGPT abre a porta para analisar imagens no ChatGPT com a ajuda dos Modelos de Visão Computacional. O sistema está disponível com o código fonte aqui: https://github.com/microsoft/visual-chatgpt

Instruções de Instalação

# Download do repositório
git clone https://github.com/microsoft/visual-chatgpt.git

# Entre na pasta recém criada
cd visual-chatgpt

# Crie um ambiente com python 3.8
conda create -n visgpt python=3.8

# Ative o ambiente recém criado.
conda activate visgpt

#  Instale os requisitos básicos
pip install -r requirements.txt

# Insira a sua licença
export OPENAI_API_KEY={Your_Private_Openai_Key}

# comando para 4 GPUs Tesla V100 32GB                            
python visual_chatgpt.py --load "ImageCaptioning_cuda:0,ImageEditing_cuda:0,Text2Image_cuda:1,Image2Canny_cpu,CannyText2Image_cuda:1,Image2Depth_cpu,DepthText2Image_cuda:1,VisualQuestionAnswering_cuda:2,InstructPix2Pix_cuda:2,Image2Scribble_cpu,ScribbleText2Image_cuda:2,Image2Seg_cpu,SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2,Image2Hed_cpu,HedText2Image_cuda:3,Image2Normal_cpu,NormalText2Image_cuda:3,Image2Line_cpu,LineText2Image_cuda:3"

Memória utilizada da GPU

Aqui listamos o uso de memória da GPU para cada modelo, você pode especificar qual deles você deseja utilizar:

A inteligência artificial ChatGPT atraiu o interesse em diferentes campos de atuação, pois oferece uma interface de linguagem com impressionante competência conversacional e capacidade de raciocínio em vários domínios. Mas como o ChatGPT é treinado com linguagens, atualmente ele não é capaz de processar ou gerar imagens do mundo visual.

Na contra partida, modelos como Transformers ou Stable Diffusion, apesar de mostrarem grande compreensão e capacidade de geração imagem, eles são especialistas em tarefas específicas com entradas e saídas de uma única vez.

Então para facilitar esta integração entre ambos recursos, foi construído um sistema chamado Visual ChatGPT (ACABEI DE INSTALA NA MINHA MAQUINA!), incorporando diferentes Modelos para processamento de imagem. Assim permitindo que o usuário interaja com o ChatGPT enviando e recebendo não apenas textos, mas também imagens.

É possível também fornecer questões de imagens complexas ou instruções de edição imagens que exigem a colaboração de vários modelos de IA com etapas múltiplas. Podemos contar com o recursos de envio de feedback e solicitar correções do trabalho processado. Foi desenvolvido uma série de prompts para injetar as informações do modelo visual no ChatGPT, considerando modelos de múltiplas entradas/saídas e modelos que trabalham com feedback visual.

Os experimentos que efetuei mostram que o Visual ChatGPT abre a porta para analisar imagens no ChatGPT com a ajuda dos Modelos de Visão Computacional. O sistema está disponível com o código fonte aqui: https://github.com/microsoft/visual-chatgpt

Instruções de Instalação

# Download do repositório
git clone https://github.com/microsoft/visual-chatgpt.git

# Entre na pasta recém criada
cd visual-chatgpt

# Crie um ambiente com python 3.8
conda create -n visgpt python=3.8

# Ative o ambiente recém criado.
conda activate visgpt

#  Instale os requisitos básicos
pip install -r requirements.txt

# Insira a sua licença
export OPENAI_API_KEY={Your_Private_Openai_Key}

# comando para 4 GPUs Tesla V100 32GB                            
python visual_chatgpt.py --load "ImageCaptioning_cuda:0,ImageEditing_cuda:0,Text2Image_cuda:1,Image2Canny_cpu,CannyText2Image_cuda:1,Image2Depth_cpu,DepthText2Image_cuda:1,VisualQuestionAnswering_cuda:2,InstructPix2Pix_cuda:2,Image2Scribble_cpu,ScribbleText2Image_cuda:2,Image2Seg_cpu,SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2,Image2Hed_cpu,HedText2Image_cuda:3,Image2Normal_cpu,NormalText2Image_cuda:3,Image2Line_cpu,LineText2Image_cuda:3"

Memória utilizada da GPU

Aqui listamos o uso de memória da GPU para cada modelo, você pode especificar qual deles você deseja utilizar:

Impressionante a criatividade dos nerds. Um amigo meu e do meu filho chamado Homero Caom, enviou o link de um projeto chamado ISG (Infinite-Storage-Glitch). Este projeto permite aos usuários a capacidade de usar o YouTube como um serviço de armazenamento em nuvem, permitindo que eles façam upload de qualquer tipo de arquivo, seja ele um documento, uma imagem ou mesmo um vídeo.

Uma vez carregado, os arquivos injetados podem então ser baixados e recuperados a qualquer momento. Com isso, o YouTube se transforma em um serviço de armazenamento em nuvem praticamente ilimitado. O YouTube não limita a quantidade de vídeo para upload, assim criando a brecha para este projeto.

Conceito:

Todos os arquivos são feitos de bytes que podem ser interpretados como números de 0 a 255. Esse número pode ser representado com pixels usando um dos dois modos: RGB ou binário. RGB: No modo RGB cada byte se encaixa perfeitamente dentro de uma das cores de um pixel RGB. Um pixel RGB pode conter 3 bytes por vez. Você apenas continua adicionando pixels assim até que acabe os dados. É muito mais eficiente e rápido que o binário.

PhyCV é a primeira biblioteca de visão computacional que utiliza algoritmos baseados em conceitos da física clássica. Os algoritmos calculam a propagação da luz através do conceito físico de difração. O resultado computacional consiste na maneria que os algoritmos tradicionais processam as regras de maneira empíricas, os algoritmos inspirados pela física e IA usam as leis da natureza como modelos.

Fiquei tão ansioso, que ao liberar o kernel 6.2-rc5 com o driver opensource estável criei uma iniciativa individual da primeira imagem Linux do mundo com kernel nativo 6.2-rc5 ou superior com driver estável da placa de video Intel ARC. Todo procedimento de detecção da GPU ocorre automaticamente durante a instalação.

** Atenção! **Você reconhece que usar o Linux Image Beta é por sua conta e risco. Mais informações: https://devmesh.intel.com/projects/opensuse-for-intel-arc

Futuros trabalhos:

• Compilar e incluir oneAPI Level Zero
• Compilar e incluir oneAPI DNN
• Compilar e incluir oneAPI VPL
• Compilar e incluir oneAPI TBB
• Compilar e incluir oneAPI DAL
• Compilar e incluir oneAPI MKL
• Compilar e incluir Ray Tracing
• Compilar e incluir openCV optimized with avx512, sse4_2 and GNA
• Disponibilizar pacotes pré instalados oneAPI

O CV-CUDA é uma biblioteca de código aberto que disponibiliza algoritmos acelerados de pré e pós-processamento de imagens e ferramentas, permitindo que a mesma carga de trabalho seja executada em 10 vezes sem incrementar custos.

A tecnologia NVIDIA GPUs acelera o processamento de inferência para pipelines de visão computacional. No entanto, o pré e o pós-processamento comum tendem a ser mais demorado e exigem grande poder de computação.

Com o rápido crescimento dos serviços de mídia social, biometria e compartilhamento de vídeo, os custos de computação na nuvem aumentam e os pipelines de processamento de imagens e visão computacional baseados em Inteligência Artificial criam gargalo.

Neste cenário entra a plataforma/solução CV-CUDA que fornece aos desenvolvedores mais de 50 algoritmos de visão computacional de desempenho impressionante, pois é um framework de desenvolvimento que facilita a realização de kernels personalizados e interfaces de cópia zero que eliminam gargalos no pipeline de inteligência artificial. O resultado: maior taxa de execução e diminuição dos custos de computação do cloud. Utilizando uma única GPU, o CV-CUDA tem um desempenho 10 vezes superior sem adicionar custo em cloud.

Aplicabilidade:

• Processamento Biométrico;
• Processamento 3D;
• Inferência em imagens;
• Processamento de Realidade Aumentada e Mista;
• E outros.

Mais informações aqui no Github (claro!): https://github.com/CVCUDA/CV-CUDA

Se você tem dificuldade de manter contato visual durante lives e gravações de vídeo, a Nvidia resolve este problema lançando um software de correção da direção dos olhos. O recurso específico permite que o usuário simule o contato visual, mesmo que esteja olhando para outro lugar.

A tecnologia NVIDIA Broadcast proporciona um resultado de processamento similar ao “deepfake” em que os olhos da pessoa são manipulados para parecer que estão seguindo a câmera, aumentando assim a conexão com o público. É uma ótima solução para quem tem dificuldades de se sentir à vontade durante as lives e gravações de vídeo.

Esta tecnologia da NVIDIA foi batizada como Eye Contact, que utiliza uma IA para simular seus olhos sempre olhando para a câmera e incluir efeito de transições.

É um grande passo além do aprimoramento do seu software de gravação e streaming, pois oferece aos usuários a capacidade de melhorar a sua presença na câmera, fazendo com que eles se pareçam mais presentes e envolvidos, mesmo quando estão gravando ou transmitindo a partir de casa. O Eye Contact ajusta automaticamente a direção da câmera de modo que os olhos do usuário sejam sempre direcionados para a câmera, em vez de olhar para o lado. Além disso, ele ajusta o foco da câmera para manter a imagem nítida, independentemente do movimento dos usuários. Esta nova tecnologia promete melhorar a experiência do usuário ao gravar ou transmitir, permitindo que eles tenham uma aparência mais profissional e envolvente.

O You.com está adotando uma estratégia diferente para avançar no mercado de busca do Google. O diferencial da startup, é a busca na web contar com recursos baseados em aplicativos, que podem em forma de widgets interativos ou informativos. Ao procurar por gerador de imagem, um chat/linha de comando será disponibilizado utilizando Stable Diffusion.

Após um ano construindo mais de 200 desses aplicativos, o You.com agora está permitindo inserção de aplicativos de terceiro no mecanismo de pesquisa. Richard Socher, fundador e CEO da You.com, diz que o objetivo é criar um rival do Google mas aberto para os desenvolvedores e mais customizável para o usuário final.

O buscador deve decidir se um aplicativo é importante baseado na consulta solicitada. A questão semântica dificulta muito esta proposta. Por exemplo, quando o usuário digita uma consulta com a palavra“banco”, não pode garantir o resultado ideal. Pois determinar Banco como instituição financeira e banco como assento, não é uma tarefa tão trivial.

Existe também tem um tipo de loja de aplicativos, que aparece na parte inferior de cada página após os resultados. Este recurso nem sempre funciona da maneira adequada. Com o tempo, os algoritmos aprenderão com o comportamento dos usuários, e o site ficará melhor ao indicar e exibir os aplicativos ideais para uma determinada consulta. Assim os desenvolvedores que criarem os aplicativos mais úteis que agregam valor, serão recompensados.

O You.com não esta no estado da arte, o tempo de consulta é lento comparado ao Google. Mas existe um recurso muito atraente na ideia, ser um mecanismo de pesquisa expansível, que devolver resultados avançados baseados em aplicativos e serviços de que você realmente considera útil. Se o You.com conseguir trazer a atenção dos desenvolvedores, poderá existir uma alternativa do Google que valha a pena usar por outros motivos além da privacidade.

Durante o segundo semestre de 2022, meu filho Guilherme concluiu o curso CC50. Um curso de Harvard de Introdução à Ciência da Computação legendado em português, onde a Fundação Estudar disponibilizou gratuitamente.

Ele teve o meu apoio nos conceitos de matriz e vetor e outros, pois se encontra no 9º ano do ensino fundamental II. Mas o curso exige base de conhecimento adquirido até o 3º ano do ensino médio.

Está disponível uma nova versão com alta resolução, atualização e conteúdo tecnológico totalmente gratuito e legendado.

O Curso tem 11 semanas de duração. Para quem deseja se ingressar no mercado de tecnologia, eu garanto ser uma grande oportunidade de começar com o pé direito. O Curso ensina pensar algoriticamente e resolver problema de forma otimizada, familiaridade com C, Python, Java Script, CCS HTML e SQL.

Para se inscrever, entre na página https://www.estudarfora.org.br/cursos/cc50/, clique no botão “Quero Fazer Minha Inscrição” e preencha o formulário para acessar o curso.

A versão 4.7.0 da biblioteca openCV foi lançada com diversas novidades. Como o suporte ao OpenVINO 2022.1, CUDA 12, FFmpeg 5 e outros. Minha contribuição nesta versão, foi no módulo GAPI com a câmera OAK-D e inferência com openVINO. Mais informações aqui: https://docs.opencv.org/4.x/df/d88/tutorial_gapi_oak_devices.html