O complexo processo de reconstrução de experiências com base na atividade cerebral humana sempre fascinou cientistas e pesquisadores. Ele desvela uma compreensão singular sobre como nosso cérebro, essa maravilha biológica, decodifica, interpreta e, por fim, representa o universo ao nosso redor. Recentemente, um paper inovador foi publicado, abordando um método pioneiro que se propõe a uma tarefa audaciosa: recriar música a partir dos impulsos e atividades do nosso cérebro.

Um grupo de pesquisadores no Japão, com expertise em neurociência e inteligência artificial, desenvolveu um modelo de IA generativa. Este modelo é capaz de, surpreendentemente, transformar ondas cerebrais, as sutis e complexas sinfonias elétricas de nossos neurônios, em composições musicais. Esta iniciativa revolucionária recebeu o nome de “Brain2Music”. A companhia por trás desta pesquisa, reconhecendo o impacto potencial de suas descobertas, compartilhou entusiasticamente alguns dos resultados preliminares do estudo com a comunidade científica e o público em geral esta semana.

O que torna esta pesquisa ainda mais cativante é a notável precisão do modelo. Ao analisar as faixas de áudio geradas pela inteligência artificial, observa-se uma semelhança com a música original. Para validar e treinar o modelo, clipes musicais de 15 segundos, retirados de um total de 540 músicas e abrangendo dez gêneros diferentes, foram selecionados de forma aleatória. Estes clipes foram então tocados para um grupo de participantes. Enquanto se perdiam na melodia e harmonia desses fragmentos musicais, suas atividades cerebrais eram meticulosamente capturadas e registradas, alimentando o treinamento subsequente do modelo de IA.

A simulação de áudio, ou mais especificamente a reprodução de áudio através de inteligência artificial, está rapidamente emergindo como uma das áreas mais promissoras no vasto universo da tecnologia. Estamos à beira de uma era onde a fusão de neurociência e IA pode redefinir as fronteiras do possível. Com avanços como o “Brain2Music”, podemos nos perguntar: será que, em um futuro não muito distante, seremos capazes de criar sinfonias, melodias e harmonias simplesmente com o poder de nossos pensamentos? Apenas o tempo, a pesquisa e a paixão inabalável pelo desconhecido dirão.

Fonte: https://arxiv.org/abs/2307.11078

Nesta quarta-feira, dia 02 de Agosto (quarta feira), a OWASP SP proporcionará o primeiro Meetup com debate de extrema relevância, sendo uma vez que o mundo vive uma crise no contexto de segurança da informação e uma grande transformação tecnológica. Todo dia nos deparamos com um novos vazamentos de dados. Sendo assim, a propagação de conhecimento, proporcionará softwares e sistemas seguros minimizando esta crise.

Faremos um bate papo com o tema: “A Importância da OWASP para os Times de Ataque e Defesa”. Um encontro obrigatório para profissionais de segurança, desenvolvedores, e qualquer pessoa interessada em aprender mais sobre a segurança na web.

Estamos animados em já ter confirmado dois convidados especiais: 

Paulo Baldin atualmente é CISO e DPO da STARK BANK. Possui mais de 16 anos de experiência e coordenou/participou de mais de 86 projetos (contabilizando 22 mil horas efetivas) em prevenção a fraudes, segurança da informação, auditoria interna/externa, controles internos, combate a crimes cibernéticos, data analytics e desde 2017 atuando diretamente com proteção de dados e privacidade. Graduado e com quatro Pós-Graduações, possui mais de 51 certificações nas suas áreas de atuação, entre elas CISM, CDPSE, DPO, ISO 27001 LI e CPC-PD.

Ana Paula Tessaro: Ana ou Nana, atua como Engenheira de Segurança na JUSBRASIL. Além disso, possuí doutorado em Tecnologia Nuclear, com foco em sistemas, pelo IPEN/USP. Seu campo de atuação abrange segurança defensiva e inteligência cibernética. Possuí várias publicações de artigos em revistas renomadas como Radiation Physics and Chemistry e Brazilian Journal of Radiation Sciences e segue sua jornada com curiosidade, sempre buscando excelência e inovação.

Jonathan Coradi, é Especialista de Segurança da Informação no Banco Safra atua nas frentes do time de pentest e engajamento de RedTeam diretamente alinhado com o negócio. Possui as certificações CRTO e DCPT, autor da CVE-2022-38350 e amante de busca por falhas.

Será um momento de grande aprendizado e troca de experiências. Prepare-se para ampliar seus conhecimentos e habilidades em segurança da web! A troca de ideias e experiências é um dos alicerces da nossa comunidade, por isso, reserve um espaço na sua agenda para esse encontro!

O After Detailer (adetailer) é uma extensão que automatiza o recurso inpainting e muito mais. Isso economiza seu tempo, como também é ótimo para corrigir rapidamente problemas comuns, como rostos distorcidos.

Na imagem gerada, como o rosto é pequeno e a resolução é baixa, não há muitos pixels cobrindo o rosto. O VAE não tem pixels suficientes para gerar uma boa face. Portanto, o rosto é truncado e deformações são geradas.

O After Detailer automatiza esse processo usando um modelo de inferência para o reconhecimento facial, assim detectando o rosto e criando a máscara de pintura automaticamente. A extensão então executa o inpainting apenas com a área mascarada.

https://github.com/Bing-su/adetailer

A inteligência artificial (IA) que cria conteúdo novo, como imagens ou texto, tem se expandido para vídeos. Mas, até agora, os modelos de vídeo ainda não estão no mesmo nível que os de imagem em relação à qualidade visual e à capacidade do usuário de controlar o que é gerado. Neste estudo, foi desenvolvido um sistema que utiliza um tipo especial de IA que converte texto em imagem para editar vídeos baseados em texto.

Basicamente, o sistema pega um vídeo original e um texto guia e cria um vídeo de alta qualidade que segue as instruções do texto. Ao mesmo tempo, ele mantém o arranjo espacial e a dinâmica do vídeo original. A ideia por trás do nosso método é garantir que as características de cada quadro do vídeo sejam consistentes ao longo de toda a edição. Fazemos isso propagando essas características, disponíveis em nosso modelo, de quadro para quadro.

O melhor de tudo é que o sistema não precisa de treinamento ou ajustes específicos. Ele pode ser usado com qualquer método padrão de edição de texto para imagem. Os resultados da edição com nosso sistema em uma série de vídeos reais são impressionantes.

Abaixo o link do paper:

https://arxiv.org/abs/2307.10373

O ControlNet, que vem com a proposta de auxiliar o Stable Diffusion na criação de imagens perfeitas e realistas. ControlNet utiliza esboços, contornos, mapas de profundidade ou normais para orientar os neurônios com base no Stable Diffusion 1.5. Isso implica na possibilidade de se obter imagens quase perfeitas em qualquer modelo personalizado 1.5, desde que se siga a orientação adequada. O ControlNet surge como uma ferramenta revolucionária, proporcionando aos usuários controle total sobre seus projetos.

Para conseguir imagens perfeitas, utilize a extensão A1111 em conjunto com o ControlNet, mais especificamente o módulo Depth. Faça primeiramente alguns closes em selfies e faça upload destas na aba txt2img da interface de usuário do ControlNet. Depois, estabeleça um prompt simples de modelador de sonhos, como “arte de fantasia, homem viking exibindo as mãos em close” e explore o poder do ControlNet. Ao experimentar com o módulo Depth, a extensão A1111 e a aba txt2img da interface de usuário do ControlNet, você obterá mãos visualmente atraentes e realistas.

O ControlNet tem a capacidade de transformar a imagem fornecida em um mapa de profundidade, normais ou esboço, que pode ser usado posteriormente como um modelo. No entanto, também permite que você carregue diretamente seu próprio mapa de profundidade ou esboços. Isso proporciona máxima flexibilidade na criação de uma cena 3D, permitindo que você direcione seu foco para o estilo e a qualidade da imagem final.

A Stable Diffusion é compatível com todos os modelos ControlNet e proporciona um controle significativamente maior sobre a IA generativa. A equipe disponibiliza exemplos de diversas variações de pessoas em posturas estáticas (openPOSE), além de uma variedade de fotos de interiores baseadas no arranjo espacial do modelo e variações de imagens de aves.

Resumindo o futuro chegou!

O ControlNet, que vem com a proposta de auxiliar o Stable Diffusion na criação de imagens perfeitas e realistas. ControlNet utiliza esboços, contornos, mapas de profundidade ou normais para orientar os neurônios com base no Stable Diffusion 1.5. Isso implica na possibilidade de se obter imagens quase perfeitas em qualquer modelo personalizado 1.5, desde que se siga a orientação adequada. O ControlNet surge como uma ferramenta revolucionária, proporcionando aos usuários controle total sobre seus projetos.

Para conseguir imagens perfeitas, utilize a extensão A1111 em conjunto com o ControlNet, mais especificamente o módulo Depth. Faça primeiramente alguns closes em selfies e faça upload destas na aba txt2img da interface de usuário do ControlNet. Depois, estabeleça um prompt simples de modelador de sonhos, como “arte de fantasia, homem viking exibindo as mãos em close” e explore o poder do ControlNet. Ao experimentar com o módulo Depth, a extensão A1111 e a aba txt2img da interface de usuário do ControlNet, você obterá mãos visualmente atraentes e realistas.

O ControlNet tem a capacidade de transformar a imagem fornecida em um mapa de profundidade, normais ou esboço, que pode ser usado posteriormente como um modelo. No entanto, também permite que você carregue diretamente seu próprio mapa de profundidade ou esboços. Isso proporciona máxima flexibilidade na criação de uma cena 3D, permitindo que você direcione seu foco para o estilo e a qualidade da imagem final.

A Stable Diffusion é compatível com todos os modelos ControlNet e proporciona um controle significativamente maior sobre a IA generativa. A equipe disponibiliza exemplos de diversas variações de pessoas em posturas estáticas (openPOSE), além de uma variedade de fotos de interiores baseadas no arranjo espacial do modelo e variações de imagens de aves.

Resumindo o futuro chegou!

Existe uma uma técnica interessante que permite medir a frequência cardíaca (assim obtendo o número de vezes que seu coração bate por minuto) usando apenas uma câmera de computador. A ideia básica é capturar pequenas mudanças na cor do seu rosto que ocorrem quando o sangue flui através dos vasos sanguíneos a cada batimento do coração.

Quando a luz atinge a pele, parte dela é refletida de volta, e essa luz refletida carrega informações sobre o que encontrou pelo caminho, incluindo o sangue que flui sob a pele. Como diferentes substâncias refletem a luz de maneiras distintas (ou seja, têm diferentes “perfis de reflectância”), podemos usar essas diferenças para identificar e medir coisas específicas, neste caso, os batimentos cardíacos.

Então, essencialmente, esta técnica permite com uma webcam utiliza a reflectância espectral para ‘ver’ o pulso de uma pessoa de uma maneira não invasiva. Ao analisar as mudanças sutis na cor da pele capturadas pela câmera, pode-se calcular a frequência cardíaca. É uma técnica incrível que mostra o quão avançada a ciência e a tecnologia se tornaram!

Abaixo os primeiros resultados das pesquisas iniciada em 2022:

O Instituto Credicitrus e o Credicitrus Innovation Hub acabam de firmar parceria com a renomada empresa de tecnologia INTEL®. A colaboração estratégica resultante desse acordo ocorrerá no Onovolab Powered by Instituto Credicitrus em Ribeirão Preto, SP, e abrirá novos horizontes para a comunidade de empreendedores e desenvolvedores, proporcionando-lhes acesso privilegiado a tecnologias de ponta, como DevCloud, OpenVino e oneAPI. Essas iniciativas serão conduzidas por meio do Intel Innovator, que tem sido certificado com o selo oneAPI desde 2020, e do Intel Insider Council.

Com isto em breve estarei proporcionando para Ribeirão Preto e toda Região do interior de SP, palestras, materiais e informações sobre tecnologias emergentes que envolve Visão Computacional, Inteligencia Artificial e otimização com processadores Intel como programação multi nuclear e primitivas de performance integradas dos processadores.

Mais informações AQUI!

A biblioteca OpenCV lançou sua versão 4.8.0. Esta ferramenta, globalmente reconhecida e aplicada em diversos setores, foi originalmente apresentada ao mundo pela Intel no ano 2000. Hoje, conta com uma comunidade de mais de 47 mil contribuidores. E fiquei muito feliz de encontrar meu nome na lista de contribuidores deste release.

Destaques da versão

Melhorias no módulo dnn:
– Suporte introduzido para modelos TFLite
– Permitido construção sem dependência de protobuf
– Backend Vulcan refatorado para melhor desempenho e robustez
-Suporte moderno ao OpenVINO (também no módulo gapi)

Detecção de objetos:
– FaceDetectorYN atualizado para v2 com melhor desempenho e suporte a landmarks
– Novo algoritmo de detecção de QR code baseado no ArUco
– Módulo de código de barras foi movido de opencv_contrib para o módulo objdetect
– Suporte ao tabuleiro Charuco adicionado ao script do gerador de padrões

Codecs de imagem e vídeo:
– Suporte AVIF adicionado através do libavif
– Câmeras Orbbec Femto Mega suportadas
– Corrigida a captura da câmera virtual OBS

Nova função cv::hasNonZero e novo modo REDUCE_SUM2 para cv::reduce
Suporte RISC-V RVV atualizado para compatibilidade com LLVM 16 e GCC 13
Arquivo stub de digitação Python gerado permite que ferramentas e IDEs obtenham assinaturas de funções e tipos, habilitando auto-completar e verificação de tipo estática

Mais detalhes podem ser encontrados no Changelog.

A empresa Stability AI apresentou o SDXL 0.9, o seu mais recente progresso no conjunto de modelos Stable Diffusion para geração de imagens a partir de texto. Após a bem-sucedida estreia do Stable Diffusion XL beta em abril, o novo SDXL 0.9 oferece uma substancial melhoria na qualidade das imagens e na riqueza de detalhes se comparado ao seu predecessor.

O acesso ao modelo pode ser feito por meio do ClipDrop atualmente, com a API sendo disponibilizada em breve. Os pesos para pesquisa serão lançados abertamente em meados de julho, à medida que avançamos para a versão 1.0.

Embora seja possível rodar o SDXL 0.9 numa GPU convencional, este modelo representa um avanço significativo no uso criativo das imagens geradas por IA. A possibilidade de criar representações hiper-realistas para cinema, TV, música e vídeos didáticos, além de ser aplicável a design e uso industrial, posiciona o SDXL na vanguarda das aplicações de imagens de IA.

Exemplos:

Alguns exemplos dos prompts testados no SDXL beta (esquerda) e 0.9 mostram o quão longe esse modelo chegou em apenas dois meses.

Prompt: aesthetic aliens walk among us in Las Vegas, scratchy found film photograph

(Left – SDXL Beta, Right – SDXL 0.9)

Prompt: *~aesthetic~*~ manicured hand holding up a take-out coffee, pastel chilly dawn beach instagram film photography
Negative prompt: 3d render, smooth, plastic, blurry, grainy, low-resolution, anime

(Left – SDXL Beta, Right – SDXL 0.9)

A série SDXL não só atende a pedidos de texto básico, mas também dispõe de uma gama de funcionalidades adicionais. Isso inclui a requisição de imagem para imagem (onde uma imagem é inserida para gerar variações dela), pintura interna (reconstrução de partes faltantes numa imagem) e pintura externa (expansão perfeita de uma imagem existente).

Como funciona de baixo do capô?

A principal força motriz por trás do avanço do SDXL 0.9 é o aumento significativo na contagem de parâmetros (soma de todos os pesos e vieses na rede neural usada para treinar o modelo) em relação à versão beta.

O SDXL 0.9 é um dos modelos de geração de imagens com a maior contagem de parâmetros abertos, apresentando 3,5B parâmetros no modelo base e 6,6B no pipeline de conjunto de modelos (a saída final é criada executando-se dois modelos e agregando os resultados). O modelo do segundo estágio é usado para adicionar detalhes mais refinados à saída do primeiro estágio.

Comparativamente, a versão beta rodava com 3,1B parâmetros e usava apenas um único modelo.

O SDXL 0.9 roda em dois modelos CLIP, incluindo um dos maiores modelos OpenCLIP treinados até hoje (OpenCLIP ViT-G/14). Isso reforça a capacidade do 0.9 de criar imagens realistas com maior profundidade e resolução de 1024×1024.

Um artigo de pesquisa detalhando as especificações e testes deste modelo será divulgado pela equipe SDXL em breve.

Requisitos do Sistema

Apesar de sua capacidade de processamento e arquitetura de modelo avançada, o SDXL 0.9 pode ser rodado em uma GPU moderna de consumo, exigindo apenas um sistema operacional Windows 10 ou 11 ou Linux, com 16GB de RAM, e um Nvidia GeForce RTX 20 (ou equivalente) com no mínimo 8GB de VRAM. Usuários de Linux também podem usar uma placa compatível da AMD com 16GB de VRAM.

Próximos passos

O lançamento geral aberto do SDXL 1.0 está previsto para meados de julho (data a confirmar), seguindo o SDXL 0.9.

Contato: Para mais informações ou para dar feedback sobre o SDXL 0.9, por favor entre em contato conosco em research@stability.ai.