Este post refere-se ao paper publicado dia 17 de Março, um avanço significativo nos Modelos de Linguagem de Grande Escala (LLMs) multimodais, especialmente no que diz respeito ao processamento e interpretação de vídeos. Até recentemente, apesar dos avanços, esses modelos enfrentavam limitações significativas para responder perguntas sobre “Quando?” ocorrem determinados eventos nos vídeos, um problema conhecido como localização temporal. O paper identifica três aspectos principais que limitam a capacidade de localização temporal dos modelos atuais: (i) representação do tempo, (ii) arquitetura do modelo e (iii) dados utilizados.

Para superar esses desafios, é proposto um novo sistema chamado LITA (Language Instructed Temporal-Localization Assistant), que introduz melhorias significativas em cada um desses aspectos:

1. Representação do Tempo: O LITA introduz “tokens de tempo” que codificam carimbos de tempo relativos ao comprimento do vídeo. Isso significa que o modelo é capaz de compreender melhor o tempo em vídeos, permitindo uma localização temporal mais precisa.
2. Arquitetura: Para capturar informações temporais com uma resolução temporal fina, o LITA utiliza “tokens SlowFast” na sua arquitetura. Isso permite que o modelo processe informações em diferentes velocidades, captando detalhes temporais mais sutis que seriam perdidos em modelos tradicionais.
3. Dados para Localização Temporal: O projeto LITA dá ênfase a dados específicos para treinamento e avaliação de localização temporal. Além de utilizar conjuntos de dados de vídeo existentes que incluem carimbos de tempo, o LITA propõe uma nova tarefa chamada Localização Temporal de Raciocínio (RTL, do inglês Reasoning Temporal Localization) e um novo conjunto de dados chamado ActivityNet-RTL. Essa abordagem visa aprimorar a capacidade do modelo de não apenas localizar eventos temporais em vídeos, mas também de raciocinar sobre eles.

O LITA demonstrou um desempenho impressionante nessa tarefa desafiadora, além disso, mostrou-se que a ênfase na localização temporal melhora substancialmente a geração de texto baseada em vídeos em comparação com os LLMs de vídeo existentes, incluindo uma melhoria relativa de 36% na Compreensão Temporal.

Em resumo, o LITA representa um avanço significativo na tecnologia de processamento de vídeo por modelos de linguagem, trazendo melhorias importantes na forma como esses modelos podem entender e interagir com o conteúdo temporal dos vídeos. Essas inovações abrem caminho para aplicações mais precisas e eficientes em áreas como análise de vídeo automatizada, assistência por vídeo e diversas outras aplicações onde a compreensão precisa do tempo é crucial.

Projeto : https://github.com/NVlabs/LITA

This is not a “how-to” but rather a commentary on this task. My oldest son complained of a damaged upper screen on his Nintendo DS Lite so I thought, “meh, how hard can it be?” Without doing an real research on it, I purchased the replacement screen, watched a couple YouTube videos and I started […]

Tumbleweed es una distribución de GNU/Linux «Rolling Release» o de actualización contínua. Aquí puedes estar al tanto de las últimas novedades.

openSUSE Tumbleweed es la versión «rolling release» o de actualización continua de la distribución de GNU/Linux openSUSE.

Hagamos un repaso a las novedades que han llegado hasta los repositorios esta semana.

Y recuerda que puedes estar al tanto de las nuevas publicaciones de snapshots en esta web:

• https://victorhck.gitlab.io/tumbleweed_snapshots/

El anuncio original lo puedes leer en el blog de Dominique Leuenberger, publicado bajo licencia CC-by-sa, en este este enlace:

• https://dominique.leuenberger.net/blog/2024/03/opensuse-tumbleweed-review-of-the-week-2024-12/
• https://dominique.leuenberger.net/blog/2024/03/opensuse-tumbleweed-review-of-the-week-2024-13/

Semana 12

En openSUSE marzo ha sido el «mes de los escritorios». Los dos principales entornos de escritorio (KDE/Plasma y GNOME) acaban de publicar sus nuevos lanzamientos en las últimas semanas y los usuarios de Tumbleweed tuvimos el placer de recibir ambas actualizaciones durante los últimos días.

Pero pasaron muchas más cosas durante la semana 12. Se publicaron 7 instantáneas completas (0314, 0315, 0317, 0318, 0319, 0320 y 0321)

Que trajeron las siguientes actualizaciones:

• KDE Plasma 6.0.2
• Systemd 255.3 & 255.4
• Linux kernel 6.8.1 & Kernel firmware 20240312
• linux-glibc-devel 6.8 (kernel 6.8 headers)
• strace * iputils2 6.8
• QEmu 8.2.2
• LLVM 18
• SQLite 3.45.2
• GNOME 46.0
• PHP 8.2.17
• Qt 5.15.13

Semana 13

¡Que semana! Todos esperábamos con ansias una semana corta justo antes de las vacaciones de semana santa y su merecido descanso, pero…. Las cosas nunca son como se espera que sean, ¿verdad?

«Sólo» se han publicado 4 instantáneas esta semana (0325, 0326, 0327 y 0328) que han traido actualizaciones muy interesantes:

• Mesa 24.0.3
• KDE Gear 24.02.1
• emacs 20.3
• Shadow 4.15.1
• Mozilla Firefox 124.0.1
• KDE Plasma 6.0.3
• LibreOffice 24.2.2
• TeXLive 2024 Qt 6.6.3 cURL 8.7.1

Y ya preparándose para próximas actualizaciones, podemos encontrar:

• Python 3.9 eliminación de módulos de esta versión.
• Linux kernel 6.8.2
• Linux LTS Kernel 6.6.23
• dbus-broker
• libxml 2.12.x
• GCC 14

Si quieres estar a la última con software actualizado y probado utiliza openSUSE Tumbleweed la opción rolling release de la distribución de GNU/Linux openSUSE.

Mantente actualizado y ya sabes: Have a lot of fun!!

Enlaces de interés

• ¿Por qué deberías utilizar openSUSE Tumbleweed?
• zypper dup en Tumbleweed hace todo el trabajo al actualizar
• ¿Cual es el mejor comando para actualizar Tumbleweed?
• ¿Qué es el test openQA?
• http://download.opensuse.org/tumbleweed/iso/
• https://es.opensuse.org/Portal:Tumbleweed

——————————–

Seguimos con el repaso a las novedades de Plasma 6, que ya está instalado en todos mis equipos y no puedo estar más que satisfecho. Además, de los allegados que les he puesto KDE Neon solo uno con tarjeta Nvidia me ha reportado problemas, y os puedo asegurar que son usuarios nivel básico. Hoy toca hablar de una mejora sustancias, y es que este nueva versión del escritorio nos proporciona búsquedas más rápidas y eficientes, uno de esos cambios que se han realizado en el motor de Plasma 6, dificil de explicar por su alto contenido técnico pero que se materializa en mejoras palpables para el usuario. .

Búsquedas más rápidas y eficientes en Plasma 6

Una de las cosas que me encanta hacer con mi escritorio es demostrar lo flexible en cuanto al manejo de todo tipo de archivos (documentos, imágenes, sonido, etc). Gracias a los filtros de Dolphin, sus opciones de vista (aunque todavía estoy esperando poder dividir más las pestañas), las posibilidades de ordenación, etc. consigo una eficiencia que dudo que se pueda conseguir en otro sistema operativo.

Pero es que además, no solo Dolphin es donde se pueden encontrar archivos, sino que todo el entorno de trabajo se pone a tu disposición para que sea sencillo encontrar lo que buscas… y no solo hablo de ficheros.

Gracias a la barra de Krunner, un pequeña barra de búqueda que aparece pulsando «Alt» + «Barra espaciadora» o «Alt» + «F2», puedes buscar en un segundo TODO lo que hay en tu equipo.

Con la llegada de Plasma 6 este aspecto del escritorio ha mejorado en los siguientes aspectos:

• ahora es posible personalizar el orden de los resultados de la búsqueda.
• también permite ahora convertir entre zonas horarias. Esto es útil si viaja con frecuencia o necesita mantenerse en contacto con sus colegas, amigos y familia de otras partes del mundo. Consulta otras formas en las que KDE puede ayudarte durante sus viajes.
• debido a algunas refactorizaciones y al análisis de rendimiento, la Búsqueda de Plasma es generalmente más rápida y, en particular, buscar aplicaciones y páginas de preferencias es mucho más rápido, a la vez que consume menos recursos de la CPU.
  • más de un 200 % más rápida al buscar en los documentos recientes.
  • hasta un 60 % más rápida al buscar aplicaciones.
  • hasta un 30 % menos de ciclos de CPU
• posibilidad de activar el «Reposo híbrido» desde KRunner.
• búsqueda en codeberg y en PyPi desde KRunner.
• La búsqueda encuentra ahora resultados en el idioma actual del sistema y en inglés.

Más información: KDE

Las novedades básicas del Plasma 6

A l largo de muchos días voy a ir desgranando las novedades de Plasma 6 pero es bueno tener una pequeña lista donde se reúnana las principales:

• Nuevo efecto de vista general: se han combinado los efectos de Vista general y Cuadrícula de escritorios en uno, con grandes mejoras en los gestos del panel táctil.
• Color mejorado: Plasma en Wayland ya tiene compatibilidad parcial con alto rango dinámico (HDR).
• Nuevo fondo de escritorio: Árbol escarlata, creado por axo1otl.
• Panel flotante: en Plasma 6, el panel flota de forma predeterminada. Se puede cambiar, por supuesto.
• ¡Nuevos valores predeterminados!
• Brisa refrescada: se ha rediseñado el tema Brisa para que presente un aspecto más moderno, con menos marcos y con un espaciado más consistente.
• Preferencias reorganizadas: se ha mejorado la aplicación de Preferencias para que resulte más amigable y tenga menos páginas anidadas.
• ¡El cubo ha vuelto!
• Mejoras en la búsqueda de Plasma: ahora personalizar el orden de los resultados de la búsqueda y es mucho más rápida.
• Mejoras en Plasma Mobile.
• Cambios en todas las aplicaciones de KDE Gear: Kontact, Kleopatras. Itineray, KDE Edu, KDEnlive, Dolphin, Spectacle, etc.

Y esto es una brevísima pincelada… Creo que ahora tengo temas de para el blog de sobra hasta 2025.

La entrada Búsquedas más rápidas y eficientes en Plasma 6 se publicó primero en KDE Blog.

Dear Tumbleweed users and hackers,

What a week! We all were looking forward to a short week just before the Easter weekend and a long break. Things just never are, as they are expected to be, right? You have “only” received 4 snapshots this week (0325, 0326, 0327, and 0328) – and, as happens very rarely, some updates in the update channel (this should indicate to you it is important enough for us to side-track the already fast release process).

The most relevant changes this week were:

• Mesa 24.0.3
• KDE Gear 24.02.1
• emacs 29.3
• Shadow 4.15.1
• Mozilla Firefox 124.0.1
• KDE Plasma 6.0.3
• LibreOffice 24.2.2
• TeXLive 2024
• Qt 6.6.3
• cURL 8.7.1
• xz 5.6.1.revertto5.4 (version 5.4, but with a version tag > 5.6.1 for users that wrongly would not use zypper dup – we wanted to be sure). Please see https://news.opensuse.org/2024/03/29/xz-backdoor/ and upgrade SOON (at least liblzma5, then reboot)

For some regions, there is a long weekend ahead – so expect no / few snapshots until early next week. For snapshot 0328, Ring0 has been completely bootstrapped (as the attack vectors for xz were not fully known, we went the safest route) and for 0329 all of Tumbleweed rebuilt against that new base; Ezpect that snapshot to appear ‘large’ (even though many packages will not be different). The relevant changes to come to you during the next days/week include:

• Python 3.9 module removal (the bootstrap rebuild was a good excuse, as that removal would have required OBS internal rebuild strategy anyway – so instead of doing it twice, we pulled that change forward into 0329 – I mentioned that removed for a few weeks already)
• Linux kernel 6.8.2
• Linux LTS Kernel 6.6.23
• dbus-broker: no progress this week
• libxml 2.12.x: slow/no progress
• GCC 14: phase 2: use gcc14 as the default compiler

Inference v0.9.18 é uma plataforma de código aberto projetada para simplificar o processamento modelos de visão computacional. Ela permite que desenvolvedores realizem detecção de objetos, classificação e segmentação de instâncias, além de utilizar modelos de base como CLIP, Segmentação e YOLO-World através de um pacote nativo Python, este software é um servidor de inferência auto-hospedado ou uma API totalmente gerenciada.

Com isto é possível executar múltiplas transmissões de vídeo através de um único pipeline, aplicações para monitorar a eficiência de lojas de varejo, detecção de objetos pequenos e muito mais.

Com esta versão tornou possível processar múltiplos vídeos e transmissões usando um pipeline. Com múltiplas transmissões em um pipeline, você pode simplificar sua arquitetura de serviço de modelo e trazer transmissões de várias câmeras de borda para um único pipeline para processamento em uma única GPU. Essa configuração é ideal para ambientes de fabricação que operam múltiplas linhas em um único local para garantir que a produtividade permaneça alta enquanto reduz o hardware necessário para executar o processamento na borda.

Como funciona o InferencePipeline?

InferencePipeline gira uma thread consumidor de fonte de vídeo para cada referência de vídeo fornecida. Quadros dos vídeos são capturados por um multiplexador de vídeo que espera por um timeout de coleta de lote (se a fonte não fornecer um quadro, um lote menor será passado para on_video_frame, mas quadros ausentes e previsões serão preenchidos com None antes de passar para on_prediction . O on_prediction pode trabalhar no modo SEQUENCIAL (apenas um elemento de cada vez), ou no modo LOTE – todos os elementos do lote ao mesmo tempo, e isso pode ser controlado pelo parâmetro sink_mode.

Para arquivos de vídeo estáticos, InferencePipeline processa todos os quadros por padrão, para transmissões – é possível descartar quadros dos buffers – em favor de sempre processar os dados mais recentes (quando a inferência do modelo é lenta, mais quadros podem ser acumulados no buffer – o processamento de transmissão descarta quadros mais antigos e só processa o mais recente).

Para aumentar a estabilidade, no caso de processamento de transmissões – as fontes de vídeo serão automaticamente reconectadas uma vez que a conectividade for perdida durante o processamento. Isso é destinado a prevenir falhas em ambiente produtivo quando o pipeline pode funcionar por longas horas e precisa lidar de forma graciosa com tempos de inatividade das fontes.

Mais informações no github: https://github.com/roboflow/inference

Esta tercera entrega del año de la iniciativa #viernesdeescritorio no podía tener otro sabor que el del fondo de pantalla de Plasma 6. Con este ya serán 46 las entregas compartiendo «Mi escritorio» de forma mensual. Así que, bienvenidos a mi escritorio Plasma de marzo 2024, realizado sobre mi Kymera Slimbook y que he querido que sea el ultimo viernes del mes para dar mi opinión sobre el entorno Plasma 6 instalado en mi equipo.

Mi escritorio Plasma de marzo 2024 #viernesdeescritorio

Esta va a ser la cuadragésimosexta (46 para los que nos cuesta leer esto) vez que muestro mi escritorio Plasma 5 en público, lo cual es número nada desdeñable de entradas que sigue creciendo de forma constante. Hice un recopilatorio con los 12 escritorios del 2022 y este diciembre he hecho una con los 13 del 2023. Por fin he encontrado el momento perfecto para hacer este tipo de entradas.

Y en esta ocasión, voy a mostrar mi Kymera Slimbook, mi ordenador de sobremesa, el cual tiene instalado un KDE Neon con Plasma 6.0.2, sobre una versión de KDE Frameworks 6.0 y una versión de Qt 6.6.2. El servidor gráfico es Wayland y el Kernel es 6.5.0-26-generic (64 bits).

Respecto al tema general, no podía ser otro que el clásico Brisa Claro para poder así poner el fondo de pantalla ganador del concurso de Plasma 6 llamado «“Sun/Comet” (según sea claro u oscuro) al cual solo le he añadido el reloj analógico del Visual Design Group de la Comunidad KDE en un sentido del reconocimiento de su trabajo.

Para casi finalizar la entrada simplemente decir, que justo un mes y un día de tener Plasma 6 en mis equipos no puedo dejar de felicitar al equipo de programadores de la Comunidad KDE por el excelente trabajo realizado… a excepción de algunos Service Menu que echo en falta trabajo igual ahora que con Plasma 5, lo cual es lo mejor que podemos decir ya que, como dije en la Fiesta de Lanzamiento de KDE 6 en València, lo mejor está por llegar.

El resultado de mi escritorio Plasma de marzo de 2024 es un entorno de trabajo claro y, como siempre, funcional que podéis ver en la imagen inferior (pinchad sobre ella para verlo un poco más grande).

La entrada Mi escritorio Plasma de marzo 2024 #viernesdeescritorio se publicó primero en KDE Blog.

I requested a new monitor in the office because the one I had was developing a cluster of vertical lines running through it. I actually got what I asked for, an LG DualUp display that is essentially like having two, 1440p monitors stacked on top of one another without the bezel. It was essentially perfect […]

openSUSE maintainers received notification of a supply chain attack against the “xz” compression tool and “liblzma5” library.

Background

Andres Freund reported to Debian that the xz / liblzma library had been backdoored.

This backdoor was introduced in the upstream github xz project with release 5.6.0 in February 2024.

Our rolling release distribution openSUSE Tumbleweed and openSUSE MicroOS included this version between March 7 and March 28.

SUSE Linux Enterprise and openSUSE Leap are built in isolation from openSUSE Tumbleweed. Code, functionality and characteristics of Tumbleweed are not automatically introduced in SUSE Linux Enterprise and/or openSUSE Leap. It has been established that the malicious file introduced into Tumbleweed is not present in SUSE Linux Enterprise and/or openSUSE Leap.

Impact

Current research indicates that the backdoor is active in the SSH Daemon, allowing malicious actors to access systems where SSH is exposed to the internet.

As of March 29, reverse engineering of the backdoor is still ongoing.

Mitigations

openSUSE Maintainers have rolled back the version of xz on Tumbleweed on March 28 and have released a new Tumbleweed snapshot (20240328 or later) that was built from a safe backup.

The reversed version is versioned 5.6.1.revertto5.4 and can be queried with rpm -q liblzma5.

User recommendation

For our openSUSE Tumbleweed users where SSH is exposed to the internet, we recommend installing fresh, as it’s unknown if the backdoor has been exploited.

Due to the sophisticated nature of the backdoor an on-system detection of a breach is likely not possible.

Also rotation of any credentials that could have been fetched from the system is highly recommended. Otherwise, simply update to openSUSE Tumbleweed 20240328 or later and reboot the system.

• SUSE Security CVE-2024-3094 information page
• OSS Security disclosure of the vulnerability

Welcome to the monthly update for openSUSE Tumbleweed for March 2024. This month provided several anticipated updates for the rolling release.

Before getting in the package updates, know that this blog aims to provide readers an overview of the key changes, improvements and issues addressed in openSUSE rolling release throughout the month. Should readers desire a more frequent amount of information about snapshot updates, readers are encouraged to subscribe to the openSUSE Factory mailing list.

Let’s get started.

New Features and Enhancements

• Linux Kernel: Versions for the month of March progressed update version 6.8.1. These updates enhance system stability, security and hardware compatibility. Snapshot 20240319 that moved the kernel from 6.7.9 to 6.8.1 did the following:
  • Patches addressed Register File Data Sampling (RFDS) microarchitectural vulnerabilities CVE-2023-28746. The patch includes mitigation measures such as exporting to guests in KVM/x86 environments and adds new documentation. There was a patch to disable KVM mitigation when the X86_FEATURE_CLEAR_CPU_BUF is set.
  • A notable reversion is the removal of code for inode_cache and recovery mount options from Btrfs, following an issue. Fixes related to Btrfs, such as addressing a race condition when detecting Delayed Allocation ranges during fiemap.
  • The updates involve significant configuration changes for arm architectures (armv6hl, armv7hl, and arm64). The updates mirror option values across different architectures and include new configurations for hardware support, such as various PINCTRL (Pin Control), GPIO (General-Purpose Input/Output), VIDEO, DRM (Direct Rendering Manager) and SND_SOC (Sound System on Chip) settings.
• Plasma 6: Find the article on news.opensuse.org
• GNOME 46: Find the article on news.opensuse.org
• systemd: From version 254.9 to 255.4, the updated provided the following:
  • Specific issues have been either rebased or removed if they’ve become part of the core version 255 updates. This indicates a significant step towards maintaining consistency with upstream developments while also ensuring the stability and reliability of systemd functionalities within penSUSE.
• A clear emphasis has been placed on enhancing the testing framework within the systemd package to ensure the reliability of bootloader installation processes during testing phases. Read more info about the systemd-bootl integration.
• libzypp 17.32.0
  • Introduction of a new resolver option ‘removeOrphaned’ for dist-upgrade processes to enhance package management
  • Fixes applied to vsftpd.conf addressing issues where SUSE and Fedora use different defaults.
  • Security Updates: Modification to avoid using the deprecated OPENSSL_config in the Digest section, enhancing security practices.
  • Introduction of ProblemSolution::skipsPatchesOnly overload to improve patch management processes.
  • Removal of HTTPS->HTTP redirection exceptions for download.opensuse.org, reinforcing security and integrity in download processes.
• zypper 1.14.70:
  • Integration of a new option --remove-orphaned to remove all orphaned packages during a system upgrade.
  • Improved user interface indicating active dry-run/download-only options at the commit prompt, enhancing user experience and clarity.
  • Setting of libzypp shutdown request signal upon Ctrl+C to improve responsiveness and control.
• LLVM 18:
  • The patches llvm-do-not-install-static-libraries.patch and llvm-normally-versioned-libllvm.patch have been rebased to align with the new version, addressing specific distribution and library concerns.
  • Modification to prefer ld.bfd over other linkers to achieve a Transparent Huge Pages (THP)-compatible section layout, optimizing memory management and performance.
• shadow: Updates to version 4.15.1
  • Resolved an issue causing unwarranted error messages about unknown login.defs configuration options and implements checks for file descriptor omission to improve security and reliability
  • The shadow-4.15.0-fix-definition.patch has been updated to address the erroneous error messages regarding configuration options,
  • Improved linking with libdl for better dynamic library handling.
    • Revised the shadow-login_defs-unused-by-pam.patch to ensure continued compatibility and effectiveness.

Bug Fixes

• Mozilla Firefox 124.0.1: Had multiple Common Vulnerabilities and Exposures fixes. These included CVE-2024-29943, which an attacker was able to perform an out-of-bounds read or write on a JavaScript object by fooling range-based bounds check elimination, and related CVE-2024-29944. There were 12 more CVEs addressed in the update from snapshot 20240326
• redis 7.2.3: The update provides a fix for CVE-2023-41056 that caused memory issues and security risks.
• python311: CVE-2024-0450 was added to the changelog due to a revert use of automated tool scripts.
• Linux Kernel 6.8.1: CVE-2023-28746 was related to microarchitectural vulnerabilities as mentioned above. Expat 2.6.2: This CVE-2024-28757 fix prevent a vulnerable attacks that overloads it with XML entities, especially when using external parsers created in a certain way.
• opensc 0.25.0: Has a fix for CVE-2023-5992 where PKCS#1 encryption padding removal was not implemented as side-channel resistant and fixes CVE-2024-1454 that requires physical access and special device related to its AuthentIC driver that happens when setting up new cards.
• libvirt 10.1.0: The update brings a fix for CVE-2024-1441 that has an off-by-one error that could allow Denial of Service via crafted data to crash daemon.
• Unbound 1.19.2: Provides a fix for CVE-2024-1931, which could lead to a Denial of Service from infinite loop in Extended DNS Error record trimming.
• graphviz: Exploitability for CVE-2023-46045 may be uncommon because this file is typically owned by root, but is related to an out-of-bounds read via a crafted config6a file. A welcoming fix was provided.
• openjpeg2 2.5.2: With CVE-2021-3575, an attacker could use this to execute arbitrary code with the permissions of the application compiled against openjpeg.

Conclusion

March 2024 brought numerous updates for openSUSE Tumbleweed systems. Besides Plasma and GNOME desktop environments, there were improvements across systemd, libzypp, LLVM and more. Other significant upgrades during the month included updates to bind, CMake, KDE Gear 24.02.1, Mesa, qemu and more. For those Tumbleweed users that want to contribute, subscribe to the openSUSE Factory mailing list. The openSUSE team encourages users to continue participating through bug reports, feature suggestions and discussions.

Contributing to openSUSE Tumbleweed

Your contributions and feedback make openSUSE Tumbleweed better with every update. Whether reporting bugs, suggesting features, or participating in community discussions, your involvement is highly valued.