EEPW论坛

欢迎来到 OpenVINO™ 2024.1!  

OpenVINO™ 工具套件的每一次升级，都意味着我们在 AI 推理与部署的前沿领域迈出了新的步伐，不仅释放了更多创新潜力，也巩固了其市场地位。如今，我们满怀欣喜地向您呈现 OpenVINO™ 2024.1 版本的全新特性，并继续履行我们的承诺：为全球开发者打造更强劲、更灵活、更易用的开发工具。

OpenVINO™ 2024.1 版本的推出，深深植根于广大开发者社区的坚实反馈与我们对于未来发展的明晰构想。这一版本旨在进一步赋能开发者，通过优化大语言模型（LLM）的性能、拓宽模型的支持范围，以及简化跨越各类平台（无论云端还是本地环境）的部署流程，从而全方位提升开发体验与效率。接下来，我们将逐一对本次推出的关键更新进行详述：

大语言模型推理的改进

LLM 的发展仍保持着惊人的速度。尽管现有的 LLM 已经具备强大的功能，但通过 OpenVINO™ 的优化和推理加速，可以对这些复杂模型的执行进行精炼，实现更快、更高效的处理，减少计算开销并最大限度发挥硬件潜力，这将直接导致 LLM 实现更高的吞吐量和更低的延迟。

通过采用压缩嵌入实现额外优化，有效地缩减了 LLM 的编译耗时与内存占用。与此同时，基于英特尔®锐炫™GPU，以及英特尔®高级矩阵扩展（Intel® AMX）的第4代和第5代英特尔®至强®平台之上，LLM 的第一个 token 处理性能得到了显著提升。

通过 oneDNN 可实现更好的 LLM 压缩与性能提升。如今，经过量化或压缩后的 INT4 和 INT8 精度的 LLM 可在英特尔®锐炫™GPU 上得到支持。在搭载集成 GPU 的英特尔®酷睿™Ultra 处理器上，针对部分小型 GenAI 模型显著减少了内存消耗。

此外，现在可以在 PyTorch 模型进行训练后量化之后，对其进行微调，以提高模型精度并简化从训练后量化过渡到训练感知量化的过程。

已添加演示示例：https://github.com/openvinotoolkit/nncf/blob/develop/examples/quantization_aware_training/torch/resnet18/README.md

更多生成式 AI 覆盖范围和框架集成

进一步深入了解搭载 OpenVINO™ 的生成式 AI，该新版本拓宽了生成式AI的边界，使其能够覆盖更广泛的神经网络架构与应用场景。

● 针对最新发布的最先进的 Llama 3 和 Phi3 模型， OpenVINO™ 对其实现了支持和优化。

● 具备混合专家（MoE）架构的 LLM 模型 Mixtral 以及 URLNet 模型，均针对英特尔®至强®处理器进行了性能提升优化。

● 而文生图模型 Stable Diffusion 1.5，以及 LLMs 模型 ChatGLM3-6b和Qwen-7B，则专为搭载了集成 GPU 的英特尔®酷睿™Ultra 处理器进行了推理速度的改进和优化。

现在，OpenVINO™ 已支持 Falcon-7B-Instruct，这是一款即用型、具备优秀性能指标的生成式AI大语言模型，适用于聊天与指令场景。

新版本支持的其他模型包括：

Yolo V9、Yolo V8 Oriented Bounding Box Detection （OOB）、Stable Diffusion in Keras、MoblieCLIP、RMBG-v1.4 Background Removal、Magika、TripoSR、AnimateAnyone、LLaVA-Next 以及带有 OpenVINO 和 LangChain 的 RAG 系统。

我们还在 OpenVINO Notebooks 存储库中提供了 Jupyter Notebook 示例。

新平台的更改和现有平台的增强

除了 PyPI 上的主 OpenVINO™ 软件包外，英特尔®酷睿™Ultra 处理器的预览 NPU 插件现在在  OpenVINO™ 开源 GitHub 存储库中可用。

现在，可以通过 npm 存储库更轻松地访问  JavaScript API，使 JavaScript 开发人员能够无缝访问 OpenVINO™ API。我们扩展了文档，可帮助开发人员将他们的 JavaScript 应用程序与  OpenVINO™ 集成。

现在，默认情况下已在 ARM 处理器上为卷积神经网络（CNN）启用 FP16 推理。在多种 ARM 设备上，已显著提升了众多模型的性能。已实现与 CPU 架构无关的构建，旨在为不同 ARM 设备提供统一的二进制分发。

新增和更新的 Notebook

OpenVINO™ Notebooks 仍然是非常有价值的资源，用于展示如何利用 OpenVINO™ 在人工智能领域实现重要进展。最近，我们对 OpenVINO™ notebooks 存储库做了一些改动，包括将默认分支从 'main' 更改为 'latest'，以及对 "notebooks" 文件夹内 notebook 的命名结构进行了改进。

OpenVINO™ Notebooks:

https://github.com/openvinotoolkit/openvino_notebooks/tree/recipes/recipes/automated_self_checkout

使用 GitHub Pages 上的本地 README.md 文件和  OpenVINO™ Notebook 浏览内容。

GitHub Pages：

https://openvinotoolkit.github.io/openvino_notebooks/

新近添加并更新了以下Notebook

● Grounded Segment Anything

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/grounded-segment-anything/grounded-segment-anything.ipy

● Visual Content Search with MobileCLIP 

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/mobileclip-video-search/mobileclip-video-search.ipynb

● yolov9-optimization

https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/yolov9-optimization

● Yolo V8 Oriented Bounding Box Detection Optimization 

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/yolov8-optimization/yolov8-obb.ipynb

● Magika: AI powered fast and efficient file type identification 

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/magika-content-type-recognition/magika-content-type-recognition.ipynb

● Keras Stable Diffusion 

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/stable-diffusion-keras-cv/stable-diffusion-keras-cv.ipynb

● RMBG background removal 

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/rmbg-background-removal/rmbg-background-removal.ipynb

● AnimateAnyone: pose guided image to video generation 

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/animate-anyone/animate-anyone.ipynb

● LLaVA-Next visual-language assistant

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/llava-next-multimodal-chatbot/llava-next-multimodal-chatbot.ipynb

● TripoSR: single image 3d reconstruction

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/triposr-3d-reconstruction/triposr-3d-reconstruction.ipynb

● RAG system with OpenVINO and LangChain

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/llm-rag-langchain/llm-rag-langchain.ipynb

● Hello, NPU! 

https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/hello-npu