什么是 GGUF 和 GGML？
GGUF 和 GGML 是用于存储推理模型的文件格式，尤其是在 GPT （Generative Pre-trained Transformer） 等语言模型的上下文中。让我们探讨一下每种方法的主要区别、优点和缺点。
GGML (GPT-Generated Model Language)GGML 由 Georgi Gerganov 开发，是一个专为机器学习而设计的张量库，可在各种硬件（包括 Apple Silicon）上实现大模型和高性能。
优点
早期创新： GGML 代表了为 GPT 模型创建文件格式的早期尝试。
单个文件共享： 它支持在单个文件中共享模型，从而提高了便利性。
CPU 兼容性： GGML 模型可以在 CPU 上运行，从而扩大了可访问性。
缺点
灵活性有限： GGML 难以添加有关模型的额外信息。
兼容性问题： 引入新功能通常会导致与旧模型的兼容性问题。
需要手动调整： 用户经常需要修改 rope-freq-base、rope-freq-scale、gqa 和 rms-norm-eps 等设置，这些设置可能很复杂。
GGUF (GPT-Generated Unifi ...
将 CRI-O 容器运行时与 Kind 配合使用
Kind 默认使用 Containerd 作为容器运行时，但是，可以通过 CRI-O 切换它。
首先, 我们可以通过下面命令查询, 运行时为 Containerd 的节点镜像版本。
12345678910(base) ➜ ~ brew install skopeo(base) ➜ ~ skopeo list-tags docker://kindest/node{ "Repository": "docker.io/kindest/node", "Tags": [ ... "v1.30.4", "v1.31.0" ]}
通过上面信息, 我们可以发现 kind 不并提供任何 alpha 或 rc 版本的镜像。若期望的 kindest/node:$K8S_VERSION 不存在，我们需要手动构建一个节点镜像
构建方法
构建基础镜像我们需要使用 kind 项目源码, 来构建一个基础镜像
12345➜ ...
Kubernetes 1.31 发布日志
10 项已晋升为稳定版，19 项正在进入 Beta 阶段，以及新增 11 项功能。
🏠 发布主题和徽标
让我们庆祝本次发布，并感谢社区伙伴在本次的里程碑中所作出的努力和贡献。
🎉 亮点功能KEP-4639 新增基于 OCI 镜像的只读卷
🎬 适用于 AI 的推理场景
需要在 kube-apiserver 和 kubelet 上启用特性门控 ImageVolume 才能正常运行, 并且容器运行时支持该功能 (如 CRI-O ≥ v1.31), 则可以创建如下所示的示例 pod.yaml：
12345678910111213141516apiVersion: v1kind: Podmetadata: name: podspec: containers: - name: test image: registry.k8s.io/e2e-test-images/echoserver:2.3 volumeMounts: - name: volume mountPath: /volume volumes: - name: ...
Kubernetes 基于 OCI 镜像的只读卷
此页面介绍如何使用镜像卷配置容器。这使您可以将 OCI 注册表中的内容挂载到容器内。
准备集群
Containerd 暂不支持 ImageVolume 特性，因此需要使用 CRI-O 作为容器运行时。
kind-crio.yaml
1234567891011121314151617181920kind: ClusterapiVersion: kind.x-k8s.io/v1alpha4nodes:- role: control-plane kubeadmConfigPatches: - | kind: InitConfiguration nodeRegistration: criSocket: unix:///var/run/crio/crio.sock - | kind: JoinConfiguration nodeRegistration: criSocket: unix:///var/run/crio/crio.sock- role: worker kubeadmConfigPatches: - | kind: Joi ...