最新 最热

计算机基础之:硬件系统的性能评估标准

服务器时钟的性能通常涉及多个方面,主要包括准确性、稳定性、以及对系统性能的影响。以下是一些关键指标和衡量方法:

2024-06-22
16

大语言模型 MOE 简明实现指南

这篇文章中,我简要实现一下大语言模型的 MOE 模块。MOE 模块位于每个GPT层中,位于注意力模块的后面,每个MOE模块包含若干个MLP模块作为专家。这些专家是稀疏的,也就是每次选择部分来调用,并不会调用全部,从而节省宝贵的算力...

2024-06-22
21

JAX 中文文档(十五)

jax.tree 命名空间包含了来自 jax.tree_util 的实用工具的别名。

2024-06-22
12

JAX 中文文档(十四)

| vq(obs, code_book[, check_finite]) | 将观测值分配给代码簿中的代码。 | ## jax.scipy.fft

2024-06-22
13

JAX 中文文档(十三)

学习高级 JAX 使用的一种很好的方法是看看其他库如何使用 JAX,它们如何将库集成到其 API 中,它在数学上添加了什么功能,并且如何在其他库中用于计算加速。...

2024-06-22
5

JAX 中文文档(十七)

缩写Central Processing Unit,CPU 是大多数计算机中可用的标准计算架构。JAX 可以在 CPU 上运行计算,但通常在 GPU 和 TPU 上可以实现更好的性能。

2024-06-22
9

JAX 中文文档(十六)

在许多情况下,可以在不引入不必要的存储开销的情况下完成此操作。然而,增加 mat.n_batch 或 mat.n_dense 将导致存储效率非常低下,许多零值都是显式存储的,除非新的批处理或密集维度的大小为 0 或 1。在这种情况下,bcoo_up...

2024-06-22
8

JAX 中文文档(二)

JAX 中的默认数组实现是 jax.Array。在许多方面,它与您可能熟悉的 NumPy 包中的 numpy.ndarray 类型相似,但它也有一些重要的区别。

2024-06-22
7

Python基础教程(二十八):pip模块

在Python的世界里,扩展库和模块是其强大的生态系统的关键组成部分。pip,作为Python的包管理器,扮演着极其重要的角色,它使得安装、升级和管理Python库变得简单而高效。本文将深入探讨pip的使用方法,从基本概念到高级技巧,通...

2024-06-22
17

Python基础教程(二十七):urllib模块

在Python中,urllib模块是一组用于处理URLs的标准库,它提供了发送网络请求、解析URLs、处理重定向和错误等功能。对于进行Web爬虫开发、数据抓取和API调用等任务,urllib模块是非常实用的工具。本文将深入探讨urllib模块的...

2024-06-22
13