Ruvikm

记录一下复现论文SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks的过程，论文给出了项目的GitHub地址。此博客是边跑边写边改的，尽量把顺序合理化，让人可以少走一些弯路 论文概述利用工具，可以大概对此篇论文有如下了解 这篇文章介绍了SpikeGPT，这是一种基于脉冲神经网络(SNNs)的生成式语言模型。SNNs利用稀疏、事件驱动的激活方式来减少计算复杂性，提高能源效率，因此在深度学习领域有很大的潜力。虽然SNNs在计算机视觉任务上取得了成功，但在语言生成方面仍然有待进一步探索，因为它们的训练过程相对复杂。文章的作者们对Transformer模块进行了修改，消除了多头自注意力带来的二次计算复杂度，并引入循环计算，实现了逐词计算，同时保留了长程依赖关系。结果得到的SpikeGPT模型在语言生成任务上表现出竞争力，同时能耗仅为传统人工神经网络(ANNs)的五分之一。该模型还是迄今为止最大的反向传播训练的功能性SNN模型，拥有多达2.6亿个参数。这项工作为在自然语言处理任务中有效训练大规模S ...

记录一下安装的过程，官方文档如下 https://www.paddlepaddle.org.cn/documentation/docs/zh/install/conda/windows-conda.html 创建虚拟环境conda create -n paddle python=3.8conda activate paddle 查看自己安装的CUDA版本nvcc -V 选择适合自己的版本，我安装的是CUDA11.2的 conda install paddlepaddle-gpu==2.5.0 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge 验证安装pythonimport paddlepaddle.utils.run_check()

首先打开项目网址，把代码下载下来，按照其要求安装python，git 安装完成后，检查一下自己是否安装成功，Win+R后输入cmd，在弹出来的窗口内输入python 若和下图类似，则说明安装成功 输入exit()退出python的编辑模式。继续输入git --version 说明git也安装成功。 将下载下来的压缩包解压，并用cmd进入其项目文件夹，输入 pip install -r requirements.txt 安装完毕后然后开启海外全局magic，运行 python run.py 如果遇到这个问题 找到项目中的config.json文件 把port改成8088 若出现以下界面 则可以打开 http://localhost:8088 成功部署chatGPT！

最近跑别人的项目遇到一个这样的问题 OSError: [Errno 22] Invalid argument xxxxxxxxxxxxxxxxxx 一开始以为是没有用管理员的权限运行，导致创建不了日志文件 后来发现是和windows的命名规则冲突了（以下来源官网地址） 命名约定以下基本规则使应用程序能够创建和处理文件和目录的有效名称，而不考虑文件系统： 使用句点将基文件名与目录或文件名称中的扩展名分隔开。 使用反斜杠 () 分隔路径的组件。 反斜杠将文件名从路径中除以，将一个目录名与路径中的另一个目录名称分开。 不能在实际文件或目录的名称中使用反斜杠，因为它是将名称分隔成组件的保留字符。 根据需要使用反斜杠作为 卷名称的一部分，例如“C：\”在“C：\path\file”或“\server\share\path\file”中为通用命名约定的“\server\share” (UNC) 名称。 有关 UNC 名称的详细信息，请参阅 最大路径长度限制 部分。 不要假定区分大小写。 例如，将 OSCAR、Oscar 和 oscar 的名称视为相同，即使某些文件系统 (（如符合 POS ...

最开始需要新建一个conda环境 conda create -n word2vec python=3.8conda activate word2vec 然后安装一下所需要的库 pip install numpypip install scipypip install gensimpip install jieba 首先下载一下数据集zhwiki-20230701-pages-articles.xml.bz2，为了方便后续操作，这里需要把他转成txt格式的 以下是转化的文件transform_to_txt.py #!/usr/bin/env python# -*- coding: utf-8 -*-# 修改后的代码如下：import loggingimport os.pathimport sysfrom gensim.corpora import WikiCorpusif __name__ == '__main__': program = os.path.basename(sys.argv[0]) logger = logging.getLogger(pr ...

# Copyright (c) 1993-2009 Microsoft Corp.## This is a sample HOSTS file used by Microsoft TCP/IP for Windows.## This file contains the mappings of IP addresses to host names. Each# entry should be kept on an individual line. The IP address should# be placed in the first column followed by the corresponding host name.# The IP address and the host name should be separated by at least one# space.## Additionally, comments (such as these) may be inserted on individual# lines or following the machine ...

Word2Vec工具的出处在一篇论文《Efficient Estimation of Word Representations in Vector Space》中 从论文中可以找到提供的开源地址，但是发现跳转网页的时候会显示404，于是换了一种方法安装Word2Vec 作者提供的开源地址中，提供了论文的源码，解压源码的压缩包然后用Pycharm打开，然后用Pycharm切换到Word2Vec环境（如果发现解压错误需要先新建一个名为Word2Vec的文件夹） 打开后找到作者写的README文件 Tools for computing distributed representtion of words------------------------------------------------------We provide an implementation of the Continuous Bag-of-Words (CBOW) and the Skip-gram model (SG), as well as several demo scripts.Given a text ...

由于最近需要用到一个预处理的数据集，方法在这篇论文《Efficient Estimation of Word Representations in Vector Space》里，于是打算尝试能不能复现一下，论文提供了代码地址，但是当我打开下载的时候，却发现是404 于是经过一番搜索，找到了最新的地址（应该是吧 先创建一下新的虚拟环境 conda create -n word2vec python=3.8conda activate word2vec 然后安装numpy、scipy pip install numpypip install scipy 安装Microsoft Visual C++ 14.0 下载下来是一个安装器，然后进行如下操作 然后 最后安装有点麻烦的gcc，首先使用清华镜像下载mingw-w64-gcc，然后解压的位置选一个自己能记住的位置，比如我的就是 G:\Program Files\MinGW-w64 然后把bin目录添加到系统变量里 例如我的路径就是 G:\Program Files\MinGW-w64\mingw-w64-gcc-12.2-stable ...

原本就是将Anaconda安装到了C盘，结果发现环境他还是默认安装到了C盘，就打算再转移一下 conda版本为 首先找到Win11下面的环境位置 C:\Users\用户名\.conda\envs 比如我的就是 C:\Users\Arona\.conda\envs 找到D盘安装Anaconda的位置 D:\ProgramData\anaconda3\envs C盘的将envs文件夹剪切过去，环境迁移一半就完成了 测试了一下，如果新建一个环境，默认还会装在C盘 于是要修改一下环境的默认安装位置 找到用户目录下的.condarc文件 explorer %USERPROFILE% 用Visual Studio Code打开 加入这段话 envs_dirs: - D:\ProgramData\anaconda3\envs 这样默认就会安装到D盘了 测试一下，新建一个名为test1的环境 如果发现地址还没变的话，可以继续以下操作 找到Anaconda的文件夹，右键属性—安全，把users下面的权限全部打钩就行 应用过程中可能还会出现这种错误 可以按照这个博客的方法来解决，那个图比较 ...

记录一下自己跑通一个GitHub项目《GAT-BiLSTM-CRF》的过程 自己电脑环境如下： 显卡：3060TI CUDA : 11.0 CUDAToolkit : 8.0.2 首先新建一个conda环境 conda create -n GBC python=3.7conda activate GBC 然后用Pycharm打开其项目，并把Pycharm的环境也切换到GBC 下面就是安装环境了，根据作者的md文件，需要装一个Pytorch1.1版本 从官网找见下载链接，并把-c pytorch去掉，以便使用清华源 conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 看来这种方法不太行，换一种方法！ 打开Pytorch官网的下载源，搜索cu100/torch-1.1.0，下载如下的包 ちょっと待って，我好像已经发现了问题，我的CUDA11.0肯定和这个不匹配，装了也没用，那就用CPU版本的torch跑一跑试试吧 # CPU Onlyconda install pytorch-cpu==1.1.0 to ...