安装PaddlePaddle
记录一下安装的过程,官方文档如下
https://www.paddlepaddle.org.cn/documentation/docs/zh/install/conda/windows-conda.html
创建虚拟环境conda create -n paddle python=3.8conda activate paddle
查看自己安装的CUDA版本nvcc -V
选择适合自己的版本,我安装的是CUDA11.2的
conda install paddlepaddle-gpu==2.5.0 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
验证安装pythonimport paddlepaddle.utils.run_check()
本地部署chatGPT
首先打开项目网址,把代码下载下来,按照其要求安装python,git
安装完成后,检查一下自己是否安装成功,Win+R后输入cmd,在弹出来的窗口内输入python
若和下图类似,则说明安装成功
输入exit()退出python的编辑模式。继续输入git --version
说明git也安装成功。
将下载下来的压缩包解压,并用cmd进入其项目文件夹,输入
pip install -r requirements.txt
安装完毕后然后开启海外全局magic,运行
python run.py
如果遇到这个问题
找到项目中的config.json文件
把port改成8088
若出现以下界面
则可以打开
http://localhost:8088
成功部署chatGPT!
OSError [Errno 22] Invalid argument(已解决)
最近跑别人的项目遇到一个这样的问题
OSError: [Errno 22] Invalid argument xxxxxxxxxxxxxxxxxx
一开始以为是没有用管理员的权限运行,导致创建不了日志文件
后来发现是和windows的命名规则冲突了(以下来源官网地址)
命名约定以下基本规则使应用程序能够创建和处理文件和目录的有效名称,而不考虑文件系统:
使用句点将基文件名与目录或文件名称中的扩展名分隔开。
使用反斜杠 () 分隔路径的组件。 反斜杠将文件名从路径中除以,将一个目录名与路径中的另一个目录名称分开。 不能在实际文件或目录的名称中使用反斜杠,因为它是将名称分隔成组件的保留字符。
根据需要使用反斜杠作为 卷名称的一部分,例如“C:\”在“C:\path\file”或“\server\share\path\file”中为通用命名约定的“\server\share” (UNC) 名称。 有关 UNC 名称的详细信息,请参阅 最大路径长度限制 部分。
不要假定区分大小写。 例如,将 OSCAR、Oscar 和 oscar 的名称视为相同,即使某些文件系统 ((如符合 POS ...
word2vec工具实战
最开始需要新建一个conda环境
conda create -n word2vec python=3.8conda activate word2vec
然后安装一下所需要的库
pip install numpypip install scipypip install gensimpip install jieba
首先下载一下数据集zhwiki-20230701-pages-articles.xml.bz2,为了方便后续操作,这里需要把他转成txt格式的
以下是转化的文件transform_to_txt.py
#!/usr/bin/env python# -*- coding: utf-8 -*-# 修改后的代码如下:import loggingimport os.pathimport sysfrom gensim.corpora import WikiCorpusif __name__ == '__main__': program = os.path.basename(sys.argv[0]) logger = logging.getLogger(pr ...
Host文件备份
# Copyright (c) 1993-2009 Microsoft Corp.## This is a sample HOSTS file used by Microsoft TCP/IP for Windows.## This file contains the mappings of IP addresses to host names. Each# entry should be kept on an individual line. The IP address should# be placed in the first column followed by the corresponding host name.# The IP address and the host name should be separated by at least one# space.## Additionally, comments (such as these) may be inserted on individual# lines or following the machine ...
复现论文《Efficient Estimation of Word Representations in Vector Space》(未跑通中)
Word2Vec工具的出处在一篇论文《Efficient Estimation of Word Representations in Vector Space》中
从论文中可以找到提供的开源地址,但是发现跳转网页的时候会显示404,于是换了一种方法安装Word2Vec
作者提供的开源地址中,提供了论文的源码,解压源码的压缩包然后用Pycharm打开,然后用Pycharm切换到Word2Vec环境(如果发现解压错误需要先新建一个名为Word2Vec的文件夹)
打开后找到作者写的README文件
Tools for computing distributed representtion of words------------------------------------------------------We provide an implementation of the Continuous Bag-of-Words (CBOW) and the Skip-gram model (SG), as well as several demo scripts.Given a text ...
安装Word2Vec
由于最近需要用到一个预处理的数据集,方法在这篇论文《Efficient Estimation of Word Representations in Vector Space》里,于是打算尝试能不能复现一下,论文提供了代码地址,但是当我打开下载的时候,却发现是404
于是经过一番搜索,找到了最新的地址(应该是吧
先创建一下新的虚拟环境
conda create -n word2vec python=3.8conda activate word2vec
然后安装numpy、scipy
pip install numpypip install scipy
安装Microsoft Visual C++ 14.0
下载下来是一个安装器,然后进行如下操作
然后
最后安装有点麻烦的gcc,首先使用清华镜像下载mingw-w64-gcc,然后解压的位置选一个自己能记住的位置,比如我的就是
G:\Program Files\MinGW-w64
然后把bin目录添加到系统变量里
例如我的路径就是
G:\Program Files\MinGW-w64\mingw-w64-gcc-12.2-stable ...
Win11转移conda环境——从C盘转移到D盘
原本就是将Anaconda安装到了C盘,结果发现环境他还是默认安装到了C盘,就打算再转移一下
conda版本为
首先找到Win11下面的环境位置
C:\Users\用户名\.conda\envs
比如我的就是
C:\Users\Arona\.conda\envs
找到D盘安装Anaconda的位置
D:\ProgramData\anaconda3\envs
C盘的将envs文件夹剪切过去,环境迁移一半就完成了
测试了一下,如果新建一个环境,默认还会装在C盘
于是要修改一下环境的默认安装位置
找到用户目录下的.condarc文件
explorer %USERPROFILE%
用Visual Studio Code打开
加入这段话
envs_dirs: - D:\ProgramData\anaconda3\envs
这样默认就会安装到D盘了
测试一下,新建一个名为test1的环境
如果发现地址还没变的话,可以继续以下操作
找到Anaconda的文件夹,右键属性—安全,把users下面的权限全部打钩就行
应用过程中可能还会出现这种错误
可以按照这个博客的方法来解决,那个图比较 ...
跑通项目《GAT-BiLSTM-CRF》
记录一下自己跑通一个GitHub项目《GAT-BiLSTM-CRF》的过程
自己电脑环境如下:
显卡:3060TI
CUDA : 11.0
CUDAToolkit : 8.0.2
首先新建一个conda环境
conda create -n GBC python=3.7conda activate GBC
然后用Pycharm打开其项目,并把Pycharm的环境也切换到GBC
下面就是安装环境了,根据作者的md文件,需要装一个Pytorch1.1版本
从官网找见下载链接,并把-c pytorch去掉,以便使用清华源
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0
看来这种方法不太行,换一种方法!
打开Pytorch官网的下载源,搜索cu100/torch-1.1.0,下载如下的包
ちょっと待って,我好像已经发现了问题,我的CUDA11.0肯定和这个不匹配,装了也没用,那就用CPU版本的torch跑一跑试试吧
# CPU Onlyconda install pytorch-cpu==1.1.0 to ...
复现论文《SPIKING CONVOLUTIONAL NEURAL NETWORKS FOR TEXT CLASSIFICATION》
前言记录一下复现论文《SPIKING CONVOLUTIONAL NEURAL NETWORKS FOR TEXT CLASSIFICATION》的过程,以免就调包感觉自己什么也没干。不建议一步一步跟着我的步骤做,这个是实况,建议跳着看看再参考着做
论文概况借助工具,大概对此篇的论文的认识如下
这篇文章探讨了使用脉冲神经网络(SNN)进行自然语言处理任务的可行性,以实现比深度神经网络更节能的效果。虽然SNN已被证明在视觉任务中可产生具有竞争力的结果,但由于以脉冲形式表示单词和处理变长文本的困难,对于它们在自然语言处理(NLP)任务中的有效性的研究还很少。作者提出了一种“转换+微调”的两步法来训练SNN进行文本分类,并提出了一种编码预训练词嵌入为脉冲训练的有效方法,使SNN能够利用来自大量文本数据的词嵌入。实证结果表明,经过所提出的方法训练的SNN在能源消耗更少的情况下能够实现与其DNN同行竞争的结果,并且它们也更具对抗性。该研究是在英语和中文语言的文本分类任务中展示SNN有效性的首批研究之一,并突显了转换方法和微调阶段中的代用梯度作为该领域的一个关键贡献。
在论文的末尾,找到作者开源的 ...