SimpleDao
搭建自己的Chat GPT
2023-03-22, 访问数: 1228
创建虚拟环境使用python 3.11.2 python -m venv .envsource .env/bin/activate 安装python包# pytorch <3# numpy <3# for huggingface transformers <3 (to load GPT-2 checkpoints)pip install transformers# for huggingface datasets <3 (if you want to download + preprocess OpenWebText)pip install datasets# f...
服务组件
升级centos7的mariadb 5.5版本到10.1
2020-03-22, 访问数: 2138
一、mariadb磁盘空间问题在使用mariadb 5.5版本的时候发现有个数据表，在多次重复写入数据后，硬盘空间使用非常大，没法回收表空间，而且云服务器的硬盘空间比较小，就想要想办法把多余的表空间释放掉。 OPTIMIZE TABLE bookchapter; 尝试使用命令尝试使用这个命令去释放，发现没用，mariadb不会因为这样释放掉空间。 1.最简单的回收空间的方法将数据都dump下来，然后将数据库中的数据删除，再restore复原。但是这样的话会造成服务暂时不可用。 二、表空间Innodb存储引擎可将所有数据存放于ibdata1的共享表空间，也可将每张表存放于独立的.ibd文件...
服务组件
MySQL max_allowed_packet 参数说明
2020-01-05, 访问数: 3174
max_allowed_packet 参数说明参考文档：https://dev.mysql.com/doc/refman/8.0/en/packet-too-large.html A communication packet is a single SQL statement sent to the MySQL server, a single row that is sent to the client, or a binary log event sent from a master replication server to a slave. 一个通讯packet表示clien...
服务组件
MySQL shuffle table records 打乱数据库表记录，重新给每一行随机排序
2019-09-04, 访问数: 3770
目的CREATE TABLE `courseword` ( `id` int(11) NOT NULL AUTO_INCREMENT, `word` varchar(255) NOT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 现状：当前有一个MySQL表courseword, id为自增主键目的：想要打乱这个表数据的顺序，比如现在表是按word字段的顺序排序，例如：a,b,c，但是想改成随机顺序，例如：b,a,c 思路1.直接update id这个字段例如现在有100行数据，那重新排序的话，可以upda...
服务组件
rabbitmq 安装 install
2019-05-06, 访问数: 1524
安装yum install erlangrpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.ascyum install rabbitmq-server 添加hostnamevim /etc/hosts# 添加一行：127.0.0.1 rabbitmq-server 常用命令# 启动：service rabbitmq-server start# 停止：service rabbitmq-server stop# 重启：service rabbitmq-server restart# 设置开机启动：chkconf...
服务组件
redis 常用命令
2019-05-06, 访问数: 1180
安装yum install redis 客户端连接redis-cli -h 127.0.0.1 -p 6379
服务组件
spark 提交任务 python pyspark
2019-05-06, 访问数: 1115
spark-submitspark-submit --master yarn --deploy-mode cluster --queue q1 --num-executors 1 scripy.py pysparkdef process(rows): content = "" for row in rows: content += b64encode(row.url) return [content]conf = SparkConf().setAppName('PoliceHive2Xml')spark_context = SparkContext(con...
服务组件
zookeeper常用命令
2019-05-06, 访问数: 1005
客户端连接bin/zkCli.sh -server 127.0.0.1:2181# 创建节点，其中"-s"表示创建一个"有序"节点,"-e"表示创建一个临时节点.默认为持久性节点create [-s] [-e] /path data acl# 获取节点数据get /path# 查看子节点列表ls /path# 设置节点值set path data [version]# 删除节点delete /path [version]# 删除节点，及其子节点rmr path# 设置ACLsetAcl path acl# 添加授权信息addauth schema auth
服务组件
airflow配置
2019-05-06, 访问数: 1088
修改数据库为mysqlsql_alchemy_conn = mysql://root:123@localhost:3066/airflow?charset=utf8 修改celery的broker为redisbroker_url = redis://localhost:6379/0# rabbitmq: amqp://guest:guest@localhost:5672//celery_result_backend = redis://localhost:6379/0 添加userimport airflowfrom airflow import models, settingsfro...
服务组件
ambari安装
2019-05-06, 访问数: 1092
添加yum源wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo 安装yum repolistyum install ambari-server 配置ambari-server setup 启动ambari-server start 手动安装agentyum install ambari-agent 如果网络太慢，则可以配置本地的自定义源，这样就不用去远程下载 1)下载ambari包：wge...
服务组件
总页数: 3
1 2 3
末页

最近文章
文章分类