使用jenkins将airflow-dbt部署到服务器上

系列文章目录

课程地址YT

Complete CICD DevOps project | Git, Dockerhub, Dockerhost,Jenkins|Deploying container on web-server

一、jenkins服务器的初始化配置

1.1 运行第一个jenkins pipeline

1. 在github里创建一个public的项目，并且复制地址
2. 在jenkins里创建新的pipeline
3. 编写pipeline的scripts

node{
    stage('github checkout'){
        git branch: 'main', url: 'https://github.com/CXTV/jenkins_dbt.git'       
    }
}

4. 运行Pipeline，成功

5. 验证是否真的成功，根据Pipeline的名称，进入到服务器里的jenkins的文件夹里，查看是否有该项目

cd /var/lib/jenkins/workspace/dbt_airflow

二、编写本地dbt项目

2.1 克隆git上的初始文件到本地

1. 克隆到本地

git clone https://github.com/CXTV/jenkins_dbt.git

2. 创建并切换一个新的分支

git checkout -b dbtSetup

3. 第一次提交分支

git add .
git commit -m 'initialize branch dbtsetup'
git push --set-upstream origin dbtSetup

2.2 本地创建虚拟环境

1. 创建python 3.10的虚拟环境

pipenv --python 3.10

2. 运行虚拟环境

pipenv shell 

2.3 创建airflow的Dockerfile

指定airflow的运行环境

• Dockerfile

FR