计算机毕设选题推荐-基于大数据的全面皮肤病症状数据可视化分析系统【Hadoop、spark、python】

精彩专栏推荐订阅：在下方主页👇🏻👇🏻👇🏻👇🏻

💖🔥作者主页：计算机毕设木哥🔥 💖

一、项目介绍

选题背景

随着环境污染、生活压力加剧和饮食结构变化等因素影响，皮肤疾病已成为我国公众健康的重要威胁。据权威医学数据显示，我国皮肤病患者总数超过1.5亿人，中国人皮肤疾病患病率高达40%-70%，所致健康寿命损失在所有疾病中位列第四。每年新增皮肤病患者约3000万，其中过敏性皮肤病占比约40%，感染性皮肤病占比约25%，疾病类型复杂多样且呈现逐年上升趋势。传统的皮肤病数据分析主要依赖小样本统计和简单的图表展示，难以深入挖掘海量医疗数据中隐藏的规律和关联性。面对如此庞大的患病人群和复杂的症状数据，亟需运用现代大数据技术来实现更精准、全面的数据分析。Hadoop分布式存储架构能够有效处理海量皮肤病症状数据，而Spark大数据分析框架具备强大的内存计算能力，结合Python数据科学生态和可视化技术，为构建智能化的皮肤病症状数据分析系统提供了坚实的技术基础。

选题意义

本课题的实际意义体现在多个层面的价值创造上。从医疗健康角度来看，基于Spark的全面皮肤病症状数据可视化分析系统能够通过16个维度的深度数据挖掘，帮助医疗工作者更准确地识别不同人群的皮肤病发病规律，为精准医疗和个性化治疗方案制定提供科学依据。从技术创新角度分析，该系统将Hadoop的分布式存储能力与Spark的快速计算优势相结合，突破了传统数据分析在处理大规模医疗数据时的性能瓶颈，为医疗大数据领域的技术应用提供了实践范例。从社会价值层面思考，通过对皮肤病患病人群的性别、年龄、肤色等特征进行可视化分析，有助于公共卫生部门制定更有针对性的疾病预防策略，提升全民皮肤健康水平。从人才培养意义来说，该课题为计算机专业学生提供了将大数据技术与实际医疗场景相结合的学习机会，培养学生运用Python、Django框架和Echarts技术解决复杂业务问题的综合能力，为未来从事医疗信息化和大数据分析相关工作奠定扎实基础。

二、视频展示

三、开发环境

• 大数据技术：Hadoop、Spark、Hive
• 开发技术：Python、Django框架、Vue、Echarts
• 软件工具：Pycharm、DataGrip、Anaconda
• 可视化 工具 Echarts

四、系统展示

登录模块：

管理模块展示：

五、代码展示

# 核心功能1：不同皮肤病类型患病人数统计与可视化数据处理
def analyze_disease_type_distribution(request):
    """分析不同皮肤病类型的患病人数分布"""
    try:
        # 使用Spark读取皮肤病数据集
        spark = SparkSession.builder.appName("SkinDiseaseAnalysis").getOrCreate()
        df = spark.read.csv('/data/askin_disease_dataset.csv', header=True, inferSchema=True)
        
        # 数据预处理和清洗
        clean_df = df.filter(df.Disease_Type.isNotNull() & df.Patient_ID.isNotNull())
        clean_df = clean_df.dropDuplicates(['Patient_ID'])
        
        # 按疾病类型分组统计患病人数
        disease_stats = clean_df.groupBy('Disease_Type').agg(
            count('Patient_ID').alias('patient_count'),
            countDistinct('Patient_ID').alias('unique_patients')
        )
        
        # 计算每种疾病的占比
        total_patients = clean_df.count()
        disease_with_percentage = disease_stats.withColumn(
            'percentage', 
            round((col('patient_count') / total_patients * 100), 2)
        )
        
        # 按患病人数降序排列
        sorted_disease_stats = disease_with_percentage.orderBy(desc('patient_count'))
        
        # 收集结果转换为Python数据结构
        disease_data = sorted_disease_stats.collect()
        
        # 构建前端可视化所需的数据格式
        chart_data = {
            'categories': [row['Disease_Type'] for row in disease_data],
            'values': [row['patient_count'] for row in disease_data],
            'percentages': [row['percentage'] for row in disease_data]
        }
        
        # 生成详细统计信息
        analysis_summary = {
            'total_disease_types': len(disease_data),
            'most_common_disease': disease_data[0]['Disease_Type'] if disease_data else None,
            'most_common_count': disease_data[0]['patient_count'] if disease_data else 0,
            'least_common_disease': disease_data[-1]['Disease_Type'] if disease_data else None,
            'least_common_count': disease_data[-1]['patient_count'] if disease_data else 0
        }
        
        # 保存分析结果到CSV文件供后续使用
        result_df = pd.DataFrame(disease_data)
        result_df.to_csv('/results/disease_type_distribution.csv', index=False, encoding='utf-8')
        
        return JsonResponse({
            'status': 'success',
            'chart_data': chart_data,
            'summary': analysis_summary,
            'total_patients': total_patients
        })
    except Exception as e:
        return JsonResponse({'status': 'error', 'message': str(e)})

# 核心功能2：不同皮肤病类型的严重程度分布交叉分析
def analyze_disease_severity_correlation(request):
    """分析不同皮肤病类型与严重程度的关联关系"""
    try:
        spark = SparkSession.builder.appName("DiseaseSeverityAnalysis").getOrCreate()
        df = spark.read.csv('/data/askin_disease_dataset.csv', header=True, inferSchema=True)
        
        # 数据清洗和有效性检查
        valid_df = df.filter(
            (df.Disease_Type.isNotNull()) & 
            (df.Severity.isNotNull()) & 
            (df.Patient_ID.isNotNull())
        )
        
        # 定义严重程度的排序规则
        severity_order = ['Mild', 'Moderate', 'Severe']
        severity_mapping = {severity: idx for idx, severity in enumerate(severity_order)}
        
        # 创建严重程度排序列
        severity_udf = udf(lambda x: severity_mapping.get(x, 999), IntegerType())
        ordered_df = valid_df.withColumn('severity_order', severity_udf(col('Severity')))
        
        # 按疾病类型和严重程度进行交叉统计
        cross_analysis = ordered_df.groupBy('Disease_Type', 'Severity', 'severity_order').agg(
            count('Patient_ID').alias('patient_count'),
            countDistinct('Patient_ID').alias('unique_count')
        )
        
        # 计算每种疾病各严重程度的占比
        disease_totals = ordered_df.groupBy('Disease_Type').agg(
            count('Patient_ID').alias('total_per_disease')
        )
        
        # 关联总数计算比例
        cross_with_ratio = cross_analysis.join(
            disease_totals, 
            on='Disease_Type'
        ).withColumn(
            'severity_ratio',
            round((col('patient_count') / col('total_per_disease') * 100), 2)
        )
        
        # 按疾病类型和严重程度排序
        final_results = cross_with_ratio.orderBy('Disease_Type', 'severity_order')
        collected_data = final_results.collect()
        
        # 构建多维度的图表数据结构
        chart_structure = {}
        severity_summary = {severity: 0 for severity in severity_order}
        
        for row in collected_data:
            disease = row['Disease_Type']
            severity = row['Severity']
            count = row['patient_count']
            ratio = row['severity_ratio']
            
            if disease not in chart_structure:
                chart_structure[disease] = {sev: {'count': 0, 'ratio': 0.0} for sev in severity_order}
            
            chart_structure[disease][severity] = {'count': count, 'ratio': ratio}
            severity_summary[severity] += count
        
        # 找出每种疾病的主要严重程度
        disease_primary_severity = {}
        for disease, severities in chart_structure.items():
            max_count = max(severities.values(), key=lambda x: x['count'])['count']
            primary_severity = [sev for sev, data in severities.items() if data['count'] == max_count][0]
            disease_primary_severity[disease] = {
                'severity': primary_severity,
                'count': max_count
            }
        
        # 生成Echarts所需的数据格式
        echarts_data = {
            'diseases': list(chart_structure.keys()),
            'severities': severity_order,
            'matrix_data': []
        }
        
        for i, disease in enumerate(echarts_data['diseases']):
            for j, severity in enumerate(severity_order):
                echarts_data['matrix_data'].append([
                    i, j, chart_structure[disease][severity]['count']
                ])
        
        # 保存详细分析结果
        analysis_df = pd.DataFrame(collected_data)
        analysis_df.to_csv('/results/disease_severity_correlation.csv', index=False, encoding='utf-8')
        
        return JsonResponse({
            'status': 'success',
            'chart_data': echarts_data,
            'disease_primary_severity': disease_primary_severity,
            'severity_summary': severity_summary,
            'detailed_structure': chart_structure
        })
    except Exception as e:
        return JsonResponse({'status': 'error', 'message': str(e)})

# 核心功能3：基于多维特征的治疗效果深度分析
def analyze_comprehensive_treatment_effectiveness(request):
    """综合分析治疗效果与患者特征的关联关系"""
    try:
        spark = SparkSession.builder.appName("TreatmentEffectivenessAnalysis").getOrCreate()
        df = spark.read.csv('/data/askin_disease_dataset.csv', header=True, inferSchema=True)
        
        # 筛选有治疗记录的患者数据
        treated_patients = df.filter(
            (df.Previous_Treatment == 'Yes') & 
            (df.Treatment_Effectiveness.isNotNull()) &
            (df.Disease_Type.isNotNull()) &
            (df.Severity.isNotNull()) &
            (df.Duration.isNotNull())
        )
        
        # 对病程进行分组处理
        duration_buckets = [0, 6, 12, 24, 60, 120]
        duration_labels = ['急性期(≤6月)', '亚急性期(7-12月)', '慢性期(1-2年)', '长期慢性(2-5年)', '超长期(>5年)']
        
        # 创建病程分组函数
        def categorize_duration(duration):
            if duration <= 6:
                return duration_labels[0]
            elif duration <= 12:
                return duration_labels[1]
            elif duration <= 24:
                return duration_labels[2]
            elif duration <= 60:
                return duration_labels[3]
            else:
                return duration_labels[4]
        
        duration_category_udf = udf(categorize_duration, StringType())
        categorized_df = treated_patients.withColumn(
            'duration_category', 
            duration_category_udf(col('Duration'))
        )
        
        # 多维度交叉分析：疾病类型、严重程度、病程与治疗效果
        multi_dimension_analysis = categorized_df.groupBy(
            'Disease_Type', 'Severity', 'duration_category', 'Treatment_Effectiveness'
        ).agg(
            count('Patient_ID').alias('patient_count'),
            avg('Duration').alias('avg_duration')
        )
        
        # 计算治疗效果的整体分布
        effectiveness_order = ['Low', 'Moderate', 'High']
        effectiveness_mapping = {eff: idx for idx, eff in enumerate(effectiveness_order)}
        effectiveness_udf = udf(lambda x: effectiveness_mapping.get(x, 999), IntegerType())
        
        ordered_analysis = multi_dimension_analysis.withColumn(
            'effectiveness_order', 
            effectiveness_udf(col('Treatment_Effectiveness'))
        )
        
        # 按疾病类型计算治疗成功率（High效果占比）
        disease_success_rate = categorized_df.groupBy('Disease_Type').agg(
            count('Patient_ID').alias('total_treated'),
            sum(when(col('Treatment_Effectiveness') == 'High', 1).otherwise(0)).alias('high_effectiveness'),
            sum(when(col('Treatment_Effectiveness') == 'Moderate', 1).otherwise(0)).alias('moderate_effectiveness'),
            sum(when(col('Treatment_Effectiveness') == 'Low', 1).otherwise(0)).alias('low_effectiveness')
        ).withColumn(
            'success_rate',
            round((col('high_effectiveness') / col('total_treated') * 100), 2)
        ).withColumn(
            'moderate_rate',
            round((col('moderate_effectiveness') / col('total_treated') * 100), 2)
        ).withColumn(
            'poor_rate',
            round((col('low_effectiveness') / col('total_treated') * 100), 2)
        )
        
        # 严重程度与治疗效果关联分析
        severity_effectiveness = categorized_df.groupBy('Severity', 'Treatment_Effectiveness').agg(
            count('Patient_ID').alias('count')
        ).orderBy('Severity', 'effectiveness_order')
        
        # 病程对治疗效果的影响分析
        duration_effectiveness = categorized_df.groupBy('duration_category', 'Treatment_Effectiveness').agg(
            count('Patient_ID').alias('count'),
            avg('Duration').alias('avg_duration_in_category')
        )
        
        # 收集所有分析结果
        success_rate_data = disease_success_rate.collect()
        severity_effect_data = severity_effectiveness.collect()
        duration_effect_data = duration_effectiveness.collect()
        multi_dim_data = ordered_analysis.collect()
        
        # 构建复合图表数据结构
        comprehensive_results = {
            'disease_success_rates': [
                {
                    'disease': row['Disease_Type'],
                    'success_rate': row['success_rate'],
                    'moderate_rate': row['moderate_rate'],
                    'poor_rate': row['poor_rate'],
                    'total_treated': row['total_treated']
                } for row in success_rate_data
            ],
            'severity_effectiveness_matrix': {},
            'duration_effectiveness_matrix': {},
            'top_performing_diseases': sorted(success_rate_data, key=lambda x: x['success_rate'], reverse=True)[:5]
        }
        
        # 构建严重程度-效果矩阵
        for row in severity_effect_data:
            severity = row['Severity']
            effectiveness = row['Treatment_Effectiveness']
            if severity not in comprehensive_results['severity_effectiveness_matrix']:
                comprehensive_results['severity_effectiveness_matrix'][severity] = {}
            comprehensive_results['severity_effectiveness_matrix'][severity][effectiveness] = row['count']
        
        # 构建病程-效果矩阵
        for row in duration_effect_data:
            duration_cat = row['duration_category']
            effectiveness = row['Treatment_Effectiveness']
            if duration_cat not in comprehensive_results['duration_effectiveness_matrix']:
                comprehensive_results['duration_effectiveness_matrix'][duration_cat] = {}
            comprehensive_results['duration_effectiveness_matrix'][duration_cat][effectiveness] = row['count']
        
        # 保存综合分析结果
        success_df = pd.DataFrame(success_rate_data)
        success_df.to_csv('/results/comprehensive_treatment_analysis.csv', index=False, encoding='utf-8')
        
        multi_dim_df = pd.DataFrame(multi_dim_data)
        multi_dim_df.to_csv('/results/multi_dimension_treatment_analysis.csv', index=False, encoding='utf-8')
        
        return JsonResponse({
            'status': 'success',
            'comprehensive_results': comprehensive_results,
            'treatment_insights': {
                'total_treated_patients': categorized_df.count(),
                'overall_success_rate': round(
                    categorized_df.filter(col('Treatment_Effectiveness') == 'High').count() / 
                    categorized_df.count() * 100, 2
                ),
                'best_performing_disease': success_rate_data[0]['Disease_Type'] if success_rate_data else None
            }
        })
    except Exception as e:
        return JsonResponse({'status': 'error', 'message': str(e)})

六、项目文档展示

七、项目总结

通过基于Spark的全面皮肤病症状数据可视化分析系统的开发与实践，本课题成功将现代大数据技术与医疗健康领域相结合，展现了技术创新在解决实际问题中的重要价值。系统运用Hadoop分布式存储架构处理海量皮肤病症状数据，结合Spark强大的内存计算能力实现了16个维度的深度数据挖掘，从疾病类型分布、严重程度关联到治疗效果分析等多个角度揭示了皮肤病患病规律。通过Python和Django框架构建的后端服务，配合Echarts可视化技术，系统能够将复杂的统计分析结果转化为直观易懂的图表展示，为医疗工作者提供了科学的决策支持工具。

项目实施过程中，大数据技术的应用不仅解决了传统数据分析在处理大规模医疗数据时的性能瓶颈，更通过多维交叉分析发现了疾病特征与患者群体之间的潜在关联。系统设计的治疗效果综合分析功能，能够从疾病类型、严重程度、病程等多个维度评估治疗方案的有效性，为精准医疗提供了数据支撑。这一实践充分验证了大数据技术在医疗信息化领域的应用前景，同时也为计算机专业学生将理论知识与实际业务场景相结合提供了宝贵的学习经验，展现了技术服务社会的实际意义。

大家可以帮忙点赞、收藏、关注、评论啦 👇🏻

💖🔥作者主页：计算机毕设木哥🔥 💖