refit.py

import json
import pandas as pd
from catboost import CatBoostClassifier

fiches_file_name = r"C:/Users/selin/PycharmProjects/SIAM_Hack/case1/parsed_results.csv"
preprocessed_data = pd.read_csv(fiches_file_name, encoding="utf-8")
marked_data = pd.read_csv(r"C:/Users/selin/PycharmProjects/SIAM_Hack/case1/datasets/markup_train.csv",
                          encoding="utf-8")
df = preprocessed_data.merge(how='right', right=marked_data, left_on='file_name', right_on='file_name')

extra_data = ['Влияние ствола скважины_details',
              'Радиальный режим_details',
              'Линейный режим_details',
              'Билинейный режим_details',
              'Сферический режим_details',
              'Граница постоянного давления_details',
              'Граница непроницаемый разлом_details',
              'department_name',
              'user_name']

df = df.drop(columns=extra_data)
print(df.shape)

targets = ['Некачественное ГДИС', 'Влияние ствола скважины', 'Радиальный режим',
           'Линейный режим', 'Билинейный режим', 'Сферический режим',
           'Граница постоянного давления', 'Граница непроницаемый разлом']

df['mse_deltaP'] = df['mse_deltaP'].apply(lambda x: float(x.strip("()").split(",")[0]) if isinstance(x, str) else x)
df['mse_pprime'] = df['mse_pprime'].apply(lambda x: float(x.strip("()").split(",")[0]) if isinstance(x, str) else x)

# Считываем данные из файла hyperparameters.txt
with open('hyperparameters.txt', 'r', encoding='utf-8') as file:
    settings = json.load(file)

# Словарь для хранения обученных моделей
models = {}


for i, (model_name, config) in enumerate(settings.items()):
    params = config["params"]

    model = CatBoostClassifier(
        learning_rate=params["learning_rate"],
        iterations=params["iterations"],
        depth=params["depth"],
        verbose=500
    )

    y = df[targets[i]]
    X = df.drop(columns = targets + ['file_name'])


    print(f"Обучение модели: {model_name} с параметрами {params}")
    # Обучаем модель на данных
    model.fit(X, y, verbose=False)

    # Сохраняем обученную модель в словарь
    model.save_model(f"{model_name}.cbm")