nvidia graphic driver를 설치한 후 nvidia-smi 명령어를 통해 그래픽카드의 사용 상태를 확인할 있으며,CUDA-toolkit을 설치를 할 경우 nvcc -V(--version) 명령어를 사용하여 cuda 버전을 확인 할 수 있다. https://www.nvidia.com/ko-kr/drivers/ 최신 정식 NVIDIA 드라이버 다운로드최신 정식 NVIDIA 드라이버를 다운로드하여 PC 게임 경험을 향상시키고 앱을 더 빠르게 실행하세요.www.nvidia.comhttps://developer.nvidia.com/cuda-toolkit-archive CUDA Toolkit ArchivePrevious releases of the CUDA Toolkit, GPU Computing SD..

CUDA 버전 확인/usr/local 에서 cuda 버전 확인root@:$ls -al /usr/local lrwxrwxrwx 1 root root 25 Sep 11 15:33 cuda-12 -> /etc/alternatives/cuda-12 drwxr-xr-x 15 root root 4096 Oct 31 10:31 cuda-12.6nvidia-container-toolkit 설치 확인 : nvidia-container-cli inforoot@:$ nvidia-container-cli info NVRM version: 560.35.03 CUDA version: 12.6 Device Index: 0 Device Minor: 0 Model: NVIDIA RTX A5000 Brand: NvidiaRTX GPU ..

Error message Error: MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error. Redis가 디스크에 데이터를 지속적으로 저장하는 데 문제가..

파이썬에서 hashlib 라이브러리를 사용하여 파일 hash를 구할 수 있다. import hashlib def file_to_md5(self): hash_md5 = hashlib.md5() with open(self.filepath, 'rb') as f: for chunk in iter(lambda: f.read(4096), b""): hash_md5.update(chunk) return hash_md5.hexdigest() 위와 같이 md5 hash를 구하는 코드예제를 보면 파일을 4096바이트씩 끊어서 읽고 hash를 update하다가 b"" (파일의 끝) 를 만나면 종료되는 것을 볼 수 있다. 이때 왜 f.read()를 안하고 4096 또는 1024와 같이 끊어서 읽는 코드 예제들이 많은지 궁금해..

인터넷이 안되는 원격 장비(Ubuntu 20.04)에 category encoders와 dependency package들을 설치하는 과정에서 만난 에러를 정리해본다. 우선 category_encoders의 requirements목록은 다음 페이지에서 확인 할 수 있다. https://github.com/scikit-learn-contrib/category_encoders/blob/master/requirements.txt numpy>=1.14.0 scikit-learn>=1.0.0 scipy>=1.0.0 statsmodels>=0.9.0 pandas>=1.0.5 patsy>=0.5.1 unittest2 # unittest2는 안설치해도 pip install 됨 importlib_resources ; p..

아래와 같이 model.py 모듈에서 Model 클래스 안의 함수 inference_malware_file() 함수에서 dict_to_df() 를 호출하는데 위와 같은 에러 메시지 발생 Class안의 함수인데 self 값을 주지 않아서 생긴 에러였다. class Model: def __init__(self, model_type='random_forest'): self.model = None self.model_type = None self.features = None if model_type == 'random_forest': self.model = RandomForestClassifier() self.model_type = 'random_forest' ... def inference_malware_fi..

daemonset.yaml 파일로 컨테이너 버전을 업데이트 하려고 했는데 daemonset 파드의 Status가 ImagePullbackOff 가 계속 떠있었다. 내 경우에는 dockerhub에 해당 이미지가 없기 때문에, 없는 이미지를 pull하려고 하니까 당연히 버전 업데이트가 안되는 것이였다. 아래와 같이 daemonset.yaml의 image버전이 0.998이였는데, 이를 dockerhub에 있는 image 버전으로 바꿔주니 잘 동작하였다. - name: container image: draidev/my_image:0.998

NLP모델을 학습시키면서 fit함수를 보다가 callbacks란 파라미터에 EarlyStopping함수의 반환값을 주는 걸 보고 찾아보게 됐다. EarlyStopping 함수 과적합을 방지하기 위한 콜백함수 적절한 시점에 학습을 조기 종료시킨다. EarlyStopping 함수는 위 그림과 같이 validation_loss 의 값이 작아지다가 어느 순간 커질때가 있기 때문에 남은 epochs가 있어도 validation_loss가 가장 작은 순간에 학습을 일찍 종료시켜(Early Stopping) 최적의 모델을 저장하기 위한 함수이다. 위의 그래프를 보면 training_loss는 계속 줄어들지만 validation_loss는 줄어들다가 어느 순간 증가하게 된다. 이 뜻은 모델이 데이터를 지속적으로 학습하..