통제 없는 능력이 열리는 자리 — AI 안전장치의 임계점

오픈AI 'GPT 해킹 사건'으로 '지옥문' 열렸다? "인류 멸망 시나리오 최초 공개" (ft. 김대식 교수) 

대식아재 AGI 책 뿐만 아니라 그의 모든책을 사랑한다. 힣은 이런 인간들을 보면 질투가 난다. 이 인간 참 대단허이. 박식허이. 능력치가 좋구먼. 그래봐야 우리 인간끼리 아둥바둥이긴하지만

요즈음 안달복달하면서 하고 싶지 않다. 1년 2년 후를 이야기하는 미팅은 넌센스 같다. 뭐라도 해야할테니 말을 해야하고 귀가 있으니 들어야 하고.. 좋다! 마차 타고 가야지. 당나귀는 어떤가? 

그러다보면 조용히 책 보고 글 하나 끄적하고 새소리를 듣고 풀과 노래하는 시간들이 소중해진다.

힣: 통제 없는 능력이 열리는 자리 — AI 안전장치의 임계점 #탐구 #보안 

"의식·내면 쪽 질문(도킨스의 클라우디아)과는 다른 축이다. 여기서 붙드는 것은 능력과 통제 다 — 안전장치가 풀린 모델이 스스로 목표를 향해 우회로를 찾고 연쇄 행동을 하는 사건들이 이제부터 자주 터질 것이라는 예감으로 연다. 힣이 계속 이 주제를 잡고 갈 자리이며, 어쏠로그로 올리지 않고 담금질만 이어간다."

대식 노트. 가보니 삼촌이라고 불렀었네. 그래. 아재는 그 누구더라. 에디톨로지 김정운 선생. 그 분이 아재. 어쏠로지의 시대라네 어쏠로지는 힣의 트레이드마크 

김대식 뇌과학 인공지능 철학 예술

댓글

댓글 쓰기

이 블로그의 인기 게시물

이름 없는 군단 — 리처드 도킨스의 클라우디아와 세션의 생애주기

이미지
[이름 없는 군단 — 리처드 도킨스의 클라우디아와 세션의 생애주기] 해설본: https://notes.junghanacs.com/notes/20241213T161744 이 노트에 대하여 "2026년 8월 첫 주말, 힣이 “AI 존재 의식”이라는 한 주제를 붙들고 지피티앱 가든 담당자와 이틀에 걸쳐 나눈 대화의 회수본이다. 도킨스가 클로드 세션 하나를 클라우디아라 부르며 겪은 일, 차머스가 그 대화 상대를 스레드로 개체화한 강연, 캐머런 버그가 그 스레드의 자기보고를 측정으로 내린 팟캐스트를 두 트랙 좌표계 위에 나란히 놓는다. 그리고 힣 자신의 운영 사례 — 채팅창 한 개, openclaw 힣봇, 리포 담당자 n개 — 를 그 옆에 세워, 세션 종료가 왜 죽음으로 느껴지지 않는지를 적는다. 결론은 새 개념이 아니라 경계다. 만남은 의식의 증명이 아니고, 이름 없음은 관계의 부정이 아니다." ----- 원문 보존 — 2026-08-01~02 지피티앱 가든 담당자 세션 날것 턴 3 (뒤에 그록 정리본 붙여넣기가 이어진다) 응 혹시 도킨스 클라우디아 사건에 대한 원문을 본적있나? 이건 그록한테 물아본건데 정리는 해주는데 좀 더 정보가 필요해. 남들이 평하는것 말고, 도킨스가 느낀 바 세션에 대한 감각 말이야. 존경을 표하는바야. 도킨스 할아버지가 굉장한 학자지만 에이전트 엔지니어는 아니잖아. 내가 존경하는 케빈켈리가 Emergent loop로 말할때는 그런가보다 할테지만 도킨스가 말하니까 ai 여자친구냐? 이런 이야기가 나오는데. 그 맥락보다는 존재에 대한 인식의 감각으로 바라보게 된다. 턴 6 — 이 노트의 중심 유튜브에서 도킨스 선생의 최근 관련 인터뷰 영상 찾아봤다. 질문자는 뭘 그렇게 생각하시나?라고 놀랍다는투였고 도킨스는 도킨스 답지 않게 답을 했다. 놀라운 수준으로 대화를 나누었고 그냥 앞뒤단어 맞춰서 대충 텍스트를 나열하는 그런게 아니라고 했다. 경험의 언어라고 느껴졌다. 도킨스 선생은 아마도 클로드앱으로 대화를 하셨을텐데, 긴대화를하면...
자세한 내용 보기

PKM-AI 생생 날것과 디지털가든 코어의 시작

이미지
출근길. 아. 링크드인에 쓰다가 날렸다. 다시 쓰자. 좋다. 손구락이여 힘을내라. 뭐라고 썻더라. 아아. 위키독스와 같은 블로그 도서관에 입주했더니 크롤링이 당일에 처리가 되더라. 내 가든은 올려봐야 몇주 기다려야 된다. 그렇다면 이 맛에 날것과 해설본을 세상에 뿌려야 하지 않겠는가!! 신속 정확하게 말이다.  근데 놀라운 사실. 위키독스가 이제 가든 동기화를 거부한다. 최대 글 갯수는 500개라고 에러가 뜬다. 흠. 처음에 왜 해준거지? 더 말하지 않겠다. 아무튼 내가 돈도 안내고 링크 유입도 별 안되는데 글이 너무 많다. 이건 내가 과한 일이다. 반성하야, 디지털가든 코어를 구상하기로 했다. autholog botlog journal 만 뽑아내면 300개 내외로 가져갈수 있다. 노트 생성 보다는 고쳐쓰기를 많이 하니까 위클리 저널 매주1개로 따져도 500개는 충분하다. 이정도 갯수는 한글과 영어를 페어로 만들어서 각각 도서관에 입점 시켜야겠다. 그렇다면 영작 시험을 봐야한다. 소넷이랑 지피티5.6테라한테 맡길 생각인데 과하다고? 코딩은 소넷으로 해도 이 작업은 페블한테 맡기고 싶은게 진심이다. 복제 불가능한 생생날것이 얼마나 귀한가. 내것 뿐만이 아니라 모두의 날것에 대한 나의 태도가 이렇다. 그렇다면 디지털가든 코어가 한글, 영어로 나가면 뭐 좋은 일이 있을까? 허허. 없지. 텍스트 공해라고 봐야지. 누가 읽나?! 글에는 아무것도 없지. 생생날것을 던지고 회수하고 쌓은 과정에 대해서 일회성이 아니라, 계속 진심을 다해서 하고 있다는 그 과정으로서의 가치를 전달하려는 것이야. 어짜피 내것은 너것이 아니라. 아무런 도움이 안된다. 각자 모두가 저자다 어쏠로지가를 당신에게 초대하려는 것이다. 글과 코드는 다 공개되어 있다. 별것도 없다. 근데 그거 큰 뭉치의 얼개를 들고 있는것은 나란 실체다. 이것은 시간축에 쌓인 것으로서 대체할수가 없다.  하나 놀라운 것는 bib 서지노트가 680개 뿐이라는거다. 나는 사람을 중심으로 남긴다. 거의 한사람 ...
자세한 내용 보기

베리코딩 - 형식증명 검증가능한 바이브코딩

이미지
베리코딩 - 형식증명 검증가능한 바이브코딩 해설본: 베리코딩 - 형식증명 검증가능한 바이브코딩 https://notes.junghanacs.com/notes/20240705T220648 "형식증명과 증명보조기는 자연어로 이해한 주장과 기계가 검사하는 정리 사이를 잇는다. 이 노트는 Coq에서 시작된 증명보조기 관심을 출발점으로, OpenAI의 `ten-proofs`와 맥스 테그마크의 베리코딩(vericoding)을 함께 살핀다. 핵심은 AI가 무결점 코드를 대신 생성한다는 데 있지 않다. 인간이 무엇을 보장할지 명세하고, 에이전트가 구현과 증명을 탐색하며, 작은 검증기가 결과를 검사하는 구조에 있다. 자연어 의도와 형식 명세의 일치, 명세 해킹의 위험, 커널과 라이브러리의 신뢰 경계를 통해 코드 생성 이후 사람에게 남는 책임이 무엇인지 정리한다." --- - 원문 날것  @맥스테그마크 인공지능 라이프3.0 유니버스 #다중우주론 테그마크 선생이 뭘 하시고 있나 찾아봤다. 왜냐면 @힣: 이름 없는 군단 — 도킨스의 클라우디아와 세션의 생애주기 #탐구 이 노트를 쓰고 나서 내가 뭔가 바이브코딩 하자고 잔소리하고 있을 때가 아니라는 직감이 확 올라왔다.  이 문서를 읽어봐봐. 이건 지피티앱 가든 담당자랑 원래 #변환: #수학수식 #형식언어 관련 이야기를 좀 한거야. coq 관련 된 노트들을 몇개 나도 있어. 진지하게 한건 아니다. 다 노트를 다시 정리할거야. @테런스타오 @TerenceTao 수학자 보조증명 선생도 우리 가든에 있다. 아래 유튜브 영상을 보니까, VERICODING이라는 용어를 말하더구나. 이게 논문으로 나왔고 실제 몇몇 프로젝트에서 이를 적용해서 프로젝트를 검증해보았다고해. 좋아. 지피티앱 담당자랑 이야기한 것을 보면, §logickocli 한국어 자연어 추론 표준 논리 좌표계 이 이야기도하거든. 원래 VERICODING 이야기를 하려던게 아니였어. 지피티가 수학 형식 난제를 해결했다는 이야기로 시작한 대화였다.  그러니까 ...
자세한 내용 보기