Cynhaliwyd y pwyllgor cyntaf i drafod y posibilrwydd o gael Neuadd yn Llanddarog ar Chwefror 26ain 1946 yn yr ysgol ac etholwyd Mr Danny Thomas, yr ysgolfeistr, yn Gadeirydd y pwyllgor. Ar Fawrth 22ain cynhaliwyd cyfarfod yn Festri Capel Bethlehem,Porthyrhyd a phenderfynwyd adeiladu Neuadd newydd. Ar y 29ain Mawrth 1946 cafwyd cyfarfod cyhoeddus yn yr Ysgol i ddewis swyddogion sef Mr Danny Thomas, prif athro yr ysgol, fel Cadeirydd, Mr William Evans, Delfryn yn Ysgrifennydd, Mr Trefor Rees, Llethr Lodge yn Drysorydd. Yn y cyfarfod hwn hefyd penderfynwyd gofyn i Mr John Phillips,
Caerdydd, gynt o Penllwynio a Bryngwendraeth i ofyn am brynu’r cae, sef Cae Ffair fel yr adnabyddwyd ar y pryd. Ar y 12fed Ebrill 1946 cafwyd gwybod gan Mr Phillips ei fod yn gwneud rhodd o’r cae i’r Pwyllgor.
Bu llawer o drafodaeth am y math o Neuadd oedd angen a bu nifer o ddigwyddiadau y godi arian yn cynnwys mabolgampau, eisteddfod, cyngherddau, dramau a pharti diwedd y rhyfel mewn pebyll gyda prisiau mynediad rhwng 2 a 4 swllt ond hanner pris i blant ac aelodau o Luoedd Eu Mawrhydi a oedd yn eu gwisg swyddogol. Bu hefyd gasgliad yn yr ardal pan godwyd £514-15-11 ac ar ddiwedd y flwyddyn 1946 roedd £678-19-01 yn y banc.
Mewn cyfarfod ar y 12fed o Ebrill 1947 cafwyd gwybod gan y ‘National Council for Social Services’ fod defnyddiau adeiladu yn brin iawn ac y byddai yn amhosib adeiladu neuadd am y pedair i bum mlynedd nesaf. Roedd y Llywodraeth yn awyddus i ardaloedd gael eu hadfywio ar ôl y rhyfel gyda hen adeiladau o feusudd ymarfer y fyddin a oedd yn cael eu gwerthu. Dynodwyd yr adeiladau hyn fel “Hut 24” ble mae’r rhif 24 yn fesur o’r lled a gellir cael unrhyw hyd o faeau 6 troedfedd yr un. Mewn cyfarfod ar 9fed Mai 1947 cynigwyd adeilad dros dro o’r maint 72 wrth 24 troedfedd am log o £13 y flwyddyn.
Yn 1949 bu llawer o gyfarfodydd rhwng Cyngor Dosbarth Caerfyrddin, Y Pwyllgor Cynllunio a’r ‘Ministry of Transport’ a chael Ymchwiliad Cyhoeddus ond yn anffodus gwrthodwyd y cais cynllunio i adeiladu’r neuadd yng Ngae’r Ffair oherwydd y fynedfa o’r brif ffordd. Ymysg y safleoedd eraill a edrychwyd arnynt i adeiladu oedd oddiar Heol Penllwynio, i’r gorllewin o Heol Cwmisfael a hefyd yn Gae Person. Yn y cyfarfod 21ain Mawrth 1951 roedd Mr Thomas Williams, Tynewydd, wedi cynnig darn o’r tir, ble mae’r neuadd bresennol, am £300.
Erbyn hyn roedd y gwaharddiad ar adeiladu wedi codi a chafwyd pris o £3,142 am adeilad newydd ond roedd hyn yn rhy ddrud ac aethpwyd yn ôl i’r cynnig o logi’r adeilad dros dro am £13 y flwyddyn gyda’r National Council yn cludo fframwaith concrit o dde Lloegr a’r cwmni James Rees, Pontantwn yn cwblhau’r gwaith adeiladu. Cafwyd grantiau i ddodrefnu’r adeilad ac agorwyd yn swyddogol ar 5ed o Fai 1954 mewn seremoni dan gadeiryddiaeth y pwyllgor Mr D W Lewis a llywydd Cyngor Cymuned Sir Gaerfyrddin, Syr Grismond Phillips.
Terfynwyd rhentu’r adeilad ar yr 11eg o Dachwedd 1962 a phrynwyd am £400. Mae nifer o welliantau wedi gwneud ers hynny yn cynnwys cegin ac ystafell bwyllgor a phaneli solar yn 2010 sydd wedi bod yn incwm ychwanegol i’r neuadd. Cafodd y cae oedd yn rhodd i’r pwyllgor yn 1946 ei rentu i ffermwyr lleol hyd at ei werthu yn 2019.